当前位置:首页 » 《随便一记》 » 正文

解决java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.的错误

13 人参与  2024年04月06日 16:20  分类 : 《随便一记》  评论

点击全文阅读


文章目录

1. 复现错误2. 分析错误3. 解决问题3.1 下载Hadoop3.2 配置Hadoop3.3 下载winutils3.4 配置winutils

1. 复现错误


今天在运行同事给我的项目,但在项目启动时,报出如下错误:

java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblemsat org.apache.hadoop.util.Shell.fileNotFoundException(Shell.java:548)at org.apache.hadoop.util.Shell.getHadoopHomeDir(Shell.java:569)at org.apache.hadoop.util.Shell.getQualifiedBin(Shell.java:592)at org.apache.hadoop.util.Shell.<clinit>(Shell.java:689)at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:78)at org.apache.hadoop.conf.Configuration.getBoolean(Configuration.java:1665)at org.apache.hadoop.security.SecurityUtil.setConfigurationInternal(SecurityUtil.java:104)at org.apache.hadoop.security.SecurityUtil.<clinit>(SecurityUtil.java:88)at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:316)at org.apache.hadoop.security.UserGroupInformation.setConfiguration(UserGroupInformation.java:365)at com.test.main(GetHudiSchemaByMetaStore.java:25)Caused by: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.at org.apache.hadoop.util.Shell.checkHadoopHomeInner(Shell.java:468)at org.apache.hadoop.util.Shell.checkHadoopHome(Shell.java:439)at org.apache.hadoop.util.Shell.<clinit>(Shell.java:516)... 7 more

java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.

2. 分析错误


通过java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.错误可知,这是未设置HADOOP_HOME hadoop.home.dir

HADOOP_HOMEhadoop.home.dir主要是干嘛的呢?是配置在本地环境变量中的Hadoop地址

那么需要下载Windows版本的Hadoop来设置么?如果是远程连接Linux上的Hadoop集群,则完全不需要再下载安装Windows版本的Hadoop!!!

本地远程连接Hadoop系统时需要在本地配置相关的Hadoop变量,主要包括hadoop.dllwinutils.exe等。

【注意】由于hadoop主要基于linux编写,winutil.exe主要用于模拟linux下的目录环境。

Hadoopwindows下运行或调用远程Hadoop集群的时候,需要该辅助程序才能运行。winutilsWindows中的二进制文件,适用于不同版本的Hadoop系统并构建在Windows VM上,该VM用以在Windows系统中测试Hadoop相关的应用程序。

3. 解决问题


了解到原因之后,可以根据安装Hadoop集群的版本,下载相应的winutils

3.1 下载Hadoop


如果你还没有安装Hadoop,可以按如下方式下载:

hadoop官网下载,镜像下载链接:https://mirrors.tuna.tsinghua.edu.cn

也可以下载我百度网盘中的3.2.1版本的:

链接:https://pan.baidu.com/s/1dcywut63xDFSdHIIogZUWw

提取码:y6i4

下载完成后,会得到hadoop-3.2.1.tar.gz,因为我下载的是hadoop-3.2.1版本。

解压hadoop-3.2.1.tar.gz得到hadoop-3.2.1,复制hadoop-3.2.1到你想要的文件夹中。

我是把hadoop-3.2.1放在D:\Software文件夹下。

接下来,我便介绍如何配置Hadoop

3.2 配置Hadoop

右键此电脑,点击属性:

在这里插入图片描述

点击高级系统配置

在这里插入图片描述

点击环境变量

在这里插入图片描述

在环境变量中的系统变量,点击新建:

在这里插入图片描述

新建系统变量,填写变量名变量值,点击确定

变量名:HADOOP_HOME

变量值:D:\Software\hadoop-3.2.1

在这里插入图片描述

双击系统变量的path,追加%HADOOP_HOME%\bin

在这里插入图片描述

在这里插入图片描述

之后点击三次确定退出编辑。

查看配置文件

hadoop-3.2.1/etc/hadoop目录下,找到hadoop-env.cmd,看jdk目录!

如果你之前配置了java_home,不用修改配置:

在这里插入图片描述

如果你没有配置java_home,需要把jdk的绝对路径写上,比如:C:\Program Files\Java\jdk1.8.0_102

在这里插入图片描述

3.3 下载winutils

下载winutils,下载离你hadoop最近的版本使用(比如我的hadoop3.2.1,我下载的winutils3.1.2),不然会出现一些列的问题。

我提供如下两种下载地址:

GitHub下载地址:https://github.com/steveloughran/winutils

在这里插入图片描述

由上图可知,截至完稿的时间,github上的更新到3.0.0,但此版本后面出现一些问题,大家尽量安装和你的hadoop对应的版本。

gitee下载链接:https://gitee.com/shockingblue/winutils

在这里插入图片描述

由上图可知,截至完稿的时间,gitee上的更新到3.2.1,相对github上的版本较多。

或者,从我的网盘中下载winutils

链接:https://pan.baidu.com/s/1EG67gZ4MLbHONTdUci4cXg

提取码:orab

3.4 配置winutils

\

找到3.1.2版本winutilsbin文件夹

在这里插入图片描述

用该目录覆盖掉hadoopbin目录。

在这里插入图片描述

复制成功之后,会看到下面那个winutils.exe文件:

在这里插入图片描述

替换后将bin下面的hadoop.dll拷贝到C:\Windows\System32目录下

在这里插入图片描述

大功告成,记得重启idea

配置完成后,一定要重启idea!否则,配置不生效


点击全文阅读


本文链接:http://zhangshiyu.com/post/91299.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1