windows下配置hadoop

时间:2024-04-05 10:37:51

1.下载hadoop-2.7.1(其中已经替换了bin和etc)
2.配置JAVA_HOME
3.配置HADOOP_HOME
(地址最好不要有空格,如果有的话,下面有解决办法)
windows下配置hadoop
path添加%HADOOP_HOME%\bin(win10不用分号或者如下编辑界面不用分号,其余加上 ;)
windows下配置hadoop
4.配置hadoop-env.cmd
windows下配置hadoop
PS:
此处的路径C:\Program Files中带有空格,直接写该路径系统无法正常识别,故在此用软链代替,将C:\Program Files写成 C:\PROGRA~1;
此处也可以用引号包围,即将C:\Program Files写成 C:"\Program Files"
5.新建临时数据文件夹
在F:\hadoop目录下 添加tmp文件夹
在F:\hadoop\hadoop-2.7.1添加data
并在data目录下新建namenode,datanode,snn三个子文件夹
windows下配置hadoopwindows下配置hadoop
6.配置hdfs-site.xml
(注意不能直接把在Windows下的路径复制粘贴,路径URL用的是斜杠不是反斜杠,而且前面还要加一个斜杠)
windows下配置hadoop
7.配置mapred-site.xml
windows下配置hadoop

8.配置yarn-site.xml
windows下配置hadoop
9.配置core-site.xml
windows下配置hadoop
10.把hadoop.dll和winutils(从)拷贝到 C:\Windows\System32
windows下配置hadoopwindows下配置hadoop

11.(此步骤不是每台电脑都需要,可以省略)
share\hadoop\yarn\timelineservice
下面的hadoop-yarn-server-timelineservice-2.9.2.jar
复制到share\hadoop\yarn\lib下即可
12.cmd进入F:\hadoop\hadoop-2.7.1\bin目录,输入hdfs namenode -format 格式化hdfs,看到seccessfully就说明format成功
windows下配置hadoop
13.转到F:\hadoop\hadoop-2.7.1\sbin文件下
14.输入start-all,启动hadoop集群
15.启动hadoop集群成会出现下面四个窗口namenode,Datanode,Nodemanager和 resourceManager
windows下配置hadoop
16.访问http://localhost:50070,访问hadoop的web界面
windows下配置hadoop
17.访问http://localhost:8088,访问yarn的web界面
windows下配置hadoop

还没有解决的问题:
1.cmd中运行hadoop -version结果显示是jdk的版本信息
2.hadoop启动后测试jps命令,结果是JPS不是内部命令

尝试过的方法:
有说是JAVA_HOME路径设置里有空格的问题,于是移动了JDK的位置,出现了新的问题java -version 找不到了,通过以下方法解决
1.首先查看环境变量配置是否正确
将PATH中JAVA_HOME/bin移动到最前边
2.找到C:\ProgramData\Oracle\Java\javapath_target_587238140文件夹,每个人可能不太一样,删除java.exe、javaw.exe 、javaws.exe三个文件夹
windows下配置hadoop