eclipse以MapReduce本地模式运行程序

时间:2023-03-10 04:55:18
eclipse以MapReduce本地模式运行程序
1.准备好所需的文件winutils.exe、hadoop-eclipse-plugin-2.7.3.jar、hadoop-common-2.2.0-bin-master.zip
2.将 hadoop-eclipse-plugin-2.7.3.jar 文件放到eclipse安装目录下的plugins目录
3.window-->show view-->other mapreduce tools-->map/reduce locations增加新的DFS locations
填写原则如下:
map/reduce master填写mapreduce-site.xml的mapreduce.jobtracker的host和port
DFS master填写core-site.xml的dfs.default.name的host和port。
4.配置环境变量,即建立系统变量HADOOP_HOME,并且将hadoop-common-2.2.0-bin-master.zip的解压目录加入环境变量。
以防运行程序后出现找不到/null/winutils.exe的错误。记得重启系统
eclipse以MapReduce本地模式运行程序
5.将winutils.exe放入本地的$HADOOP_HOME/bin下;
6.接下来就是见证奇迹的时刻,请点击执行即可。
遇到的错误:
1.Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.util.Apps
解决方法:将hadoop部署包中yarn文件夹(hadoop-2.4.1\share\hadoop\yarn)下的所有jar包引进来即可