目标:
编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件
win7x64家庭普通版
eclipse-jee-kepler-SR1-win32-x86_64.zip
Apache Ant(TM) version 1.8.4 compiled on May 22 2012
java version "1.7.0_45"
參考文章:
插件源代码下载:
前提:
ant、jdk、eclipse、Apache hadoop 2.2.0安装包都准备好
插件源代码包已经下载好
在虚拟机上已经部署好
Apache hadoop 2.2.0环境
步骤1:
将
Apache Hadoop 2.2.0的安装包拷贝至随意windows文件夹,我使用的文件夹是D:\Development_ProgramFiles_2014\hadoop-2.2.0
切记:整个路径不能出现空格。否则ant编译过程会出错。
步骤2(该步骤应该能够省略):
将Hadoop集群上存配置文件的目录hadooproot/etc/hadoop/复制到
D:\Development_ProgramFiles_2014\hadoop-2.2.0\etc下
步骤3:
执行cmd,
进入插件源代码根文件夹。执行
cd src/contrib/eclipse-plugin
步骤4:
运行
ant jar -Dversion=2.2.0
-Declipse.home
=D:\Development_ProgramFiles_2014\eclipse2014
-Dhadoop.home
=
D:\Development_ProgramFiles_2014\hadoop-2.2.0
注意:命令中须要指定需编译插件的目标eclipse安装文件夹、hadoop安装文件夹。
切记:两个文件夹的全路径中都不能带有空格。
步骤5:
然后就是漫长等待了,主要慢的target:ivy-download。ivy-resolve-common这两步。
最后生成的插件在
hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin\hadoop-eclipse-plugin-2.2.0.jar
步骤6:
将
hadoop-eclipse-plugin-2.2.0.jar复制到eclipse的plugins文件夹下,启动eclipse
步骤7:
Window--》Preferences 配置hadoop根文件夹:
注意:配置该路径不过为了运行MR程序过程中。eclipse能找到对应的jar包。
步骤8:
打开mapreduce的view:
配置location:
注意:MR Master和DFS Master配置必需和mapred-site.xml和core-site.xml等配置文件一致。
步骤9:
打开Project Explorer。查看HDFS文件系统:
步骤10:
新建mapreduce项目
创建mapreduce程序:
执行MR程序。提示无法连接集群,请參见兴许文章:
【甘道夫】Win7环境Eclipse连接Hadoop2.2.0
http://blog.csdn.net/u010967382/article/details/25368313
版权声明:本文博客原创文章。博客,未经同意,不得转载。