在ubuntu下使用Eclipse搭建Hadoop开发环境

时间:2021-05-13 17:43:34

一、安装准备
1、JDK版本:jdk1.7.0(jdk-7-linux-i586.tar.gz)
2、hadoop版本:hadoop-1.1.1(hadoop-1.1.1.tar.gz)
3、eclipse版本:Eclipse Java EE IDE for Web Developers.
  Version: Juno Service Release 1
  Build id: 20120920-0800(eclipse-jee-juno-SR1-linux-gtk.tar.gz)
4、eclipse与hadoop集成插件:hadoop-eclipse-plugin-1.1.1.jar
5、操作系统:ubuntu10.10

注:jdk、hadoop、eclipse、hadoop-eclipse-plugin存在兼容问题,建议大家按上面的版本进行实践(本人在搭建该环境时吃了不少亏~~)。

二、安装操作
1、安装JDK,此步省略…(不懂的点击这里 )。
2、安装hadoop,此步省略…(不懂的点击这里 )。
3、安装eclipse,操作步骤如下:
1)、把安装文件拷贝到home目录下
cp eclipse-jee-juno-SR1-linux-gtk.tar.gz /home
2)、安装eclipse(即解压就可使用)
tar -zxvf eclipse-jee-juno-SR1-linux-gtk.tar.gz
4)、启动eclipse,并创建workspace作为eclipse的工作空间
cd  /home/eclipse  #切换到eclipse目录下
./eclipse

三、配置Eclipse、Hadoop开发环境
第一步:安装Eclipse-Hadoophadoop集成插件
把hadoop-eclipse-plugin-1.1.1.jar插件放到/home/eclipse/plugins中,然后重新启动Eclipse如下图。
在ubuntu下使用Eclipse搭建Hadoop开发环境

细心的你从上图左侧“Project Explorer”下面发现“DFS Locations”,说明Eclipse已经识别刚才放入的Hadoop Eclipse插件了。

第二步:在Eclipse中指定Hadoop的安装目录
选择“Window”菜单下的“Preference”,然后弹出一个窗体,在窗体的左侧中找到“Hadoop Map/Reduce”选项,点击此选项,选择Hadoop的安装目录(如我的Hadoop目录:/home/hadoop/hadoop-1.1.1)。结果如下图:
在ubuntu下使用Eclipse搭建Hadoop开发环境

第三步:切换“Map/Reduce”工作目录
有两种方法:
1)、选择“Window”菜单下选择“Open Perspective–>Other”,弹出一个窗体,从中选择“Map/Reduce”选项即可进行切换。
在ubuntu下使用Eclipse搭建Hadoop开发环境
2)、在Eclipse软件的右上角,点击图标“在ubuntu下使用Eclipse搭建Hadoop开发环境”中的“在ubuntu下使用Eclipse搭建Hadoop开发环境”,从中选择“Map/Reduce”,然后点击“OK”即可确定。

切换到“Map/Reduce”工作目录下的界面如下图所示。
在ubuntu下使用Eclipse搭建Hadoop开发环境

第四步:配置DFS Locations
建立与Hadoop集群的连接,在Eclipse软件下面的“Map/Reduce Locations”进行右击,弹出一个选项,选择“New Hadoop Location ”,然后弹出一个窗体。
在ubuntu下使用Eclipse搭建Hadoop开发环境
在ubuntu下使用Eclipse搭建Hadoop开发环境

注意上图中的红色标注的地方,是需要我们关注的地方。
Location Name:可以任意填,标识一个“Map/Reduce Location”
Map/Reduce Master
Host:xx.xx.xx.xx(Master.Hadoop的IP地址,即/home/hadoop/hadoop-1.1.1/conf/mapred-site.xml中ip)
Port:xx(即/home/hadoop/hadoop-1.1.1/conf/mapred-site.xml中端口)
DFS Master
Use M/R Master host:前面的勾上。(因为我们的NameNode和JobTracker都在一个机器上。)
Host:xx.xx.xx.xx(/home/hadoop/hadoop-1.1.1/conf/core-site.xml中ip)
Port:xxxx (/home/hadoop/hadoop-1.1.1/conf/core-site.xml中端口)
User name:hadoop(操作hadoop的用户)
在ubuntu下使用Eclipse搭建Hadoop开发环境

接着点击“Advanced parameters”从中找到“hadoop.tmp.dir”,修改成为我们Hadoop集群中设置的地址,我们的Hadoop集群是“/home/hadoop/hadoop-datastore/”,这个参数在“core-site.xml”进行了配置。
在ubuntu下使用Eclipse搭建Hadoop开发环境

再从中找到“fs.default.name”,修改成为我们Hadoop集群中设置的地址,我们的Hadoop集群是“hdfs://localhost:54310”,这个参数在“core-site.xml”进行了配置。
在ubuntu下使用Eclipse搭建Hadoop开发环境

点击“finish”之后,会发现Eclipse软件下面的“Map/Reduce Locations”出现一条信息, 就是我们刚才建立的“Map/Reduce Location ”。
在ubuntu下使用Eclipse搭建Hadoop开发环境

第五步:查看HDFS文件系统
查看HDFS文件系统,点击Eclipse软件左侧的“DFS Locations”下面的“localhost”,就会展示出HDFS上的文件结构(记得要先启动hadoop,不然看不到效果)。
在ubuntu下使用Eclipse搭建Hadoop开发环境

到此为止,我们的Hadoop Eclipse开发环境已经配置完毕。