Hadoop2.2.0 Eclipse开发环境搭建(xp下)

时间:2023-01-21 11:59:12

1、下载安装eclipse插件

到http://wiki.apache.org/hadoop/EclipsePlugIn上下载对应的eclipse插件,或者百度。本文下载的插件名为hadoop-eclipse-plugin-2.2.0.jar,下载完后copy到eclipse的plugin目录中,重启eclipse即可看见如下界面,如果能看到以下两点说明安装成功了。

(1)、在左边的 project explorer 上头会有一个 DFS locations的标志

(2)、在 windows -> preferences里面会多一个hadoop map/reduce的选项,选中这个选项,然后右边,把下载的hadoop根目录选中(如D:\hadoop\hadoop-2.2.0)。

 插件下载

2、配置连接参数

插件装完了,启动hadoop,然后就可以建一个hadoop连接了,就相当于eclipse里配置一个 weblogic的连接。

第一步,如图所示,打开Map/Reduce Locations 视图,在右上角有个大象的标志点击。

Hadoop2.2.0 Eclipse开发环境搭建(xp下)

 

第二步,在点击大象后弹出的对话框进行进行参数的添加。

General tab页:

location name: 这个随便填写,我填写的是:localhost.

Map/Reduce Master 这个框里

Host:就是resourcemanager(hadoop1.x为jobtracker)所在的集群机器,这里写x.x.x.x

Hort:就是resourcemanager(hadoop1.x为jobtracker) 的port,这里写的是8083

这两个参数就是对应yarn-site.xml中yarn.resourcemanager.address属性值 

DFS Master 这个框里

Host:就是namenode所在的集群机器,这里写x.x.x.x

Port:就是namenode的port,这里写9000

这两个参数就是core-site.xml里面fs.default.name里面的ip和port

(Use M/R master host,这个复选框如果选上,就默认和Map/Reduce Master这个框里的host一样,如果不选择,就可以自己定义输入,这里jobtracker 和namenode在一个机器上,所以是一样的,就勾选上)

user name:这个是连接hadoop的用户名,因为我是用hecdev用户安装的hadoop,所以就用hecdev。如下图。

 

advance parameters tab页:

此页的属性都已经自动填写上了,其实就是把core-defaulte.xml、hdfs-defaulte.xml、mapred-defaulte.xml里面的一些配置属性展示出来。因为在安装hadoop的时候,其site系列配置文件里有改动,所以这里也要弄成一样的设置。主要关注的有以下属性:

fs.defualt.name:这个在General tab页已经设置了

mapred.job.tracker:这个在General tab页也设置了

dfs.replication:这个这里默认是3,因为我在hdfs-site.xml里面设置成了1,所以这里也要设置成1。

然后点击finish,这个视图中就有多了一条记录,然后就连接上了,连接上的标志如图,DFSLocations下面会有一只大象,下面会有一个文件夹,即 hdfs的根目录,这里就是展示的分布式文件系统的目录结构了。

 

到这里为止,Eclipse hadoop开发环境配置已经完全搭建完毕。最后,就可以在eclipse中像一般java程序那样开发hadoop程序了。

 

3、新建Map/Reduce Project

如无意外,在File>>New>>Project下面就会看到有Map/Reduce Project,点击后需要配置hadoop install directory,如果用mapreduce框架配置为/home/hadoop/hadoop/share/hadoop/mapreduce,如果用yarn框架配置为/home/hadoop/hadoop/share/hadoop/yarn即可。

 然后就可以像一般java程序进行开发了。