Hadoop入门之安装配置(hadoop-0.20.2)

时间:2023-12-05 11:46:50

Hadoop,简单理解为HDFS(分布式存储)+Mapreduce(分布式处理),专为离线和大规模数据分析而设计。

Hadoop可以把很多linux的廉价PC组成分布式结点,然后编程人员也不需要知道分布式算法之类的,只需根据mapreduce的规则定义好的接口方法,剩下的就交给hadoop,它会自动把相关的计算分布到各个结点上去,然后得到结果。

比如,有一个1PB的文件,我们要分析其中的有用的数据,首先我们把1PB的数据文件导入到HDFS中,然后编程人员定义好map和reduce函数,也就是把文件的行定义为key,每行内容定义为value,然后进行匹配,匹配成功把结果通过reduce聚合起来,Hadoop就会把这个程序分别到N个结点去并行操作,缩短时间。

环境软件准备:VMware10、Cent6.5、JDK1.8.0_65、hadoop-0.20.2

我们在VMware10上安装三个Cent6.5OS,三个节点,其中一个为服务器master,另外两个为客户机slave(node)

安装的过程可以借助网上的相关文档:http://wenku.baidu.com/link?url=er-Uo_5unEZGIcyg14wzZydaB5cqaUE-yAQddxCC7rS_rBtBBtsFgtVkVETRWZTsmi46_f7d5MBgPVWvnRdoKPMjuwDLLlpcSwAZRBT10m_

安装好CentOS后,即可在每台机器上安装JDK,安装地址参考:http://jingyan.baidu.com/article/c74d60007b85510f6a595dfa.html

Java JDK安装好之后就可以正式开始安装Hadoop了。

第一步:修改主机名称hostname,修改后可以重启CentOS

[root@wy ~]$   vi /ect/sysconfig/network

修改其中的HostName=master,修改后可以重启一下CentOS,以让其生效。

其余两个节点也类似方式,分别将HostName修改为node2、node3

第二步:在三个节点上都配置hosts文件,确定每台CentOS的IP和主机名对应上

[root@master ~]$   ifconfig

查看各个节点的IP地址,然后在hosts文件中输入IP+主机名

[root@master ~]$  vi /etc/hosts

在打开的hosts文件中,输入i,即可编辑文件,输入以下内容后,按ESC,后输入:wq后即可保存退出。

192.168.1.188  master

192.168.1.189  node2

192.168.1.190  node3

第三步:创建hadoop群组和hadoop用户(三个节点都要做如下配置)

[root@master ~]$ groupadd hadoop  --创建hadoop组

[root@master ~]$ useradd hadoop -g hadoop --为hadoop组中添加一个用户,用户名为hadoop

[root@master ~]$ passwd hadoop --为hadoop用户指定密码

这样即可完成组和用户的创建,在创建完后,即可开始进行下面的操作了。

第四步:配置ssh免密码连入(三个节点都要做如下配置)

系统默认是root用户登录的,所以首先是要切换到hadoop用户,以及导航到根目录。然后利用命令生成公钥和私钥,生成位置在.ssh目录下,生成后导航到.ssh目录下,利用ls命令即可查看生成出来的文件,最后将公钥文件中的内容复制成authorized_keys文件,具体涉及命令如下:

[root@master ~]$ su hadoop

[hadoop@master ~]$ cd ~

[hadoop@master ~]$ ssh-keygen -t dsa -P '' -f  ~/.ssh/id_dsa

[hadoop@master ~]$ cd .ssh/

[hadoop@master ~]$ cat id_dsa.pub >> authorized_keys

Hadoop入门之安装配置(hadoop-0.20.2)

将公钥复制到authorized_keys文件之后一定要修改权限,否则无法进行下一步操作,就像上图中红色框中的内容.

修改.ssh文件夹以及authorized_keys文件的权限

[hadoop@master ~]$ chmod 700 ~/.ssh

[hadoop@master ~]$ chmod 600 ~/.ssh/authorized_keys

完成以上操作后,可以对各个节点进行自检测

[hadoop@master ~]$ ssh localhost --第一次连接需要输入yes

[hadoop@master ~]$ ssh localhost --第一次连接可直接连接,即表示配置成功

下面开始配置主节点master可以通过ssh免密码登录两个子节点(node2、node3),在未做以下操作前,如果你在命令行输入ssh node2,是需要输入密码的.

为了实现这个功能,两个node节点的公钥文件中必须要包含主节点的公钥信息,这样master就可以顺利安全访问两个node。

首先在node3上做如下操作:(node2和master上也需要做以下操作)

Hadoop入门之安装配置(hadoop-0.20.2)

这时候,在master中用ssh连接node2就不需要输入密码了,即表示配置成功。

第五步:下载安装hadoop

将下载的hadoop文件放在/home/hadoop用户的根目录下,接着开始解压

[hadoop@master ~]$ tar xzvf /root/hadoop-0.20.2.tar.gz

解压后文件会是/home/hadoop/hadoop-0.20.2,此时为了以后操作方便,修改了文件的名称,将hadoop-0.20.0修改为hadoop(这步操作其实完全可以不需要做)。

解压后需要在/etc/porfile文件中配置hadoop的环境变量

[hadoop@master ~]$ vi /etc/profile

export HADOOP_INSTALL=/home/hadoop/hadoop --第一个hadoop是用户名,第二个是刚才修改的文件名称

export PATH=$PATH:$HADOOP_INSTALL/bin

接着,就可以修改hadoop的配置文件了,分别是core.site.xml、hdfs-site.xml、mapred-site.xml、hadoop-env.sh、masters、slaves文件(在mater主节点中配置)

core.site.xml

<configuration>
<property>
<!-- 用于设置Hadoop的文件系统,由URI指定 -->
<name>fs.default.name</name>
<value>hdfs://mater:9000</value>
</property>
<property>
<!-- 配置Hadoop的临时目录,默认在/tmp目录下,但是/tmp上面可能会被系统自动清理掉。-->
<name>hadoop.tmp.dir</name>
<!-- 目录如果不存在,需要手动创建 -->
<value>/home/hadoop/hadoop/tmp</value>
<description>A base for other temperary directory</description>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hadoop/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<!-- 主节点IP-->
<value>192.168.1.188:9001</value>
</property>
</configuration>

hadoop-env.sh

<!--在该文件中去掉export JAVA_HOME前面的#,然后根据自己的JDK路径实际配置-->
export JAVA_HOME=/usr/java/jdk1.8.0_65

masters

master

slaves

node2
node3

在主节点中完成以上配置后,就可以将hadoop复制到node2、node3节点中,这样子节点也就安装好hadoop。

[hadoop@master ~]$ scp -r ./hadoop node2:~

[hadoop@master ~]$ scp -r ./hadoop node3:~

第六步:关闭防火墙,启动hadoop

在启动hadoop之前要先关闭防火墙,否则会失败。

Hadoop入门之安装配置(hadoop-0.20.2)

关闭完防火墙,在启动hadoop之前,要再做一部格式化主节点master上的namenode(只需要在主节点上操作,子节点中对应只有datanode)

Hadoop入门之安装配置(hadoop-0.20.2)

格式化中出现上图标示的successfully formatted 后即可启动hadoop。

Hadoop入门之安装配置(hadoop-0.20.2)

启动后,可用JPS命令查看各个节点的各个进程是否启动成功。(在三个节点都做以下操作)

Hadoop入门之安装配置(hadoop-0.20.2)

在node2、node3用JPS输入后显示的是:

Jps

DataNode

TaskTracker

这样,安装和配置环节终于完成,最后通过web方式验证hadoop是否安装成功。

在主节点的centos中打开浏览器,默认是火狐,在url地址栏分别输入以下两个命令

http://192.168.1.188:50030/jobtracker.jsp

http://192.168.1.188:50070

分别出现以下页面,即表示安装成功:

http://192.168.1.188:50030/jobtracker.jsp

Hadoop入门之安装配置(hadoop-0.20.2)

http://192.168.1.188:50070

Hadoop入门之安装配置(hadoop-0.20.2)