hadoop集群环境搭建之安装配置hadoop集群

时间：2021-10-08 08:32:32

在安装hadoop集群之前，需要先进行zookeeper的安装，请参照hadoop集群环境搭建之zookeeper集群的安装部署

1 将hadoop安装包解压到 /itcast/  (如果没有这个目录可以先自行创建之)

tar -zxvf hadoop-2.6.4.tar.gz -C /itcast

2 配置HDFS（hadoop2所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）

2.1将hadoop添加到环境变量中,可以在一台机器上添加，然后发送给其他节点

vim /etc/profile

export JAVA_HOME=/usr/java/jdk

export HADOOP_HOME=/itcast/hadoop-2.6.4

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
                       export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

2.2 修改配置文件

2.2.1修改hadoop-env.sh

            export JAVA_HOME=/usr/local/jdk

2.2.2修改core-site.xml

            <configuration>

                    <!-- 指定hdfs的nameservice为ns1 -->

                    <property>

                        <name>fs.defaultFS</name>

                        <value>hdfs://ns1</value>

                    </property>

                    <!-- 指定hadoop临时目录 -->

                    <property>

                        <name>hadoop.tmp.dir</name>

                        <value>/itcast/hadoop-2.6.4/tmp</value>

                    </property>

                    <!-- 指定zookeeper地址 -->

                    <property>

                        <name>ha.zookeeper.quorum</name>

                        <value>itcast14:,itcast15:,itcast16:</value>

                    </property>

                </configuration>

2.2.3修改hdfs-site.xml

<configuration>

        <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->

        <property>

            <name>dfs.nameservices</name>

            <value>ns1</value>

        </property>

        <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->

        <property>

            <name>dfs.ha.namenodes.ns1</name>

            <value>nn1,nn2</value>

            </property>

            <!-- nn1的RPC通信地址 -->

            <property>

             <name>dfs.namenode.rpc-address.ns1.nn1</name>

             <value>itcast11:</value>

            </property>

            <!-- nn1的http通信地址 -->

            <property>

                <name>dfs.namenode.http-address.ns1.nn1</name>

                <value>itcast11:</value>

            </property>

            <!-- nn2的RPC通信地址 -->

            <property>

                <name>dfs.namenode.rpc-address.ns1.nn2</name>

                <value>itcast12:</value>

            </property>

            <!-- nn2的http通信地址 -->

            <property>

                <name>dfs.namenode.http-address.ns1.nn2</name>

                <value>itcast12:</value>

            </property>

        <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->

            <property>

                <name>dfs.namenode.shared.edits.dir</name>

        <value>qjournal://itcast14:8485;itcast15:8485;itcast16:8485/ns1</value>

            </property>

            <!-- 指定JournalNode在本地磁盘存放数据的位置 -->

            <property>

                <name>dfs.journalnode.edits.dir</name>

                <value>/itcast/hadoop-2.6./journal</value>

            </property>

            <!-- 开启NameNode失败自动切换 -->

            <property>

                <name>dfs.ha.automatic-failover.enabled</name>

                <value>true</value>

            </property>

            <!-- 配置失败自动切换实现方式 -->

            <property>

    <name>dfs.client.failover.proxy.provider.ns1</name>         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

            </property>

            <!-- 配置隔离机制 -->

            <property>

                <name>dfs.ha.fencing.methods</name>

                <value>sshfence</value>

            </property>

            <!-- 使用隔离机制时需要ssh免登陆 -->

            <property>

                <name>dfs.ha.fencing.ssh.private-key-files</name>

                <value>/root/.ssh/id_rsa</value>

            </property>

        </configuration>

2.2.4修改slaves

itcast14

itcast15

itcast16

2.3 配置yarn

2.3.1修改yarn-site.xml

<configuration>

            <!-- 指定resourcemanager地址 -->

            <property>

                <name>yarn.resourcemanager.hostname</name>

                <value>itcast13</value>

            </property>

            <!-- 指定nodemanager启动时加载server的方式为shuffle server -->

            <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

            </property>

    </configuration>

2.3.2修改mapred-site.xml

       <configuration>

        <!-- 指定mr框架为yarn方式 -->

            <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

            </property>

        </configuration>

2.4将配置好的hadoop拷贝到其他节点

对于节点itcast12，itcast13

scp –r /itcast/ itcast12:/

对于节点itcast14，itcast15, itcast16

scp –r /itcast/hadoop-2.6.4 itcast14:/itcast/

至此，安装配置步骤已经全部完成，接下来就是要启动hadoop集群了！

2.5启动zookeeper集群（分别在itcast14、itcast15、itcast16上启动zk）
cd /itcast/zookeeper-3.4.5/bin/
./zkServer.sh start
查看状态：
./zkServer.sh status
（一个leader，两个follower）

(这一步，itcast14,itcast15,itcast16将会新增一个QuorumPeerMain进程）

注意：此时在查看状态的时候容易出现错误，错误提示如下：

JMX enabled by default
Using config: /hadoop/zookeeper/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

此时请参照文章安装zookeeper时候，可以查看进程启动，但是状态显示报错：Error contacting service. It is probably not running进行修改


2.6启动journalnode（在itcast11上启动所有journalnode）
cd /itcast/hadoop-2.6.4
sbin/hadoop-daemons.sh start journalnode
(在itcast14,itcast15,itcast16上运行jps命令检验，多了JournalNode进程)

注:此时如果在itcast11上也多了一个JournalNode进程，就需要查看slaves配置文件，将该配置文件中的localhost一行去掉。

2.7格式化HDFS
在itcast11上执行命令:
hadoop namenode -format
格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/itcast/hadoop-2.6.4/tmp，然后将/itcast/hadoop-2.6.4/tmp拷贝到itcast12的/itcast/hadoop-2.6.4/下。
scp -r tmp/ itcast12:/itcast/hadoop-2.6.4/

2.8格式化ZK(在itcast11上执行即可)
hdfs zkfc -formatZK

2.9启动HDFS(在itcast11上执行)
sbin/start-dfs.sh

(这一步itcast11,itcast12将新增一个namenode进程和一个DFSZKFailoverController进程,itcast14,itcast15,itcast16将会新增一个datanode进程)

2.10启动YARN(在itcast13上执行,同时需要设置itcast13到itcast14，itcast15，itcast16的免登陆，否则将会出现上传的文件无法查看的情况)
sbin/start-yarn.sh

(这一步itcast13将新增一个ResourceManager进程,itcast14,itcast15,itcast16将会新增一个NodeManager进程)

至此，hadoop集群的启动工作完成，接下来就是验证是否成功了！

可以利用浏览器访问:
http://192.168.1.201:50070
NameNode 'itcast11:9000' (active)
http://192.168.1.202:50070
NameNode 'itcast12:9000' (standby)

验证HDFS HA
首先向hdfs上传一个文件
hadoop fs -put /etc/profile /profile

查看是否上传到了根目录下
hadoop fs -ls /

然后再kill掉active的NameNode
kill -9 <pid of NN>
通过浏览器访问：http://192.168.1.202:50070
NameNode 'itcast12:9000' (active)
这个时候itcast12上的NameNode变成了active

注：此时如果itcast12仍然是stanby状态，是因为没有设置itcast12到itcast11的ssh免登陆.

在执行命令：
hadoop fs -ls /
     -rw-r--r-- 3 root supergroup 1926 2014-02-06 15:36 /profile
刚才上传的文件依然存在！！！
手动启动那个挂掉的NameNode
sbin/hadoop-daemon.sh start namenode
通过浏览器访问：http://192.168.1.201:50070
NameNode 'itcast01:9000' (standby)

（如果你想通过浏览器查看上传的文件browse the filesystem,却无法打开网页，是因为没有配置windows下的profile文件，可以打开C:\Windows\System32\drivers\etc下的profile文件，增加如下内容：

192.168.1.201 itcast11
192.168.1.202 itcast12
192.168.1.203 itcast13
192.168.1.204 itcast14
192.168.1.205 itcast15
192.168.1.206 itcast16

这样，就可以通过浏览器访问你上传的文件了！！）

验证YARN：
运行一下hadoop提供的demo中的WordCount程序：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar /words /resultout

(words文件请自行创建之）

OK，大功告成！！！

相关文章