hadoop 2.2.0集群安装详细步骤（简单配置，无HA）

时间：2024-01-20 13:45:45
  1. 安装环境
    操作系统：CentOS 6.5 i586(32位)
    java环境：JDK 1.7.0.51
    hadoop版本：社区版本2.2.0，hadoop-2.2.0.tar.gz
  2. 安装准备
    设置集群的hosts，切换到root用户下，用vi编辑器修改/etc/hosts配置文件： 
    vi /etc/hosts

10.1.5.125 master
    
10.1.5.126 slave1
    
10.1.5.127 slave2

127.0.0.1 localhost

    配置集群各个节点之间的ssh无密码互信，也就是从master开始，ssh到master、slave1和slave2上都不需要密码，反向ssh到master则不必设置。互信设置需要在hadoop2用户下执行命令如下：

    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    
cat  ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    
scp ~/.ssh/authorized_keys hadoop@slave1:/home/hadoop/.ssh/
    
scp ~/.ssh/authorized_keys hadoop@slave2:/home/hadoop/.ssh/

    这样就将生成的授权秘钥拷贝到了slave1和slave2的/home/hadoop2/.ssh目录下，还需要执行非常重要的一步才能实现无密码互信，修改权限：

    chmod  ~/.ssh/authorized_keys

    该步骤必须在master、slave1和slave2上分别执行。

  3. hadoop安装
    将hadoop-2.2.0.tar.gz拷贝到hadoop2用户的工作目录/home/hadoop2，执行解压命令，并修改文件夹名称为hadoop2： 
    tar -zxvf hadoop-2.2..tar.gz
    
mv hadoop-2.2. hadoop2

    先配置hadoop2的环境变量，修改~/.bash_profile(JAVA_HOME、PATH和CLASSPATH已经在root用户下设置在/etc/profile文件中):

    vi .bash_profile

export HADOOP_HOME=$HOME/hadoop2
    
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
    
export HADOOP_COMMON_HOME=${HADOOP_HOME}
    
export HADOOP_HDFS_HOME=${HADOOP_HOME}
    
export YARN_HOME=${HADOOP_HOME}
    
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
    
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
    
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
    
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
    
export HADOOP_PID_DIR=/var/hadoop/pids

执行source命令，立即生效：
    
source .bash_profile

    进入hadoop2的配置文件夹~/hadoop2/etc/hadoop/目录下，修改配置各个文件，
    core-site.xml：

    vi core-site.xml

<configuration>
    
<property>
    
<name>fs.defaultFS</name>
    
<value>hdfs://master:9000</value>
    
</property>

<property>
    
<name>io.file.buffer.size</name>
    
<value></value>
    
</property>

<property>
    
<name>hadoop.tmp.dir</name>
    
<value>file:/home/hadoop2/tmp</value>
    
<description>Abase for other temporary directories.</description>
    
</property>

</configuration>

    hdfs-site.xml:

    vi hdfs-site.xml

<configuration>
    
<property>
    
<name>dfs.namenode.secondary.http-address</name>
    
<value>master:</value>
    
</property>

<property>
    
<name>dfs.namenode.name.dir</name>
    
<value>file:/home/hadoop2/dfs/name</value>
    
</property>

<property>
    
<name>dfs.datanode.data.dir</name>
    
<value>file:///home/hadoop2/dfs/data,/hdfs/data</value>
    
</property>

<property>
    
<name>dfs.replication</name>
    
<value></value>
    
</property>

<property>
    
<name>dfs.webhdfs.enabled</name>
    
<value>true</value>
    
</property>

</configuration>

    hadoop-env.sh(本机的安装路径为/opt/jdk1.7):

    vi hadoop-env.sh

export JAVA_HOME=${JAVA_HOME}

    yarn-site.xml:

    vi yarn-site.xml

<configuration>
    
<property>
    
<name>yarn.nodemanager.aux-services</name>
    
<value>mapreduce_shuffle</value>
    
</property>

<property>
    
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
    
</property>

<property>
    
<name>yarn.resourcemanager.address</name>
    
<value>master:</value>
    
</property>

<property>
    
<name>yarn.resourcemanager.scheduler.address</name>
    
<value>master:</value>
    
</property>

<property>
    
<name>yarn.resourcemanager.resource-tracker.address</name>
    
<value>master:</value>
    
</property>

<property>

<name>yarn.resourcemanager.admin.address</name>
    
<value>master:</value>
    
</property>

<property>
    
<name>yarn.resourcemanager.webapp.address</name>
    
<value>master:</value>
    
</property>
    
</configuration>

    mapred-site.xml:

    vi mapred-site.xml

<configuration>
    
<property>
    
<name>mapreduce.framework.name</name>
    
<value>yarn</value>
    
</property>

<property>
    
<name>mapreduce.jobhistory.address</name>
    
<value>master:</value>
    
</property>

<property>
    
<name>mapreduce.jobhistory.webapp.address</name>
    
<value>master:</value>
    
</property>

</configuration>

    slaves:

    vi slaves

master
    
slave1
    
slave2

    此设置中，将master也作为一个datanode节点来使用，只有在集群机器数量不足的情况下才会如此设置。
    这样就设置完成了，然后将/home/hadoop2/hadoop2目录，整个拷贝到slave1和slave2的hadoop2的工作目录下，就算完成了安装：

    scp -r /home/hadoop2/hadoop2  slave1:/home/hadoop2
    
scp -r /home/hadoop2/hadoop2  slave2:/home/hadoop2

  4. 启动集群
    执行hadoop2的sbin目录下的启动脚本:

    sbin/start-dfs.sh
    
（此命令启动了namenode、secondaryNamenode以及datanode）

sbin/start-yarn.sh
    
(此命令启动了ResourceManager和NodeManager，相当于hadoop1中的jobtracker和TaskTracker)

    然后用jps命令来查看运行的java进程，如果下列进程都存在，则说明集群正常启动：

    NameNode
    
SecondaryNameNode
    
ResourceManager
    
NodeManager
    
DataNode

    至此，hadoop 2.2.0集群安装完毕。

  5. 注意事项
    需要注意的一点是：hadoop集群的进程pid文件默认保存在linux的/tmp目录下，而/tmp目录为保存临时文件的目录，会定期清除，所以我们最好手动修改hadoop集群的pid文件的存放目录。配置步骤如下：
    在/var目录下创建目录/var/hadoop/pids，作为hadoop的pid文件存放目录，并且需要修改目录的所有者和所属组群，因为hadoop2用户需要向该目录下写入pid文件：

    cd /var
    
sudo mkdir hadoop
    
cd hadoop
    
sudo mkdir pids

sudo chown -R hadoop2:hadoop2 /var/hadoop/pids

    然后修改hadoop2的配置文件如下：

    vi hadoop-env.sh

export HADOOP_PID_DIR=/var/hadoop/pids

vi yarn-env.sh

export YARN_PID_DIR=/var/hadoop/pids

    然后重新启动集群就可以了。

  6. 转载请注明出处：http://www.cnblogs.com/bxljoy/p/3880250.html

相关文章