准备文件：
▪ VMware11.0.0
▪ CentOS-6.5-x86_64-bin-DVD1.iso
▪ jdk-6u45-linux-x64-rpm.bin
▪ hadoop-1.2.1-1.x86_64.rpm
1.规划
功能 HOSTNAME IP 说明
───────────────────────────────────────────────────────────────────────
Master HDM01 192.168.44.131 Namenode兼datanode
Slave HDS01 192.168.44.132 Datanode
Slave HDS02 192.168.44.133 Datanode
2.系统环境
在vmwave虚拟机安装三台CentOS系统，并分别安装SSH,rsync.(一般系统自带)
ssh 127.0.0.1 #验证ssh是否正确安装
3.系统配置
(1)创建hadoop运行用户(root用户)：
useradd hadoop
passwd hadoop #设置密码，SSH登录需要
ps:master和slave节点机都要创建相同的用户和用户组，即在所有集群服务器上都要建hadoop用户和用户组。
(2)关闭防火墙
chkconfig iptables off #永久关闭防火墙
chkconfig --list iptables #查看防火墙状态
(3)配置机器名和网络
■ 配置HOSTNAME:
vi /etc/sysconfig/network #修改HOSTNAME(需重启生效)
ps:这里Master设置为HDM01,Slave分别设置为HDS02,HDS03
■ 配置网络IP
vi /etc/sysconfig/network-scripts
vi ifcfg-eth0
添加IPADDR=192.168.*.*,重启服务service network restart
■ 配置IP和HOSTNAME的映射关系
vi /etc/hosts #添加ip hostname 映射关系
4.配置非root用户免验证登录ssh
重要：三个节点都有相同的用户名hadoop
用hadoop用户登录，在cd /home/hadoop下执行以下命令，第一二三步在三台机器上都执行，第四步在HDM01上执行。
(1)第一步
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
-t参数就是指定要生成的密钥类型，这里指定的是rsa
-P就是提供的旧密码，''表示没有
-f是密钥的生成后的保存文件位置
(2)第二步
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
把暴露出来的公共密钥按顺序导入authorized_keys中保存
(3)第三步
chmod ~/.ssh
chmod ~/.ssh/authorized_keys
ssh机制很严谨，对文件的权限要求非常严格，这里需要把.ssh文件夹的权限设置为700(只有所有者有读和写以及执行的权限)，authorized_keys的权限设置为600(只有所有者有读和写的权限)
(4)第四步
ssh HDS02 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh HDS03 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
scp authorized_keys hadoop@HDS02:/home/hadoop/.ssh/
scp authorized_keys hadoop@HDS03:/home/hadoop/.ssh/
最终authorized_keys文件有各个集群服务器的信息
验证：第一次可能需要输入密码，最终每台机器都能联通：
ssh HDM01
ssh HDS02
ssh HDS03
5.安装jdk
这里需要将jdk-6u45-linux-x64-rpm.bin文件放到系统目录下,然后执行以下命令来安装jdk：
chmod +x jdk-6u45-linux-x64-rpm.bin #给所有用户添加可执行权限
./jdk-6u45-linux-x64-rpm.bin #生成rpm文件
chmod +x jdk-6u45-linux-amd64.rpm #给所有用户添加可执行权限
rpm -ivh jdk-6u45-linux-amd64.rpm #安装jdk
安装完成后需要配置环境变量：
vi /etc/profile
文件追加如下内容：
JAVA_HOME=/usr/java/jdk1.6.0_45
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export JAVA_HOME PATH CLASSPATH
使环境变量生效，需要执行如下：
source /etc/profile
查看java版本，出现版本信息说明安装成功。可以用如下命令查看相关信息：
rpm -qa|grep jdk 检查是否已安装JDK
java -version 查看jdk版本
which java 检查java安装目录
env|grep JAVA_HOME 检查是否配置JAVA_HOME
6.安装hadoop
hadoop包的安装类似jdk的安装：
su root
rpm -ivh /opt/cloud/hadoop-1.2.-.x86_64.rpm #安装hadoop
7.配置hadoop配置文件
每台机器服务器都要配置，且都是一样的，配置完一台其他的只需要拷贝，每台机器上的core-site.xml和mapred-site.xml都是配master服务器的hostname.
vi /etc/hadoop/core-site.xml
配置如下内容：
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://HDM01:9000</value>
</property>
vi /etc/hadoop/hdfs-site.xml
配置如下内容：
<property>
<name>dfs.replication</name>
<value>2</value>
<property>
vi /etc/hadoop/mapred-site.xml
配置如下内容：
<property>
<name>mapred.job.tracker</name>
<value>HDM01:9001</value>
<property>
注：core-site.xml文件中hadoop.tmp.dir是hadoop文件系统依赖的基础配置，默认位置是/tmp/{$user}下面，但是/tmp路径下的存储不安全的，因为linux一次重启，文件就可能被删除。修改该参数后需要格式化： hadoop namenode -format
8.配置hadoop集群配置文件
只需要namenode节点机，这里的HDM01既做namenode也兼datanode,一般情况namenode要求独立机器，namenode不兼datanode.
vi /etc/hadoop/masters
配置如下内容：
HDM01
vi /etc/hadoop/slaves
配置如下内容：
HDM01
HDS02
HDS03
9.配置非root用户权限
■ 将/usr/sbin/下的以下脚本文件的owner设置为hadoop，且赋给hadoop全权rwx:
chown hadoop:hadoop /usr/sbin/hadoop-create-user.sh
chown hadoop:hadoop /usr/sbin/hadoop-daemon.sh
chown hadoop:hadoop /usr/sbin/hadoop-daemons.sh
chown hadoop:hadoop /usr/sbin/hadoop-setup-applications.sh
chown hadoop:hadoop /usr/sbin/hadoop-setup-conf.sh
chown hadoop:hadoop /usr/sbin/hadoop-setup-hdfs.sh
chown hadoop:hadoop /usr/sbin/hadoop-setup-single-node.sh
chown hadoop:hadoop /usr/sbin/hadoop-validate-setup.sh
chown hadoop:hadoop /usr/sbin/rcc
chown hadoop:hadoop /usr/sbin/slaves.sh
chown hadoop:hadoop /usr/sbin/start-all.sh
chown hadoop:hadoop /usr/sbin/start-balancer.sh
chown hadoop:hadoop /usr/sbin/start-dfs.sh
chown hadoop:hadoop /usr/sbin/start-jobhistoryserver.sh
chown hadoop:hadoop /usr/sbin/start-mapred.sh
chown hadoop:hadoop /usr/sbin/stop-all.sh
chown hadoop:hadoop /usr/sbin/stop-balancer.sh
chown hadoop:hadoop /usr/sbin/stop-dfs.sh
chown hadoop:hadoop /usr/sbin/stop-jobhistoryserver.sh
chown hadoop:hadoop /usr/sbin/stop-mapred.sh
chown hadoop:hadoop /usr/sbin/update-hadoop-env.sh
chmod u+rwx /usr/sbin/hadoop-create-user.sh
chmod u+rwx /usr/sbin/hadoop-daemon.sh
chmod u+rwx /usr/sbin/hadoop-daemons.sh
chmod u+rwx /usr/sbin/hadoop-setup-applications.sh
chmod u+rwx /usr/sbin/hadoop-setup-conf.sh
chmod u+rwx /usr/sbin/hadoop-setup-hdfs.sh
chmod u+rwx /usr/sbin/hadoop-setup-single-node.sh
chmod u+rwx /usr/sbin/hadoop-validate-setup.sh
chmod u+rwx /usr/sbin/rcc
chmod u+rwx /usr/sbin/slaves.sh
chmod u+rwx /usr/sbin/start-all.sh
chmod u+rwx /usr/sbin/start-balancer.sh
chmod u+rwx /usr/sbin/start-dfs.sh
chmod u+rwx /usr/sbin/start-jobhistoryserver.sh
chmod u+rwx /usr/sbin/start-mapred.sh
chmod u+rwx /usr/sbin/stop-all.sh
chmod u+rwx /usr/sbin/stop-balancer.sh
chmod u+rwx /usr/sbin/stop-dfs.sh
chmod u+rwx /usr/sbin/stop-jobhistoryserver.sh
chmod u+rwx /usr/sbin/stop-mapred.sh
chmod u+rwx /usr/sbin/update-hadoop-env.sh
■将/usr/bin下的hadoop设为所有人可读可执行：
chmod 555 /usr/bin/hadoop
■将/var/log/hadoop及其下的owner设置为hadoop，且赋值给hadoop全权rwx
将/var/run/hadoop及其下的owner设置为hadoop, 且赋值给hadoop全权rwx
将/home/hadoop/及其下的owner设置为hadoop,且hadoop权限设为"rwxr-xr-x"，设为更大权限不行，主要是因为/home/hadoop/tmp/dfs/data的权限需要为"rwxr-xr-x"
chown -R hadoop:hadoop /var/log/hadoop
chown -R hadoop:hadoop /var/run/hadoop
chown -R hadoop:hadoop /home/hadoop
chmod -R u+rwx /var/log/hadoop
chmod -R u+rwx /var/run/hadoop
chmod -R u+rwx /home/hadoop
10.配置hadoop的java环境
配置hadoop的java环境与env的java_home保持一致，文件/etc/hadoop/hadoop-env.sh
11.格式化HDFS
hadoop namenode -format #hadoop用户执行
chown -R hadoop:hadoop /home/hadoop/
chown -R 755 /home/hadoop/
12.启动hadoop
hadoop用户登录：
start-all.sh
13.验证hadoop
在Master上用java自带的小工具jps查看5个进程都在：
在Slave1上用jps查看进程：
14.网页查看集群
http:192.168.44.131:50030 查看Map/Reduce状态
http:192.168.44.131:50070 查看HDFS状态
