hadoop集群部署

时间：2023-02-12 05:28:07

1) 安装jdk 
下载jdk-6u21-linux-i586.bin 
然后修改/etc/profile：

export JAVA_HOME=/usr/local/jdk

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$PATH:$JAVA_HOME/bin

保存，并执行source /etc/profile

2) 配置host 
Namenode的机器，需要配置集群中所有机器的ip 
修改/etc/hosts

10.10.236.190   master

10.10.236.191   slave-A

10.10.236.193   slave-B

其他的datanode的/etc/hosts 只需要配置namenode的机器ip和本机ip

10.10.236.190   master

10.10.236.191   slave-A

修改hostname(可选) 
vi /proc/sys/kernel/hostname

3) 建立ssh无密码登录

在登陆方生成密钥对，执行命令： ssh-keygen(下面的项目都默认，会生成密钥对)

进入.ssh目录

ssh-copy-id   hadoop-server03(要免密登录的主机)
就可以完成ssh免密登录的设置。

测试ssh

4) 安装hadoop 
下载Hadoop 解压到每台服务器的/usr/local/apps
解压

tar -zxvf   hadoop-2.6.5

然后修改/etc/profile

export HADOOP_HOME=/usr/local/apps/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

5) 配置hadoop 
1.修改conf/hadoop-env.sh，添加jdk支持

export JAVA_HOME=/usr/local/jdk

如果ssh端口不是默认的22，在conf/hadoop-env.sh里改下。如：

export HADOOP_SSH_OPTS="-p 1234"

2.修改conf/core-site.xml，增加下面内容

hadoop集群部署

<property>
<name>fs.defaultFS</name>
<value>hdfs:hadoop-server-03:9000/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/root/tmp</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-server-03:8020/</value>
</property>

hadoop集群部署

3.修改conf/hdfs-site.xml，增加下面内容

hadoop集群部署

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/root/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/root/tmp/dfs/data</value>
</property>

<property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
</property>

<property>
<name>dfs.datanode.address</name>
<value>0.0.0.0:50010</value>
</property>

<property>
<name>dfs.datanode.ipc.address</name>
<value>0.0.0.0:50020</value>
</property>

<property>
<name>dfs.datanode.http.address</name>
<value>0.0.0.0:50075</value>
</property>

hadoop集群部署

3.修改conf/mapred-site.xml，增加下面内容

<property>

        <name>mapred.job.tracker</name> //jobTracker的主机

        <value>master:54311</value>

</property>

4. .修改conf/masters，这个决定那个是secondarynamenode

master

5 .修改conf/slaves，这个是所有datanode的机器

slaves-A

slaves-B

6) 将配置好的hadoop拷贝到所有的datanode

scp -rp /data/soft/hadoop-0.21.0 10.10.236.191:/data/soft/hadoop-0.21.0

在datanode上建立对应的软连

7) 格式化hdfs文件系统的namenode

root@master:/data/soft/hadoop# bin/hadoop namenode –format

输入Y 

8) 启动hadoop集群

root@master:/data/soft/hadoop# bin/start-all.sh

9) Hdfs操作 
建立目录

root@master:/data/soft/hadoop # bin/hadoop dfs -mkdir testdir

查看现有文件

root@master:/data/soft/hadoop # bin/hadoop dfs -ls

10) 关闭Hdfs

root@master:/data/soft/hadoop# bin/stop-all.sh

转自 http://running.iteye.com/blog/890971

相关文章