1. 安装VMware Workstation Pro
2.安装Ubuntu-16.04
3.以下全程使用sudo –s 切换root权限
4.更新deb软件包列表:apt-get update
5.安装系统更新 apt-get upgrade
6.安装JDK8到/opt/java8
改变所属组和用户
cd /opt
sudo chown cc:cc java8
7.设置CLASSPATH 和JAVA_HOME,这里我使用的是gedit /etc/profile的方式设置
export JAVA_HOME=/opt/java8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
8.从http://hadoop.apache.org/下载hadoop-2.7.3.tar.gz
tar -zxvf hadoop-2.7.3.tar.gz 解压
改变所属组和用户
cd /opt
chown cc:cc hadoop-2.7.3
9.更新hadoop环境变量
gedit hadoop/conf/hadoop-env.sh
将#export JAVA_HOME= *** 这一行改为:
export JAVA_HOME=/opt/java8 (注:此处java_home 一定要硬编码)
10.gedit /etc/profile配置环境变量 export HADOOP_HOME=/opt/hadoop-2.7.3
11.配置ssh
apt-get install ssh
查看是否已经安装好ssh –V
检查是否生成/root/.ssh目录,没生成的话用mkdir生成一个,如图:
生成公钥:ssh-keygen
公钥密码可以留空
检查/root/.ssh目录是否生成文件authorized_keys,如果没有使用touch authorized_keys
生成一个
把公钥的内容复制到authorized_keys文件中cat
id_rsa.pub >> authorized_keys
修改authorized_keys权限为600: chmod 600
authorized_keys
验证是否配置成,命令:ssh localhost
12.克隆两台虚拟机
13.建立三台虚拟机的通信
新增的两台虚拟机会在电脑的网络连接里多两个连接
设置共享原来的本地连接
设置虚拟机连接
设置IP地址,DNS可以不设
在第一台虚拟机里新曾一个网络连接
分别再设置另两个CC02,CC03的IP分别为:192.168.100.129、192.168.100.131
之后三个虚拟机通信使用连接wired connection1
14.使用CC01为NameNode,CC03,CC03为DataNode
15.gedit /etc/hosts
添加数据:
192.168.198.140
CC01
192.168.198.141 CC02
192.168.198.142 CC03
16.配置SSH
在CC02\CC03上分别执行
scp root@CC01:/root/.ssh/id_rsa.pub
/root/.ssh/CC01_rsa.pub
cat CC01_rsa.pub
>> authorized_keys
在CC01上执行
scp root@CC01:/root/.ssh/id_rsa.pub /root/.ssh/CC01_rsa.pub
cat /root/.ssh/CC01_rsa.pub >>
/root/.ssh/authorized_keys
17.配置conf/masters , conf/slaves
在所有节点上:
gedit /opt/hadoop-2.7.3/etc/hadoop/加入一行:CC01
gedit /opt/hadoop-2.7.3/etc/hadoop/slaves加入行:
CC02
CC03
18.配置core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://CC01:9000</value>
</property>
</configuration>
19.配置hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///opt/hadoop-2.7.3/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///opt/hadoop-2.7.3/hdfs/data</value>
</property>
</configuration>
记得:
mkdir
/opt/hadoop-2.7.3/hdfs/name
mkdir
/opt/hadoop-2.7.3/hdfs/data
20.配置mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>CC01:9001</value>
</property>
</configuration>
21.格式化分布式文件系统
在namenode上
/opt/hadoop-2.7.3/bin/hdfs namenode
–format
22.启动HDFS,在namenode上
/opt/hadoop-2.7.3/sbin/start-dfs.sh
jps命令查看