VM搭建hadoop分布式集群

时间:2023-03-09 22:47:19
VM搭建hadoop分布式集群

1.  安装VMware Workstation Pro

2.安装Ubuntu-16.04

3.以下全程使用sudo –s 切换root权限

4.更新deb软件包列表:apt-get update

5.安装系统更新           apt-get upgrade

6.安装JDK8到/opt/java8

  改变所属组和用户

  cd /opt

  sudo chown cc:cc java8

7.设置CLASSPATH 和JAVA_HOME,这里我使用的是gedit /etc/profile的方式设置

    export JAVA_HOME=/opt/java8

    export PATH=$JAVA_HOME/bin:$PATH

     export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

8.从http://hadoop.apache.org/下载hadoop-2.7.3.tar.gz

    tar -zxvf hadoop-2.7.3.tar.gz 解压

    改变所属组和用户

    cd /opt

    chown cc:cc hadoop-2.7.3

9.更新hadoop环境变量

    gedit hadoop/conf/hadoop-env.sh

    将#export JAVA_HOME= ***   这一行改为:

    export JAVA_HOME=/opt/java8  (注:此处java_home 一定要硬编码)

10.gedit /etc/profile配置环境变量 export HADOOP_HOME=/opt/hadoop-2.7.3

11.配置ssh
  apt-get install ssh

  查看是否已经安装好ssh  –V

VM搭建hadoop分布式集群

  检查是否生成/root/.ssh目录,没生成的话用mkdir生成一个,如图:

VM搭建hadoop分布式集群

  生成公钥:ssh-keygen

VM搭建hadoop分布式集群

  公钥密码可以留空

VM搭建hadoop分布式集群

  检查/root/.ssh目录是否生成文件authorized_keys,如果没有使用touch authorized_keys
生成一个

  把公钥的内容复制到authorized_keys文件中cat
id_rsa.pub >> authorized_keys

  修改authorized_keys权限为600: chmod 600
 authorized_keys

  验证是否配置成,命令:ssh localhost

VM搭建hadoop分布式集群

12.克隆两台虚拟机

13.建立三台虚拟机的通信

新增的两台虚拟机会在电脑的网络连接里多两个连接

VM搭建hadoop分布式集群

  设置共享原来的本地连接

   VM搭建hadoop分布式集群

  设置虚拟机连接

   VM搭建hadoop分布式集群

  设置IP地址,DNS可以不设

   VM搭建hadoop分布式集群

  在第一台虚拟机里新曾一个网络连接

   VM搭建hadoop分布式集群

  分别再设置另两个CC02,CC03的IP分别为:192.168.100.129、192.168.100.131

  之后三个虚拟机通信使用连接wired connection1

14.使用CC01为NameNode,CC03,CC03为DataNode

15.gedit /etc/hosts

  添加数据:

    192.168.198.140 
CC01

    192.168.198.141  CC02

    192.168.198.142  CC03

16.配置SSH

在CC02\CC03上分别执行

    scp root@CC01:/root/.ssh/id_rsa.pub 
/root/.ssh/CC01_rsa.pub

    cat CC01_rsa.pub
>> authorized_keys

  在CC01上执行

    scp root@CC01:/root/.ssh/id_rsa.pub  /root/.ssh/CC01_rsa.pub

    cat  /root/.ssh/CC01_rsa.pub  >> 
/root/.ssh/authorized_keys

17.配置conf/masters , conf/slaves

  在所有节点上:

    gedit /opt/hadoop-2.7.3/etc/hadoop/加入一行:CC01

    gedit /opt/hadoop-2.7.3/etc/hadoop/slaves加入行:

      CC02

      CC03

18.配置core-site.xml

  <configuration>

  <property>

  <name>fs.default.name</name>

     <value>hdfs://CC01:9000</value>

  </property>

  </configuration>

19.配置hdfs-site.xml:

  <configuration>
      <property>
          <name>dfs.replication</name>
        <value>1</value>
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
        <value>file:///opt/hadoop-2.7.3/hdfs/name</value>
      </property>
      <property>
          <name>dfs.datanode.data.dir</name>
        <value>file:///opt/hadoop-2.7.3/hdfs/data</value>
      </property>
  </configuration>

记得:

mkdir
/opt/hadoop-2.7.3/hdfs/name

mkdir
/opt/hadoop-2.7.3/hdfs/data

20.配置mapred-site.xml:

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>CC01:9001</value>

</property>

</configuration>

21.格式化分布式文件系统

在namenode上

/opt/hadoop-2.7.3/bin/hdfs namenode
–format

22.启动HDFS,在namenode上

/opt/hadoop-2.7.3/sbin/start-dfs.sh

   VM搭建hadoop分布式集群

  jps命令查看

  VM搭建hadoop分布式集群