centos7环境下搭建hadoop环境,以及相关配置

时间:2024-03-23 16:59:20

随之科技的进步,大数据应用已经变得越来越广泛,相关大数据的相关技术越来越成熟,闲暇之余,就基于centos7环境下搭建hadoop环境,做相关步骤演示,如有不合理之处,敬请大神指教。

1,准备一个centos7系统,安装jdk,并配置环境变量(网上步骤很多,本次不在详细介绍);

2.修改系统名字, vim etc/hostname

centos7环境下搭建hadoop环境,以及相关配置

localhost.localdomain 修改为hadoop02(随意的),

centos7环境下搭建hadoop环境,以及相关配置

3.创建hahdoop文件,将hahdoop安装到该文件夹下

mkdir hahdoop

centos7环境下搭建hadoop环境,以及相关配置

解压hadoop,tar -zxvf hadoop-2.7.1_64bit.tar.gz  -C hahdoop

centos7环境下搭建hadoop环境,以及相关配置

4.配置hadoop环境变量;

vim /etc/profile

修改前只有jdk的环境变量

centos7环境下搭建hadoop环境,以及相关配置

修改后

export JAVA_HOME=/usr/java/jdk1.8.0_111
export HADOOP_HOME=/root/hahdoop/hadoop-2.7.1/
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$ANT_HOME/bin

centos7环境下搭建hadoop环境,以及相关配置

5.修改hadoop的配置文件:

进行hadoop目录下的etc中hadoop中:cd hahdoop/hadoop-2.7.1/etc/hadoop/

centos7环境下搭建hadoop环境,以及相关配置

5.1修改hadoop-env.sh文件

vim hadoop-env.sh      //25行,添加jdk的路径,和环境变量一致

修改前centos7环境下搭建hadoop环境,以及相关配置


修改后centos7环境下搭建hadoop环境,以及相关配置

5.2修改hdfs-site.xml文件

添加:<property>
               <name>dfs.replication</name>
               <value>3</value>
         </property>
         <property>
                <name>dfs.permissions</name>
                <value>false</value>
          </property>

修改前centos7环境下搭建hadoop环境,以及相关配置

修改后:centos7环境下搭建hadoop环境,以及相关配置

5.3修改mapred-site.xml.template文件,将该文件改名为mapred-site.xml,

mv mapred-site.xml.template mapred-site.xml

并添加:<property>
                   <name>mapreduce.framework.name</name>
                   <value>yarn</value>
              </property>

修改前:centos7环境下搭建hadoop环境,以及相关配置


修改后:centos7环境下搭建hadoop环境,以及相关配置

5.4修改core-site.xml文件

添加:

<property>

      <name>fs.defaultFS</name>

      <value>hdfs://hadoop02:9000</value>
</property>
<property>
      <name>hadoop.tmp.dir</name>
      <value>/root/hahdoop/hadoop-2.7.1/tmp</value>
</property>

修改前:centos7环境下搭建hadoop环境,以及相关配置

修改后:

centos7环境下搭建hadoop环境,以及相关配置

5.5修改yarn-site.xml文件

添加:<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop02</value>
          </property>
          <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
           </property>

修改前:centos7环境下搭建hadoop环境,以及相关配置

修改后:centos7环境下搭建hadoop环境,以及相关配置

5.6修改slaves文件,将localhost修改为hadoop02

6,配置文件修改完毕,开始创建tmp目录,返回hadoop目录下

执行命令bin/hdfs namenode -format

centos7环境下搭建hadoop环境,以及相关配置

出现Storage directory /root/hahdoop/hadoop-2.7.1/tmp/dfs/name has been successfully formatted.即表示配置成功centos7环境下搭建hadoop环境,以及相关配置

centos7环境下搭建hadoop环境,以及相关配置

启动hadoop,sbin/start-all.sh

centos7环境下搭建hadoop环境,以及相关配置

执行后,遇到确定就是输入yes,遇到输入密码就是输入开机密码

centos7环境下搭建hadoop环境,以及相关配置

7.开放50070端口,或者关闭防火墙,我这里关闭防火墙吧

centos7环境下搭建hadoop环境,以及相关配置

8.在地址栏中输入地址和端口即可访问默认的hadoop环境系统   192.168.1.9:50070

centos7环境下搭建hadoop环境,以及相关配置