linux安装hadoop详细步骤(伪分布式)

时间:2024-03-23 16:46:10

今天重装了下hadoop,特在此记录下!

一.准备好hdk和hadoop安装文件,上传到linux

linux安装hadoop详细步骤(伪分布式)

二.安装jdk,我之前博客有专门写过安装jdk步骤,这里就不重复了,有需要的小伙伴可以去翻翻之前的

三.安装hadoop

    1.解压hadoop tar -zxvf hadoop文件

    2.修改配置文件/usr/wangjian/software/hadoop/hadoop-2.10.0/etc/hadoop

        第一个:hadoop-env.sh
        vim hadoop-env.sh
        export JAVA_HOME=/usr/wangjian/software/jdk/jdk1.8.0_241

       

第二个:core-site.xml

        <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://wangjian:9000</value>
        </property>
        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/wangjian/software/hadoop/hadoop-2.10.0/data</value>
    </property>

第三个:hdfs-site.xml  
        <!-- 指定HDFS副本的数量 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
       </property>

第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
        mv mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
        <!-- 指定mr运行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>

第五个:yarn-site.xml
        <!-- 指定YARN的老大(ResourceManager)的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>wangjian</value>
    </property>
        <!-- reducer获取数据的方式 -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
     </property>

3.将hadoop添加到环境变量

linux安装hadoop详细步骤(伪分布式)

4.格式化namenode(是对namenode进行初始化)

    hadoop namenode -format

linux安装hadoop详细步骤(伪分布式)

5.启动hadoop     cd /usr/wangjian/software/hadoop/hadoop-2.10.0/sbin
        先启动HDFS
        sbin/start-dfs.sh
        需要输入几次登录密码

        jps查看启动程序

linux安装hadoop详细步骤(伪分布式)
        再启动YARN
        sbin/start-yarn.sh

       输入密码

6.验证是否启动

jps

linux安装hadoop详细步骤(伪分布式)

在浏览器输入地址http://192.168.36.239:50070 (HDFS管理界面)

linux安装hadoop详细步骤(伪分布式)

http://192.168.36.129:8088 (MR管理界面)

linux安装hadoop详细步骤(伪分布式)