Spark新手入门——2.Hadoop集群(伪分布模式)安装

时间：2023-03-09 06:00:49
Spark新手入门——2.Hadoop集群(伪分布模式)安装

主要包括以下三部分，本文为第二部分：

一. Scala环境准备 查看

二. Hadoop集群(伪分布模式)安装

三. Spark集群(standalone模式)安装 查看

Hadoop集群(伪分布模式)安装

  1. 依赖项：jdk(hadoop与java版本兼容性参考链接)、ssh；

    执行ssh localhost若提示：

    localhost: ssh: connect to host localhost port 22: Connection refused

    则需要:

    a.检查是否安装了openssh，若没有则建议通过brew install openssh安装(需要先安装brew，安装brew前还需要先安装xcode，安装方法见官网，官网的方法若超时，可以先在浏览器中打开curl链接并复制到本地保存(如~/Desktop/install)，然后修改安装命令为:

    /usr/bin/ruby -e "$(cat ~/Desktop/install)"

    )，启动方式：

    sudo /usr/sbin/sshd

    若启动失败并提示：

    Could not load host key: /etc/ssh/ssh_host_rsa_key

    Could not load host key: /etc/ssh/ssh_host_dsa_key

    Could not load host key: /etc/ssh/ssh_host_ecdsa_key

    Could not load host key: /etc/ssh/ssh_host_ed25519_key

    则，执行以下操作后重新启动：

    sudo cp ~/.ssh/id_rsa /etc/ssh/ssh_host_rsa

    sudo cp ~/.ssh/id_rsa.pub /etc/ssh/ssh_host_rsa.pub

    启动后通过ps -ef | grep ssh检查ssh服务是否存在

    b.检查是否存在以下文件，且authorized_keys 中包含id_rsa.pub中的内容

    ~/.ssh/id_rsa.pub

    ~/.ssh/id_rsa

    ~/.ssh/authorized_keys

    若没有id_rsa.*文件，则执行以下操作：

    ssh-keygen -t rsa

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    chmod 0600 ~/.ssh/authorized_keys

  2. 修改/etc/hosts文件(可选)

    添加本机ip到localhost的映射(sudo vim /etc/hosts)，如下所示：

    xx.xx.xx.xx    localhost

    这一步是为了可以使用形如：hdfs://xx.xx.xx.xx:9000/file/path的格式访问hdfs，否则只能使用localhost。

  3. 下载hadoop-2.7.6安装包，解压到~/tools/hadoop-2.7.6；

  4. 修改配置

    a.etc/hadoop/core-site.xml中添加如下配置：

        <configuration>
    
	<property>
    
		<name>fs.defaultFS</name>
    
		<value>hdfs://localhost:9000</value>
    
	</property>
    
</configuration>
    
    ```

b.etc/hadoop/hdfs-site.xml中添加如下配置：
    
```xml
    
    <configuration>
    
	<property>
    
		<name>dfs.replication</name>
    
		<value>1</value>
    
</configuration>
    
    ```

<b>以上为hdfs相关配置，若要使用yarn，还需进行以下配置</b>
    
c.拷贝etc/hadoop/mapred-site.xml.template到etc/hadoop/mapred-site.xml并添加如下配置：
    
```xml
    
    <configuration>
    
	<property>
    
		<name>mapreduce.framework.name</name>
    
		<value>yarn</value>
    
	</property>
    
</configuration>
    
    ```

d.etc/hadoop/yarn-site.xml中添加如下配置：
    
```xml
    
    <configuration>
    
	<property>
    
		<name>yarn.nodemanager.aux-services</name>
    
		<value>mapreduce_shuffle</value>
    
	</property>
    
</configuration>
    
    ```

注：默认存储路径为/tmp/hadoop-&lt;username&gt;/，可以通过配置 “dfs.namenode.name.dir”、 “dfs.datanode.data.dir” 显式指定，参考[文档](http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/ClusterSetup.html#Configuring_the_Hadoop_Daemons "文档")；

  5. 启动服务

    a.格式化namenode

    ./bin/hdfs namenode -format

    b.启动HDFS

    ./sbin/start-dfs.sh

    c.若要启用历史任务服务，执行以下命令：

    ./sbin/mr-jobhistory-daemon.sh start historyserver

    d.若要使用yarn，执行以下命令

    ./sbin/start-yarn.sh

    启动后通过jps命令查看启动的服务，应包含：DataNode、NameNode、SecondaryNameNode(若启动了yarn，还包括：NodeManager、ResourceManager；若启动了历史服务，还包括：JobHistoryServer)；

  6. 通过以下网址查看服务状态

    a.历史任务：http://localhost:19888/

    b.集群状态：http://localhost:8088/

    c.NameNode状态：http://localhost:50070/

  7. 测试

    通过以下命令测试hdfs是否可用：

    ./bin/hadoop fs -ls /

    ./bin/hadoop fs -ls hdfs://localhost:9000/

    ./bin/hadoop fs -ls hdfs://xx.xx.xxx.xxx:9000/

    ./bin/hdfs dfs -ls /

    ./bin/hdfs dfs -ls hdfs://localhost:9000/

    ./bin/hdfs dfs -ls hdfs://xx.xx.xxx.xxx:9000/

    若服务可用，需要创建以下目录：

    hdfs://localhost:9000/user/<username>

  8. 停止服务

    可将以下命令写入stop.sh批量执行：

    ./sbin/stop-dfs.sh

    ./sbin/stop-yarn.sh

    ./sbin/mr-jobhistory-daemon.sh stop historyserver

注：若配置了yarn(4.c)，则官网中下面的例子是无法成功执行的；若只配置了hdfs(4.a，4.b)，是没有问题的：

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input output 'dfs[a-z.]+'

参考文档：官方文档

相关文章