Hadoop学习笔记四

时间:2022-08-21 19:10:24

一、fsimage,edits和datanode的block在本地文件系统中位置的配置

fsimage:hdfs-site.xml中的dfs.namenode.name.dir  值例如file:///opt/software/hadoop/data/nn/image

edits:hdfs-site.xml中的dfs.namenode.edits.dir

datanode block:hdfs-site.xml中的dfs.datanode.data.dir

secondarynanode的fsimage:hdfs-site.xml中的dfs.namenode.checkpoint.dir

secondarynanode的edits:hdfs-site.xml中的dfs.namenode.checkpoint.edits.dir

一个配置项需要多个文件路径时,用英文的逗号隔开。

修改了fsimage和edits后,需要格式化namenode,或者把旧目录中的文件拷贝过来。否则会因为元数据文件缺失,导致集群无法正常启动。

二、MapReduce程序相关日志路径的配置

MapReduce程序相关日志分为历史作业日志和Container日志。

历史作业日志包括一个作业用了多少个Map,用了多少个Reduce,作业提交时间,作业启动时间,作业完成时间等。

Container日志包括ApplicationMaster日志和普通Task的日志等。

相关的配置在mapred-site.xml中,如下

历史作业日志,默认为HDFS路径,mapreduce.jobhistory.done-dir和mapreduce.jobhistory.intermediate-done-dir,默认为hdfs的tmp目录下

App Master运行的数据目录,yarn.app.mapreduce.am.staging-dir,client将application定义以及需要的jar包文件等上传到hdfs的指定目录,默认为hdfs的tmp目录下

Container日志目录路径,yarn.nodemanager.log-dirs,默认为本地目录${HADOOP_HOME}/logs/userlogs

三、复制或者克隆方式新建虚拟机,建立Hadoop集群

NameNode和DataNode可以位于一个机器上,ResourceManager和NodeManager也可以位于一个机器上。

可以先做好机器规划,主机名,IP,上面所运行的服务等,在一个机器上做好配置,其他的机器以复制或者克隆的方式来直接创建,然后修改mac,IP,主机名等,配置主节点到各从节点的SSH免密码登录。

复制虚拟机文件夹方式可以创建新的虚拟机,创建好后,查看ifconfig中的mac地址,修改ifcfg-eth0的mac配置。修改IP,hostname。

克隆方式创建新的虚拟机时,需要在虚拟机属性中重新生成新的mac地址,修改etc/udev/rules.d/70-persistent-net.rules中,注释掉eth0的行,将eth1改为eth0,并修改mac地址,然后修改ifcfg-eth0的mac配置。修改IP,hostname。

  以非root的普通用户启动Hadoop时,需要集群中拥有相同的用户名和密码,并且该用户要有无密码sudo权限。

四、复制方式建立集群时的一些事项

DataNode和NodeManager的配置都在slave.xml中。

可以以tar包形式复制,也可以以scp直接复制scp -rp /opt/software/hadoop/* cyhp@hadoop-nn.cloudy.com:/opt/software/hadoop。cyhp为共同的用户名。

在node1,node2,node3上建立如下的集群时,需要依次启动各组件:

在node1,node2,node3上依次启动NameNode,DataNode,SecondaryNameNode,ResourceManager,NodeManager,JobHistoryServer。

Hadoop学习笔记四

HDFS的监控在Namenode节点的50070端口,YARN的监控在ResourceManager节点的8088端口。JobHistoryServer默认端口为19888.

五、Hadoop基准测试

集群环境安装好了之后,还需要对环境做基准测试,测试dfs的读写速度,网卡的读写速度,mr压力测试等。

查看测试程序的帮助信息:hadoop  jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar

测试写速度:向HDFS文件系统中写入数据,10个文件,每个文件10MB,文件存放到/benchmarks/TestDFSIO/io_data中

hadoop  jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB

查看写入结果cat TestDFSIO_results.log

测试读速度:在HDFS文件系统中读入10个文件,每个文件10M

hadoop  jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB

查看结果cat TestDFSIO_results.log

删除临时文件:hadoop  jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar TestDFSIO -clean

六、无密钥SSH登录的配置

使用start-dfs.sh启动dfs时,需要配置namenode节点到其他datanode节点的无密钥登录。

使用start-yarn.sh启动yarn时,需要配置resourcemanager节点到其他nodemanager节点的无密钥登录。

先使用kengen生成公钥和秘钥后,使用scp拷贝到其他机器,也可以简单地使用ssh-copy-id otherhostname的方式。

本地即是namenode又是datanode时,也需要拷贝公钥到本机。

使用hadoop-demons.sh stop datanode可以依次停止多个节点上的datanode进程。