Hadoop的各个启动进程介绍

时间:2024-03-20 21:40:49

守护进程:NameNode,DataNode,ResourceManager,NodeManager,JournalNode,DFSZKFailoverController等

备注:本文截图出自数据《Hadoop权威指南_第四版_中文版.pdf》和官网(地址:https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html)(本人使用:hadoop2.7.3讲解,其他2.0版本大致类似,不同版本的官网地址:https://hadoop.apache.org/docs  进入请自行选择)

基于:https://blog.csdn.net/weixin_39435629/article/details/84841263

启动的hadoop的守护进程:

Hadoop的各个启动进程介绍

 

所属HDFS (Hadoop Distributed Filesystem):

Hadoop的各个启动进程介绍

一、NameNode  名称节点

Hadoop的各个启动进程介绍

作用:

1、管理DataNode,维护的所有的文件和目录,这些文件已命名空间镜像文件(images)和编辑日志文件(edits)永久保存在本地磁盘上。

2、记录每个文件所在的数据节点信息,但并不永久保存,系统启动时,这些节点信息会重建

 

二、DataNode 数据节点

Hadoop的各个启动进程介绍

作用:

1、存储并检索数据块,受客户端(client)或namenode调度

2、定期向namenode发送所存储的块的信息

 

三、ResourceManager    资源管理器

Hadoop的各个启动进程介绍

作用:

1、管理集群上资源(HDFS中存储的数据)的使用

 

四、NodeManager  节点管理器

Hadoop的各个启动进程介绍

作用:

1、运行在集群中所有节点上且能够启动和监控容器(container)

 

五、JournalNode

Hadoop的各个启动进程介绍

作用:

1、共享**名称节点(active)与待命名称节点(standby)之间的日志

eg:

Hadoop的各个启动进程介绍

 

六、DFSZKFailoverController(简称:ZKFC)

Hadoop的各个启动进程介绍

作用:(汇总:监控和管理NameNode)

1、健康监测------检测NameNode的状态

2、会话管理-----当本地NameNode是健康的,ZKFC在管理员中打开一个会话。如果本地NameNode是活动的,它还持有一个特殊的“锁”znode。此锁使ZooKeeper对这个节点的支持(及关于namenode的任何操作由该节点执行);如果会话过期,锁节点将被自动删除

3、基于zookeeper选择新的active节点--------当active节点出现问题时,基于zookeeper做节点之间的状态转换(active节点变为standby节点,standby节点**为active节点)

备注:本文中关于的HA配置的节点,仅仅基于HDFS的HA配置,MR的HA配置类似,可进入官网自行查看