hadoop的关键进程 分类: A1_HADOOP 2015-06-06 11:37 52人阅读 评论(0) 收藏

时间:2021-05-31 21:33:04

hadoop集群中主要进程有

master:   NameNode, ResourceManager,

slaves:   DataNode, NodeManager,  RunJar, MRAppMaster,YarnChild



其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建,随着job的完成而终止。它们的作用分别是:

RunJar:完成job的初始化,包括获取jobID,将jar包上传至hdfs等。

MRAppMaster:每个job一个进程,主要跟踪job的运行情况,向RM申请资源等。

YarnChild:运行具体的map/reduce task。



job启动过程:

ResourceManage,NodeManager->RunJar->MRAppMaster->YarnChild



job退出过程:

YarnChild->MRAppMaster->RunJar

即所有的map/reduce均完成后,MRAppMaster才退出,最后RunJar退出,job完成。





网上找到的一些示意图:

图1







图2

版权声明:本文为博主原创文章,未经博主允许不得转载。