[hadoop读书笔记] 第五章 MapReduce工作机制

时间:2023-11-24 15:50:38

P205 MapReduce的两种运行机制

第一种:经典的MR运行机制 - MR 1

可以通过一个简单的方法调用来运行MR作业:Job对象上的submit()。也可以调用waitForCompletion(),用于提交以前没有提交的作业,并等待其完成。

Hadoop执行MR的方法依赖于两个配置设置

mapred.job.tracker - 决定执行MR程序的方式

如果设置为local默认值,表示使用本地的作业运行器,在单个JVM上运行整个作业,用于小数据集测试

如果设置为主机端口对,那么被解释为一个jobtracker地址,运行器会将作业提交给该地址的jobtracker。

第二种:全新的MR运行机制 - MR 2 - YARN(yet another resource negotiator)

对于节点数超出4000的大型集群,MR1面临拓展性瓶颈。这使得YARN应运而生。

通过 mapreduce.framework.name 属性进行设置

设置为local表示本地的作业运行器

设置为classic表示MR1运行模式

设置为yarn表示启用yarn运行机制

P206 剖析经典的MR1 作业运行机制

这个运行机制下包含有4个独立的实体:

1、请求发出者 - 客户端

2、作业调度者 - jobtracker

3、作业执行者 - tasktracker

4、资源提供者 - 分布式文件系统HDFS

工作流程原理如下:

[hadoop读书笔记] 第五章 MapReduce工作机制

步骤:

1、客户端提交作业(步骤1-4)

请求作业ID -> 将作业所需资源复制到以作业ID命名的文件目录下 -> 告知jobtracker准备执行作业

2、作业初始化(步骤5-6)

jobtracker将提交的作业放入内部队列中,交给作业调度器进行调度,并创建一个表示正在运行作业的对象进行作业初始化。

在这个过程中会创建4种任务交给jobtracker去分配和执行:

① map任务 - 任务个数由步骤6计算好的输入分片决定,有多少输入分片就创建多少map任务

② reduce任务-由mapred.reduce.tasks决定任务数量

③ 作业创建任务 - 在map任务运行前运行代码创建作业 - 运行在tasktracker中 - 为作业创建输出路径和临时工作空间

④ 作业清理任务 - 所有reduce任务完成奇偶进行作业清理工作 - 运行在tasktracker中 - 清除作业运行过程中创建的临时目录

3、jobtracker 分配任务(步骤7)

tasktracker通过运行一个简单循环来和jobtracker定期保持心跳,以此判断tasktracker是否存活,同时充当两者之间的消息通道。

tasktracker会表示他是否已经准备好运行新的任务,如果是,则jobtracker会为他分配一个任务。

在jobtracker为tasktracker指定任务之前,jobtracker需要先选定一个作业,才能将作业中的一个任务指派给tasktracker。

对于map任务,jobtracker会考虑tasktracker的网络位置,选择距离其输入分片文件最近的tasktracker,减少带宽消耗。最理想的是数据本地化。

而对于reduce任务,jobtracker直接从待运行的reduce任务列表中选取下一个来执行,不用考虑数据的本地化。

4、tasktracker 执行任务(步骤8-10)

第一步:从HDFS把所需资源复制到执行任务本地磁盘。

第二步:tasktracker为任务新建一个本地工作目录,将文件拷贝到目录下

第三步:tasktracker新建一个TaskRunner实例来运行任务(TaskRunner通过启用JVM来运行每个任务)

5、进度和状态的更新

MR作业是长时间运行的批量作业,因此一个作业和它下面的每个任务都有一个状态,包括:

① 作业和任务的状态 - 运行?失败?完成?

② map和reduce的进度

③ 作业计数器的值

④ 状态消息或描述

客户端可以使用Job类的getStatus()方法来得到一个JobStatus实例,包含有作业的所有状态信息。

6、作业的完成

当jobtracker收到作业的最后一个任务已完成的通知后(通常是作业清理任务),便将作业的状态设置为“成功”。

P213 剖析 YARN(MR2)升级的作业运行机制

针对节点数大于4000的集群而设计的新一代的MR,将jobtracker的职能划分为多个独立的实体,改善MR1面临的扩展瓶颈问题。

YARN设计为两个独立的守护进程:

1、管理集群资源的资源管理器

2、管理集群任务运行的应用管理器

基本思路:应用管理器与资源管理器协商集群的计算资源:容器。

在容器上运行特定的应用程序进程。

容器由集群节点上运行的节点管理器监视,以确保应用程序使用的资源不会超过分配给他的资源。

YARN 运行机制比MR1包含更多的实体:

1、请求发出者 - 提交MR作业的客户端

2、资源分配者 - YARN资源管理器 - 负责协调集群上计算资源和容器的分配(强调分配)

3、监控观察者 - YARN节点管理器 - 负责启动和监视集群中机器上的计算容器(强调监视管理)

4、任务协调者 - 应用程序 master - 负责协调运行MR作业的任务,master和任务都在容器中运行(强调协调)

5、资源提供者 - 分布式文件系统 HDFS

作业运行流程如图:

[hadoop读书笔记] 第五章 MapReduce工作机制

步骤:

1、作业提交(步骤1-4)

提交的过程和MR1非常相似,区别在于是从资源管理器而不是jobtracker获取作业ID(在yarn中命名为应用程序ID)

客户端检查作业的输出说明,计算作业的输入分片并将作业资源复制到HDFS,最后,调用资源管理器的submitApplication()方法提交作业。

2、初始化作业(步骤5-7)

提交application后,将请求传递给调度器以分配一个容器,然后资源管理器在节点管理器的管理下在容器中启动应用程序的master进程。(5a5b)

master的主类是MRAppMaster,他对作业进行初始化。

通过创建多个簿记对象保持对作业进度的跟踪,簿记对象将接收来自任务的进度和完成报告。(步骤6)

然后,接受客户端创建的输入分片,对每一个分片创建一个map任务对象以及由mapreduce.job.reduces属性配置的多个reduce任务对象。(步骤7)

在任何任务运行前,需要由 master 先建立作业的输出目录。

3、分配任务(步骤8)

master为作业中的map和reduce任务向资源管理器请求容器(步骤8)。

理想情况下,先将任务分配到数据本地化的节点,如果不行,再优先分配到机架本地化的节点,以节省贷款资源。

任务内存分配:默认分配1024MB(1GB)内存,如需要设置,就配置mapreduce.,map.memory.mb和mapreduce.reduce.memory.mb

4、执行任务(步骤9-11)

① 一旦为任务分配了容器,master就通过与节点管理器通信来启动容器(9a9b)

②在运行任务前,现将任务需要的资源本地化。(步骤10)

③ 最后,任务由主类为YarnChild的Java程序执行。

5、进度和状态更新

任务通过umbilical每3s向application master汇报进度和状态(包括计数器)

相比下,MR1通过tasktracker到jobtracker来实现进度更新

6、完成作业

客户端每5s调用Job的waitForCompletion()来查询作业是否完成,查询间隔可通过mapreduce.client.completion.pollinterval设置

作业完成后,master 和任务容器清理其工作状态。

P220 一些常用任务参数配置

mapred.task.timeout - 配置任务失败超时时间

mapreduce.map.max.attempts - 配置map任务重试次数 默认4次 超过4次 标记任务为失败

mapreduce.reduce.max.attempts - 配置reduce任务重试次数 超过4次 标记任务为失败

mapred.max.map.failures.percent - 配置允许map任务失败的最大百分比

mapred.max.reduce.failures.percent - 配置允许map任务失败的最大百分比

如果map和reduce任务执行都超过这个百分比,整个作业都宣告失败

mapred.tasktracker.expiry.interval - 配置tasktracker和jobtracker保持心跳的时间间隔,以毫秒为单位。

P230 配置调优

[hadoop读书笔记] 第五章 MapReduce工作机制

[hadoop读书笔记] 第五章 MapReduce工作机制

[hadoop读书笔记] 第五章 MapReduce工作机制