大数据第二天 1.YARN(管理和调度集群中的各类资源)
1.1 产生的背景：
1.直接源于MR版本1的缺陷(如：单点故障、难以支持MR之外的计算框架等)
2.多计算框架各自为站，数据共享困难(如：MR离线计算框架 Storm实时计算框架 Spark内存计算框架)
1.2 架构(采用master-slave结构)
ResourceManager（管理和调配YARN集群的资源）
特性：整个集群只有一个
作用：
处理客户端请求
启动和监控ApplicationMaster
监控NodeManager
资源分配和调度
容错性：存在单点故障（正在实现HA 即主备架构 主一旦挂掉，备切换）
NodeManager（执行计算作业）
特性：可以多个
作用：
单个节点上的资源管理和任务管理
处理来自ResourceManager的命令
处理来自ApplicationMaster的命令
容错性：失败后，RM将失败任务告诉对应AM，由AM决定如何处理失败的任务
ApplicationMaster（负责应用程序的管理）
特性：每个应用有一个
作用：
数据切分
任务监控和容错
容错性：失败后由RM负责重启；AM需处理内部任务的容错问题；会自动保存已经运行完成的任务，重启后无需重新运行
Container（对任务运行环境的抽象）
系列信息：
任务启动命令
任务运行环境
任务运行资源
1.3 原理
1.客户端client发送任务请求给ResourceManager
2.ResourceManager收到请求后根据资源占用情况分配对应NodeManager
3.NodeManager收到ResourceManager的命令后开辟一个ApplicationMaster
4.ApplicationMaster对任务分析和数据切分后，将要占用的资源情况发送给ResourceManager
5.ResourceManager根据实时的资源占用情况进行动态分配资源
6.ApplicationMasterna拿到资源后再跟对应的NodeManager进行通信
7.NodeManager得到计算任务后，分配对应的Container容器来执行对应的Task任务
1.4 调度策略
a.双层调度策略
RM将资源分配给AM
AM将资源进一步分配给各个任务
b.基于资源预留的调度策略
当资源不够时，会为任务预留，直到资源充足
1.5 YARN与计算框架的关系
如果YARN是安卓系统的話，那么计算框架就是系统中的一个APP
其中计算框架有：
基于离线计算框架————MR
基于内存计算框架————Spark
基于流式计算框架————Storm 2.MapReduce（基于离线计算框架）
2.1 MapReduce特点：
易于编程
良好的扩展性
高容错性
适合海量数据的离线处理
2.2 基本过程
Map阶段-Shuffle-Reduce阶段
Map阶段：
输入数据格式解析————InputFormat
输入数据处理————Mapper
数据分组————Partitioner
Reduce阶段：
数据处理————Redecer
数据输出格式————OutputFormat
2.3 基本思想
大文件分为若干个小文件，计算各个小文件得到结果，然后再汇总输出
2.4 架构
采用YARN架构
2.5 应用场景
简单的数据统计 比如：网站的PV UV
搜索引擎建索引
海量数据查找
复杂的数据分析算法实现 比如：聚类、分类、推荐、图算法
2.6 Java编程
1.导jar包（旧包兼容2.0，新包不一定支持）
2.编写mapper
3.编写reduce
4.打包
5.发布