MapReduce研发参考手册

【文件属性】：
文件名称：MapReduce研发参考手册
文件大小：747KB
文件格式：DOCX
更新时间：2016-12-01 02:58:07
hadoop 亚信联创科技（中国）有限公司 一、 MapReduce介绍 5 二、 MapReduce工作原理 5 1. MapReduce作业运行流程 5 2. Map、Reduce任务中Shuffle和排序的过程 6 三、 MapReduce程序开发 9 1. Word count 统计程序map reduce实现 9 2. 项目开发实战 10 四、 MapReduce编码流程 16 1. 编程组件 16 2. 创建Map类和map函数 16 3. 创建Reducer类和reduce函数 17 4. 配置Hadoop任务，调用Map Reduce程序 17 五、 程序功能扩展 18 1. Partitioner分区 18 2. Combiner聚合 19 六、 MapReduce深度分析 21 1. Job Tracker & Task Tracker 21 2. Job Sheduler 21 3. Job失败处理 27 七、 Map Reduce部分组件介绍 27 1. Counters 计数器 27 2. Reporter 29 3. StatusReporter 30 八、 Hadoop命令大全 32 1. 概述： 32 2. 常规选项： 32 3. 用户命令： 32 3.1 archive 32 3.2 distcp 33 3.3 fs 33 3.4 fsck 33 3.5 jar 33 3.6 job 33 3.7 pipes 34 3.8 version 35 3.9 classname 35 4. 管理命令 35 4.1 balancer 35 4.2 daemonlog 35 4.3 datanode 35 4.4 dfsadmin 35 4.5 jobtracker 37 4.6 namenode 37 4.7 secondarynamenode 37 4.8 tasktracker 37