第2节 mapreduce深入学习:12、reducetask运行机制(多看几遍)

时间:2023-03-09 13:32:00
第2节 mapreduce深入学习:12、reducetask运行机制(多看几遍)

ReduceTask的运行的整个过程 背下来
1、启动线程到mapTask那里去拷贝数据,拉取属于每一个reducetask自己内部的数据
2、数据的合并,拉取过来的数据进行合并,合并的过程,有可能在内存当中,有可能在磁盘当中,有可能在内存和磁盘当中,合并的时候同时要进行分组操作
3、调用reduce逻辑
4、数据输出

第2节 mapreduce深入学习:12、reducetask运行机制(多看几遍)