Hadoop2.6.1中的Reducer实现

时间:2023-03-09 20:04:38
Hadoop2.6.1中的Reducer实现

    正在考虑怎么方便上传图片

    1.Partitioner其是一个抽象类,只有一个抽象方法。其作用是对Reducer产生的中间结果进行分片,以方便将同一分组的数据交给同一个Reducer处理

    Hadoop2.6.1中的Reducer实现

    2.类的继承结构

    Hadoop2.6.1中的Reducer实现

    3.子类介绍一、BinaryPartitioner

  1. 可以像Python一样,使用左索引和右索引进行遍历

Hadoop2.6.1中的Reducer实现

  1. 实现的函数

Hadoop2.6.1中的Reducer实现

  1. 分别时设置偏移量
  2. 设置左偏移量
  3. 设置右偏移量
  4. 设置配置文件
  5. 获取配置文件
  6. 获取Partition的个数
  7. getPartition的函数实现,其也结识了Offset的设置和使用,其中的HashBytes函数为二进制计算hash

Hadoop2.6.1中的Reducer实现

4.子类介绍二、

  1. 该类的主要功能是根据确定的key去划分keys
  2. 类实现的函数如下

Hadoop2.6.1中的Reducer实现