关于mapreduce过程中出现的错误:Too many fetch-failures

时间:2023-03-10 03:52:51
关于mapreduce过程中出现的错误:Too many fetch-failures

Reduce task启动后第一个阶段是shuffle,即向map端fetch数据。每次fetch都可能因为connect超时,read超时,checksum错误等原因而失败。Reduce task为每个map设置了一个计数器,用以记录fetch该map输出时失败的次数。当失败次数达到一定阈值时,会通知JobTracker fetch该map输出操作失败次数太多了,并打印如下log:

Failed to fetch map-output from attempt_201105261254_102769_m_001802_0 even after MAX_FETCH_RETRIES_PER_MAP retries... reporting to the JobTracker

其中阈值计算方式为:

max(MIN_FETCH_RETRIES_PER_MAP,

getClosestPowerOf2((this.maxBackoff * 1000 / BACKOFF_INIT) + 1));

,可通过修改mapred.reduce.copy.backoff参数来调整。

当达到阈值后,Reduce task通过umbilical协议告诉TaskTracker,TaskTracker在下一次heartbeat时,通知JobTracker。当JobTracker发现超过50%的Reduce汇报fetch某个map的输出多次失败后,JobTracker会failed掉该map并重新调度,打印如下log:

"Too many fetch-failures for output of task: attempt_201105261254_102769_m_001802_0 ... killing it"

针对于我所出错的原因其实就是网络不通,还有一些情况就是计算效率不匹配的问题,因为目前我的集群中只有两台测试机,一台真机一台虚拟机,所以也存在计算资源不匹配的问题

但是我在mapreduce的过程中ping ipaddr 发现ip不通 所以不断报告警告错误