【未解决】-09-11 Yarn_ShutdownHook timeout问题

时间:2024-03-23 19:55:11

先上错误图
【未解决】2020-09-11 Yarn_ShutdownHook timeout问题
这个错误是由一个临时导出需求产生的,任务需要读取两个大表进行join操作,所以耗费的时间也比较多,在Spark任务结束时产生了上图的异常。

这个任务其实在底层已经成功运行并输出结果了,且任务结果文件已经成功写入到HDFS中,再加上日志的警告部分提示的是ShutdownHook timeout,初步判断是Hadoop的ShutdownHookManager在任务结束时关闭钩子时执行FutureTask的get方法时产生了timeout异常。

不排除是Spark的原因,根据网上所说将spark的net timeout配置,任务等待时长配置修改均无效。