avro-mapred-1.7.8-SNAPSHOT-hadoop2

时间:2018-12-20 13:41:22
【文件属性】:
文件名称:avro-mapred-1.7.8-SNAPSHOT-hadoop2
文件大小:179KB
文件格式:JAR
更新时间:2018-12-20 13:41:22
avro mapred hadoop2.7.1 在MapReduce任务中读取Avro文件,会使用到avro-mapred.jar。 然而目前的avro-mapred.jar是基于较老的版本的,使用时会报错: org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected at org.apache.avro.mapreduce.AvroKeyInputFormat.createRecordReader(AvroKeyInputFormat.java:47) 。 经排查原因,是hadoop版本的问题。 因此,重新编译了avro.

网友评论