调用Hadoop时遇到的一个问题:could not find or load main class

时间:2021-03-10 21:26:43

最近在使用其他框架调用Hadoop时,执行命令出现错误,查看UI界面的日志发现,如下:

调用Hadoop时遇到的一个问题:could not find or load main class

导致错误的原因应该是,在程序运行时,找不到Hadoop中的MRAppMaster的主类,导致程序无法进行下去。
解决方法:
在yarn-site.xml文件中name为 yarn.application.classpath对应的value中配置Hadoop的相关jar需求等,如下:
yarn.application.classpath
/bigdata/hadoop-2.6.0/etc/hadoop,
/ bigdata/hadoop- 2.6.0/share/hadoop/common/*,
/ bigdata/hadoop- 2.6.0/share/hadoop/common/lib/*,
/ bigdata/hadoop- 2.6.0/share/hadoop/hdfs/*,
/ bigdata/hadoop- 2.6.0/share/hadoop/hdfs/lib/*,
/ bigdata/hadoop- 2.6.0/share/hadoop/mapreduce/*,
/ bigdata/hadoop- 2.6.0/share/hadoop/mapreduce/lib/*,
/ bigdata/hadoop- 2.6.0/share/hadoop/yarn/*,
/ bigdata/hadoop- 2.6.0/share/hadoop/yarn/lib/*