Spark ClassNotFoundException $$anonfun$2
1. 软件环境：
| 软件 | 版本 |
|---|---|
| Spark | 原生1.6.0 |
| Hadoop | 原生2.6.5 |
2. 应用场景&问题描述
运行任务的过程中，指定主类，比如a.b.c.Test， 那么主类是可以被调用的。比如已经运行到a.b.c.Test中的代码，但是接着会报诸如：ClassNotFound : a.b.c.Test$$anonfun$1这样的异常，如下所示：
而通过把a.b.c.Test所在的jar包解压，可以看到其中是有诸如a.b.c.Test$$anonfun$1.class 这样的文件的。通过反编译软件可以看到这个类是a.b.c.Test中的一个函数，这样就很奇诡了。主类Test找得到，但是和其同一个文件的函数的类反而找不到。
3. 解决办法
由于是报类找不到，而且定位是在Executor执行的时候，所以，尝试把jar包加入executor的Classpath中，在代码中添加：
sparkConf.set("spark.executor.extraClassPath","path/to/a.b.c.Test/.jar");
而且，其实已经设置了spark.jars：
sparkConf.set("spark.jars","hdfs://path/to/a.b.c.Test/.jar")
随机推荐
-
关于UIView的显示问题
今天在倒腾PP助手SDK的接入,游戏框架使用的是cocos2d-x,因为不熟悉iOS的UIKit,所以费了点功夫终于让SDK的登录页面显示出来了,问题来了,在iOS设备landscape显示模式UI显 ...
-
J2EE版本
Different versions of JEE: Note: JPE (Java Professional Edition) project announced in May 1998 at Su ...
-
从多个XML文档中读取数据用于显示webapi帮助文档
前言: 你先得知道HelpPageConfig文件,不知道说明你现在不需要这个,所以下文就不用看了,等知道了再看也不急.当然如果你很知道这个,下文也不用看了,因为你会了. 方法一: new XmlDo ...
-
【Go语言】学习资料
这段时间一直在看Go语言,6月3日Apple发布了swift发现里面竟然也有许多Go语言的影子,截至现在每天都在感觉到Go语言的强大.确实值得一学 今天在这里给园友们推荐一些Go语言的学习资料 网站 ...
-
Mybatis配置中遇到的问题和问题分析
1.为什么这么配置,这个配置主要是作用是什么,主要的是针对什么 mybatis之xml映射配置 sql语句当中 Example_Where_Clause 这个仅仅是一段sql语句吗? <trim ...
-
C++相关资源
http://www.cnblogs.com/xi52qian/p/4186983.html语言ISO/IEC JTC1/SC22/WG21 - The C++ Standards Committee ...
-
gitc2016——打造互联网技术狂欢盛宴
gitc2016全球互联网技术大会由麒麟会主办,iTech Club(互联网技术精英俱乐部)协办.网堤安全将作为云安全服务提供商应邀出席本届大会,gitc2016会有怎样的精彩内容?我们一起来一探究竟 ...
-
UIImagePickerController拍照/相册/录像/本地视频
1.导入系统库 #import <MobileCoreServices/MobileCoreServices.h> 2.遵守协议 <UIImagePickerControllerDe ...
-
别人的Linux私房菜（20）启动流程、模块管理与Loader
系统启动时,首先加载BIOS,通过BOIS读取COMS的硬件信息,进行自我检测,取得第一个可启动的设备(多个根据设置有关). 读取并执行设备内的MBR启动引导程序,引导程序调用boot sector中 ...
-
MyBatis 多表关联查询
多表关联查询 一对多 单条SQL实现. //根据部门编号查询出部门和部门成员姓名public dept selectAll() thorws Excatipon; //接口的抽象方法 下面是对应接口的 ...