Spark源码解析 - Spark-shell浅析

时间:2023-01-26 04:47:55

1.准备工作

1.1 安装spark,并配置spark-env.sh

使用spark-shell前需要安装spark,详情可以参考http://www.cnblogs.com/swordfall/p/7903678.html

如果只用一个节点,可以不用配置slaves文件,spark-env.sh文件只需配置为master_ip和local_ip两个属性

spark-env.sh添加如下配置:

export SPARK_MASTER_IP=hadoop1
export SPARK_LOCAL_IP=hadoop1

注意:hadoop1是这台虚拟机的ip地址,或者用127.0.0.1代替hadoop1也行。spark-shell浅析是基于spark-2.2.0-bin-hadoop2.7版本进行的。

1.2 启动spark-shell

输入spark安装目录的bin下,执行spark-shell命令

cd /opt/app/spark-2.2.0-bin-hadoop2.7/bin/
./spark-shell

最后我们会看到spark启动的过程,如图所示:

 Spark源码解析 - Spark-shell浅析

2. 执行word count 范例

通过word count例子来感受下spark任务的执行过程,启动spark-shell后,会打开scala命令行,然后按照以下步骤输入脚本。

1) 输入val lines = sc.textFile("../README.md", 2)

Spark源码解析 - Spark-shell浅析

2) 输入val words = lines.flatMap(line => line.split(" "))

Spark源码解析 - Spark-shell浅析

3) 输入val ones = words.map(w => (w, 1))

Spark源码解析 - Spark-shell浅析

4) 输入val counts = ones.reduceByKey(_ + _)

Spark源码解析 - Spark-shell浅析

5) 输入counts.foreach(println)

Spark源码解析 - Spark-shell浅析

3. 剖析spark-shell

通过word count在spark-shell中执行的过程,看看spark-shell做了什么。spark-shell中有以下一段脚本

Spark源码解析 - Spark-shell浅析

我们看到脚本spark-shell里执行了spark-submit脚本,打开spark-submit脚本,发现其中包含以下脚本:

Spark源码解析 - Spark-shell浅析

脚本spark-submit在执行spark-class脚本时,给它增加了参数SparkSubmit。打开spark-class脚本,其中包含以下脚本:

Spark源码解析 - Spark-shell浅析

Spark源码解析 - Spark-shell浅析

读到这里,可知spark-class里面首先加载spark-env.sh里面的配置属性,然后获取jdk的java命令,接着拿到spark_home的jars目录。至此,Spark启动了以SparkSubmit为主类的jvm进程。

为便于在本地对Spark进程使用远程监控,给SPARK_HOME目录conf/spark-defaults.conf配置文件追加以下jmx配置:

#driver端监控
spark.driver.extraJavaOptions=-XX:+UnlockCommercialFeatures -XX:+FlightRecorder -Dcom.sun.management.jmxremote 
-Dcom.sun.management.jmxremote.port=10207 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false

#executor端监控,暂时注释
#spark.executor.extraJavaOptions=-XX:+UnlockCommercialFeatures -XX:+FlightRecorder -Dcom.sun.management.jmxremote 
-Dcom.sun.management.jmxremote.port=0 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false

注意:使用远程监控前,如果spark-shell在运行中需要先停止,配置好监控参数,再需要运行spark-shell命令,否则jvisualvm找不到该线程。上面的两条命令都是一行的,不是两行,两行会导致jvisualvm连接不上,报“无法使用 service:jmx:rmi:///jndi/rmi://192.168.187.201:8009/jmxrmi 连接到 192.168.187.201:8009”错误。

在本地JAVA_HOME/bin目录下打开jvisualvm,添加远程主机,如图;右击已添加的远程主机,添加JMX连接,如图:

 Spark源码解析 - Spark-shell浅析

 Spark源码解析 - Spark-shell浅析

单击右侧的“线程”选项卡,选择main线程,然后单击“线程Dump”按钮,如图:

从dump的内容中找到线程main的信息,如图:

 Spark源码解析 - Spark-shell浅析

main线程dump信息

  Spark源码解析 - Spark-shell浅析 

Spark源码解析 - Spark-shell浅析

从main线程的栈信息中可以看出程序的调用顺序:SparkSubmit.main -> repl.Main -> ILoop.process。org.apache.spark.repl.SparkILoop类继承ILoop类,ILoop的process方法调用SparkILoop的loadFiles(settings)与printWelcome()方法。SparkILoop的loadFiles(settings)方法中又调用了自身的initializeSpark方法,initializeSpark的实现如下:

Spark源码解析 - Spark-shell浅析

initializationCommands是一个命令集合,见代码:

Spark源码解析 - Spark-shell浅析

从代码中可以看到,命令集合中会调用org.apache.spark.repl.Main的createSparkSession()方法创建或者获取sparkSession类,如图:

Spark源码解析 - Spark-shell浅析

从上述代码可以看到builder是SparkSession里面的属性,IDEA工具使用“ctrl+鼠标点击”操作,可以进入到builder.getOrCreate()方法里面查看SparkSession如何创建,如图:

Spark源码解析 - Spark-shell浅析

 从上述代码可以看到SparkContext首先创建,再创建SparkSession。SparkContext的创建代码如下:

Spark源码解析 - Spark-shell浅析

这里使用SparkConf、SparkContext和SparkSession来完成初始化,代码分析中涉及的repl主要用于与Spark实时交互。

4.Spark-shell的整体流程

Spark源码解析 - Spark-shell浅析

至此,Spark-shell解析完毕。

参考资料:

《深入理解Spark核心思想与源码分析》

https://www.iteblog.com/archives/1349.html  使用jvisualvm监控Spark作业