Spark配置文件详解

kwu --- Spark配置文件详解

1、主要环境配置文件  spark-env.sh

[plain] view plain copy 

1. export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera  
2. export SPARK_MASTER_IP=10.130.2.20 #1  
3. export SPARK_MASTER_PORT=7077  
4. export SPARK_WORKER_CORES=24  
5. export SPARK_EXECUTOR_INSTANCES=1  
6. export SPARK_WORKER_MEMORY=48g  
7. export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop  
8. export HADOOP_CONF_DIR=/etc/hadoop/conf/  
9. export SPARK_DAEMON_MEMORY=8G  
10. #export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=bdc40.hexun.com:2181,bdc41.hexun.com:2181,bdc46.hexun.com:2181,bdc53.hexun.com:2181,bdc54.hexun.com:2181 -Dspark.deploy.zookeeper.dir=/spark" #2  
11. #export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/opt/modules/spark/recovery" #3  
12. export JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:$HADOOP_HOME/lib/native  
13. export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native  
14. export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:$HADOOP_HOME/lib/native  
15. export SPARK_CLASSPATH=$SPARK_CLASSPATH:$HADOOP_HOME/lib/snappy-java-1.0.4.1.jar  

说明 :

1)  单结点无容错的 standalone模式

2)  基于zookeeper的master的HA模式，故障自动切换

3)  基于文件系统的容错模式，故障后需手动重启

2、 基本配置文件  spark-defaults.conf

[plain] view plain copy 

1. spark.local.dir /diskb/sparktmp,/diskc/sparktmp,/diskd/sparktmp,/diske/sparktmp,/diskf/sparktmp,/diskg/sparktmp  
2. spark.eventLog.enabled true  
3. spark.eventLog.dir hdfs://nameservice1/spark-log  

说明：

1)  配置本地日志文件

2)  配置基于HDFS的历史日志文件储存

3、从节点的配置  slaves

[plain] view plain copy 

1. spark1  
2. spark2  
3. spark3  

说明：给定slave节点相应的主机名