一、软件准备

scala-2.11.8.tgz

spark-1.6.1-bin-hadoop2.6.tgz

二、Scala 安装

1、master 机器

(1)下载 scala-2.11.8.tgz，解压到 /opt 目录下，即： /opt/scala-2.11.8。

(2)修改 scala-2.11.8 目录所属用户和用户组。

1	`sudo chown -R hadoop:hadoop scala-2.11.8`

(3)修改环境变量文件 .bashrc , 添加以下内容。

# Scala Env

export SCALA_HOME=/opt/scala-2.11.8

export PATH=$PATH:$SCALA_HOME/bin

运行 source .bashrc 使环境变量生效。

(4) 验证 Scala 安装

Spark 1.6.1分布式集群环境搭建

2、Slave机器

slave01 和 slave02 参照 master 机器安装步骤进行安装。

三、Spark 安装

1、master 机器

(1) 下载 spark-1.6.1-bin-hadoop2.6.tgz，解压到 /opt 目录下。

(2) 修改 spark-1.6.1-bin-hadoop2.6 目录所属用户和用户组。

1	`sudo chown -R hadoop:hadoop spark-1.6.1-bin-hadoop2.6`

(3) 修改环境变量文件 .bashrc , 添加以下内容。

# Spark Env

export SPARK_HOME=/opt/spark-1.6.1-bin-hadoop2.6

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

运行 source .bashrc 使环境变量生效。

(4) Spark 配置

进入 Spark 安装目录下的 conf 目录，拷贝 spark-env.sh.template 到 spark-env.sh。

1	`cp spark-env.sh.template spark-env.sh`

编辑 spark-env.sh，在其中添加以下配置信息：

export SCALA_HOME=/opt/scala-2.11.8

export JAVA_HOME=/opt/java/jdk1.7.0_80

export SPARK_MASTER_IP=192.168.109.137

export SPARK_WORKER_MEMORY=1g

export HADOOP_CONF_DIR=/opt/hadoop-2.6.4/etc/hadoop

JAVA_HOME 指定 Java 安装目录；
SCALA_HOME 指定 Scala 安装目录；
SPARK_MASTER_IP 指定 Spark 集群 Master 节点的 IP 地址；
SPARK_WORKER_MEMORY 指定的是 Worker 节点能够分配给 Executors 的最大内存大小；
HADOOP_CONF_DIR 指定 Hadoop 集群配置文件目录。

将 slaves.template 拷贝到 slaves，编辑其内容为：

master

slave01

slave02

即 master 既是 Master 节点又是 Worker 节点。