Spark环境准备

时间:2025-05-10 13:35:02

Ubuntu:

1、下载spark-2.2.1-bin-hadoop2.7.tgz,解压即可使用。

2、下载jdk-8u151-linux-x64.tar.gz,解压。

3、执行spark-2.2.1-bin-hadoop2.7/bin/pyspark,进入Spark运行环境。

4、测试:

>>> import sys
>>> import pyspark
>>> sc
<SparkContext master=local[*] appName=PySparkShell>
>>>