Spark学习(一) -- Spark安装及简介

时间:2023-12-11 16:28:44

标签(空格分隔): Spark


学习中的知识点:函数式编程、泛型编程、面向对象、并行编程。

任何工具的产生都会涉及这几个问题:

  1. 现实问题是什么?
  2. 理论模型的提出。
  3. 工程实现。

思考: 数据规模达到一台机器无法处理的时候,如何在有限的时间内对整个数据集进行遍历及分析?

Google针对大数据问题提出的一些解决方案:

  • MapReduce: 计算框架;
  • GFS:数据存储
  • BigTable:NoSQL始祖。

Hadoop是根据MapReduce和GFS两大论文所做的开源实现,因此,它主要解决2大问题:数据存储分布式计算框架

Spark学习(一) -- Spark安装及简介

YARN是Hadoop2和Hadoop1的最大区别,将集群管理本身独立出来。而计算模型则更加专注于问题本身。

Spark简介

Spark是由UC Berkeley的AMPLab出品的,主要创作者是Matei Zaharia. Spark与MapReduce位于Hadoop生态圈的同一层,主要解决分布式计算框架的问题。

Spark与Hadoop有以下关系:

  1. Spark和Hadoop中的MapReduce位于同一层次;
  2. Spark可以部署在YARN(专门管理集群工作的)上;
  3. Spark支持HDFS文件系统的访问。

Mac Scala安装

  1. 使用brew安装:

    brew install scala

  2. 下载包安装

    tar zxvf ~/Download/scala-2.12.1.tgz #解压

    mv ~/Download/scala-2.12.1 ~/Download/scala #重命名

    mv ~/Download/scala /usr/local/share/ #将文件夹放到合适的位置

    修改环境变量,如果不是管理员可使用 sudo 进入管理员权限,修改配置文件profile,在文件的末尾加入:

    export PATH="$PATH:/usr/local/share/scala/bin"

  3. 验证

    $ scala

    显示:Welcome to Scala version 2.11.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_40).

    Type in expressions to have them evaluated.

    Type :help for more information.

Mac Spark安装

  1. 使用brew安装

    $ brew install apache-spark

  2. 检测是否安装成功

  • cd /usr/local/Cellar/apache-spark/1.3.0/bin/
  • 输入:./spark-shell 启动spark

WordCount in spark-shell

在spark-shell中完成单词统计:

val file = sc.textFile("/usr/local/Cellar/apache-spark/1.3.0/README.md")
// 以空格为拆分标志,将文件中的每一行分割为多个单词
val words = file.flatMap(line => line.split(" "))
// 对每一个单词进行计数
val wordNumber = words.map(w => (w, 1))
// 将单词进行分类合并,计算每个单词总的出现次数
val wordCounts = wordNumber.reduceByKey(_+_)
//将所有单词及其出现次数打印出来
wordsCounts.foreach(println)

上述工作的简单表述形式:

sc.textFile("/usr/local/Cellar/apache-spark/1.3.0/README.md")
.flatMap(line => line.split(" "))
.map(w => (w, 1))
.reduceByKey(_+_)
.foreach(println)