Spark是什么
spark是基于内存计算的大数据并行计算框架。09年诞生于加州大学伯克利分校AMPLab.
Spark相较于Hadoop的优点
Spark是MapReduce的替代方案，兼容HDFS、Hive等分布式存储层，可融入Hadoop的生态系统，以弥补MapReduce的不足。其主要优势如下：
- 中间结果输出
可以将多stage的任务串联或者并行执行，而无需将Stage中间结果输出到HDFS中。 - 数据格式和内存分布
Spark抽象出分布式内存存储结构弹性分布式数据集RDD，进行数据的存储。Spark具有能够控制数据在不同节点上的分区的特性，用户可以自定义分区策略。 - 执行策略
MapReduce在数据Shuffle之前花了大量的时间来排序，Spark可以减轻上述问题带来的开销。 - 任务调度的开销
在某些极端情况下，hadoop提交一个任务的延迟非常高。Spark采用了事件驱动的类库AKKA来启动任务，通过线程池复用线程来避免进程或线程启动和切换开销。