StreamingContext详解-spark介绍 spark入门

时间:2021-04-26 10:16:22
【文件属性】:
文件名称:StreamingContext详解-spark介绍 spark入门
文件大小:2.37MB
文件格式:PPT
更新时间:2021-04-26 10:16:22
spark学习 spark介绍 大数据ppt spark ppt StreamingContext详解 有两种创建StreamingContext的方式: val conf = new SparkConf().setAppName(appName).setMaster(master); val ssc = new StreamingContext(conf, Seconds(1)); StreamingContext,还可以使用已有的SparkContext来创建 val sc = new SparkContext(conf) val ssc = new StreamingContext(sc, Seconds(1)); appName,是用来在Spark UI上显示的应用名称。master,是一个Spark、Mesos或者Yarn集群的URL,或者是local[*]。 batch interval可以根据你的应用程序的延迟要求以及可用的集群资源情况来设置。 使用spark-sql必须导入依赖包 org.apache.spark spark-sql_2.10 1.6.1 org.apache.spark spark-hive_2.10 1.6.1

网友评论