数据源之通用的load和save操作-spark介绍 spark入门

时间:2021-04-26 10:16:20
【文件属性】:
文件名称:数据源之通用的load和save操作-spark介绍 spark入门
文件大小:2.37MB
文件格式:PPT
更新时间:2021-04-26 10:16:20
spark学习 spark介绍 大数据ppt spark ppt 数据源之通用的load和save操作 对于Spark SQL的DataFrame来说,无论是从什么数据源创建出来的DataFrame,都有一些共同的load和save操作。load操作主要用于加载数据,创建出DataFrame;save操作,主要用于将DataFrame中的数据保存到文件中。 Java版本 DataFrame df = sqlContext.read().load("users.parquet"); df.select("name", "favorite_color").write().save("namesAndFavColors.parquet"); Scala版本 val df = sqlContext.read.load("users.parquet") df.select("name", "favorite_color").write.save("namesAndFavColors.parquet") 使用spark-sql必须导入依赖包 org.apache.spark spark-sql_2.10 1.6.1 org.apache.spark spark-hive_2.10 1.6.1

网友评论