【文件属性】:
文件名称:倒排索引源码java-spark-in-practice:Spark入门、SparkStreaming、SparkSQL、DataFrame
文件大小:2.07MB
文件格式:ZIP
更新时间:2021-06-19 00:01:27
系统开源
倒排索引源码
java
车间火花实践
在本次研讨会中,练习的重点是使用
和
API,以及数据处理。
练习在
Java
和我的
github
帐户中都可用(这里是
java)。
你只需要克隆项目就可以了!
如果您需要帮助,请查看解决方案分支。
原来的博文是对的。
为了帮助您实现每个类,单元测试在。
使用的框架:
火花
1.6.1
Java
8
行家
jUnit
所有练习都作为独立程序在本地模式下运行。
要进行动手操作,请通过以下命令行检索代码:
$
git
clone
https://github.com/nivdul/spark-in-practice.git
然后您可以在
IntelliJ
或
Eclipse
中导入项目。
如果您想使用交互式
spark-shell(仅限
scala/python),您需要下载一个
.
但是你需要加载
scala
2.10.x
因为
Spark
>1.4.0
可以在这个版本中使用。
Go
to
the
Spark
directory
$
cd
/spark-X.X.X
First
build
the
project
$
build/mvn
-Dski
【文件预览】:
spark-in-practice-master
----pom.xml(3KB)
----img()
--------dataframe.png(510KB)
--------streaming.png(1004KB)
----data()
--------wordcount.txt(5KB)
--------reduced-tweets.json(1.55MB)
----src()
--------test()
--------main()
----.gitignore(20B)
----README.md(5KB)