倒排索引源码java-spark-in-practice:Spark入门、SparkStreaming、SparkSQL、DataFrame

时间:2021-06-19 00:01:27
【文件属性】:
文件名称:倒排索引源码java-spark-in-practice:Spark入门、SparkStreaming、SparkSQL、DataFrame
文件大小:2.07MB
文件格式:ZIP
更新时间:2021-06-19 00:01:27
系统开源 倒排索引源码 java 车间火花实践 在本次研讨会中,练习的重点是使用 和 API,以及数据处理。 练习在 Java 和我的 github 帐户中都可用(这里是 java)。 你只需要克隆项目就可以了! 如果您需要帮助,请查看解决方案分支。 原来的博文是对的。 为了帮助您实现每个类,单元测试在。 使用的框架: 火花 1.6.1 Java 8 行家 jUnit 所有练习都作为独立程序在本地模式下运行。 要进行动手操作,请通过以下命令行检索代码: $ git clone https://github.com/nivdul/spark-in-practice.git 然后您可以在 IntelliJ 或 Eclipse 中导入项目。 如果您想使用交互式 spark-shell(仅限 scala/python),您需要下载一个 . 但是你需要加载 scala 2.10.x 因为 Spark >1.4.0 可以在这个版本中使用。 Go to the Spark directory $ cd /spark-X.X.X First build the project $ build/mvn -Dski
【文件预览】:
spark-in-practice-master
----pom.xml(3KB)
----img()
--------dataframe.png(510KB)
--------streaming.png(1004KB)
----data()
--------wordcount.txt(5KB)
--------reduced-tweets.json(1.55MB)
----src()
--------test()
--------main()
----.gitignore(20B)
----README.md(5KB)

网友评论