spark-examples:探索 Spark 的示例

【文件属性】：
文件名称：spark-examples:探索 Spark 的示例
文件大小：995KB
文件格式：ZIP
更新时间：2021-06-29 21:13:52
Scala spark-examples Anagrams、BigramAnalysis、Inverted index、vihicle 使用在这一点上是稳定的，所有其他类都是 WIP。 一些示例依赖于本地文件，我将修复这些输入路径。 为了从本地机器运行示例，请确保您的路径中有 spark 可用。 如果您想在集群上运行代码，请将您的节点配置为集群的边缘节点，方法是将 Hadoop 配置复制到您的机器上，并将 HADOOP_CONF_DIR 设置为配置所在的目录。 集群上的 Spark shell 可以通过， spark-shell --master yarn 启动 要在集群上运行您的代码，您需要首先通过执行 sbt assembly 创建一个 fat jar 从 jar 运行作业： spark-submit --class classToRun --master masterCanBeLocal

【文件预览】：
spark-examples-master
----project()
--------plugins.sbt(248B)
----sbt(245B)
----sbt-launch.jar(1.09MB)
----src()
--------test()
--------main()
----build.sbt(2KB)
----README.md(1KB)
----.gitignore(83B)