【文件属性】：
文件名称：spark-hpc:通过 PBS 批处理系统在 Linux 集群上运行 SPARK 应用程序
文件大小：368KB
文件格式：ZIP
更新时间：2021-07-03 03:17:33
Shell
概述
这个包通过 PBS 批处理系统在 Linux 集群上运行 SPARK 应用程序。 它基于并使用 simr（ ）的后端
它目前支持 Spark 1.x 和可使用 spark-class 运行的 Scala（Java）应用程序。
发展
设置开发环境
使用定义如何设置特定环境的文件作为 spark-hpc 根目录中的参数set-dev-env.sh 。 对于CSIRO谝整群抽样的环境定义文件中的可用env目录。
例如：
source set-dev-env.sh env/bragg_1.8_1.1.0
环境定义文件的目的是加载所需版本的 spark-hpc 依赖项，包括：
openmpi
jdk
火花
maven3（仅用于开发）
测试
设置好开发环境后，您可以使用 $SPARKHPC_HOME/bin/sparkhpc-submit 运行 SPARK-HPC 的开发版本。
【文件预览】：
spark-hpc-master
----conf()
--------set-env.sh.template(825B)
----make-dist.sh(447B)
----VERSION(14B)
----env()
--------bragg_1.7_1.0.2(191B)
--------bragg_1.8_1.1.0(191B)
----examples()
--------make_dist.sh(68B)
--------submit-wordcount.sh(140B)
--------repl()
--------src()
--------README.md(1KB)
--------log4j()
--------pom.xml(1KB)
--------data()
--------run-wordcount.sh(565B)
----LICENSE(5KB)
----README.md(2KB)
----publish-pages.sh(190B)
----set-dev-env.sh(275B)
----docs()
--------INSTALLATION.md(2KB)
--------README.md(9KB)
----tests()
--------submit-wordcount.sh(182B)
--------repl()
--------core()
--------run-jnitest.sh(755B)
--------jni-native()
--------submit-jnitest.sh(389B)
--------log4j()
--------jni()
--------pom.xml(660B)
--------data()
--------run-wordcount.sh(600B)
----.gitignore(79B)
----bin()
--------spark-hpc.sh(8KB)
--------spark-hpc-common.sh(363B)
--------start-executor.sh(3KB)
--------sparkhpc-submit(6KB)