【文件属性】:
文件名称:DigitRecognizer:基于多层感知器分类器的Spark数字识别应用
文件大小:14.84MB
文件格式:ZIP
更新时间:2021-05-09 09:57:14
Java
数字识别器
先决条件
Java 8
玛文
码头工人
介绍
此应用程序是在Spark 1.5.0或更高版本上运行的数字识别器。 输入数据集来自 ,代表数字图像的像素。 为了正确预测数字,我使用了。
构建识别器
首先,转到spark-job目录并使用Maven构建Spark识别器:
mvn clean package
建立Hadoop / Spark集群
如果您是第一次运行该应用程序,则需要构建集群的Docker映像:
./build-images.sh
然后,使用以下命令启动Hadoop集群:
./start-cluster.sh
一旦集群运行,您将在主容器中运行bash shell。 下一步将在主容器中运行。
运行Spark作业
计算模型:
$SPARK_HOME/bin/spark-submit --class com.zenika.digit_recognizer.Recog
【文件预览】:
DigitRecognizer-master
----build-images.sh(308B)
----server()
--------pom.xml(4KB)
--------package.json(1KB)
--------gulpfile.js(6KB)
--------.bowerrc(66B)
--------src()
--------preprocessor.js(179B)
--------.gitignore(127B)
--------.jshintrc(351B)
--------bower.json(172B)
--------.editorconfig(214B)
----start-cluster.sh(675B)
----data()
--------train.csv(73.22MB)
--------test.csv(48.75MB)
----hadoop-cluster()
--------hadoop-master()
--------hadoop-slave()
--------hadoop-base()
--------serf-dnsmasq()
--------README.md(134B)
----spark-job()
--------pom.xml(3KB)
--------src()
--------.gitignore(39B)
----.gitignore(63B)
----README.md(2KB)