文件名称:分布式训练框架ApacheHorn.zip
文件大小:144KB
文件格式:ZIP
更新时间:2022-08-06 10:30:30
开源项目
Apache Horn 是 Apache 的一个孵化项目,是一个以神经元为中心的编程模型和同步、异步混合的分布式训练框架,支持数据和模型并行性,用于在 Apache Hadoop 和 Hama 训练具有大量数据集的大型模型。快速运行示例下载 MNIST 训练和标签数据集,并使用以下命令转换为 HDFS 序列文件: % bin/horn jar horn-0.x.0.jar MNISTConverter \ train-images.idx3-ubyte train-labels.idx1-ubyte /tmp/mnist.seq然后,用以下命令训练它(在这个例子中,我们使用η0.01、α0.9、λ0.0005、100 hidden units和 minibatch 10): % bin/horn jar horn-0.x.0.jar MultiLayerPerceptron /tmp/model /tmp/mnist.seq \ 0.01 0.9 0.0005 784 100 10 10 12000使用此默认示例,你将达到95%的准确度。 在本地模式下,20个任务将以同步并行方式训练模型,并且将花费大约10分钟。 标签:Apache
【文件预览】:
incubator-retired-horn-master
----conf()
--------horn-env.sh(1007B)
--------log4j.properties(3KB)
----LICENSE.txt(11KB)
----src()
--------test()
--------main()
----NOTICE.txt(173B)
----semi.seq(255B)
----README.md(4KB)
----pom.xml(9KB)
----bin()
--------horn(4KB)
--------horn-config.sh(2KB)