【文件属性】:
文件名称:dsgd_mf:Spark 上用于矩阵分解的分布式 SGD
文件大小:2KB
文件格式:ZIP
更新时间:2021-06-12 01:24:36
Python
10605 作业 7
Spark 上用于矩阵分解的分布式 SGD
AWS 设置
在主人上:
./start-master.sh
关于奴隶:
./start-slave.sh org.apache.spark.deploy.worker.Worker spark://ip-172-31-44-204.ec2.internal:7077
用法
实验一:
./spark-submit --master spark://ip-172-31-44-204.ec2.internal:7077 /home/hadoop/spark/bin/dsgd_mf.py 20 10 100 0.6 0.1 hdfs://ip-172-31-44-204.ec2.internal:9000/nf_subsample.csv w.csv h.csv 2 > spark_dsgd.log 1 > eval_a
【文件预览】:
dsgd_mf-master
----README.md(1KB)
----dsgd_mf.py(5KB)