hadoop成功搭建成功了,在这上面继续搭建spark。在这里交代一下我的每个安装包的版本。Java是1.8.0,Hadoop是1.2.1,spark是1.3.0,scala是2.10.4。
将scala,spark等环境都写入了~/.bashrc中去。
在安装配置Spark应注意以下:
1、在master、slave1、slave2中的spark-env.sh的SPARK_MASTER-IP都是master的 IP。这点切记。
2、需要在各主机上配置spark的conf下的slaves文件,需要把worker节点添加进去。(如果没有slaves文件,则创建slaves)将localhost改为Master,Slave1,Slave2。
3、启动spark集群。先启动Hadoop集群,再spark的sbin目录下启动Spark集群。
4、使用spark-shell控制台。在spark下的bin输入./spark-shell。
通过spark的shell测试spark的工作:
这里是需要将spark安装目录“README.md”复制到HDFS系统上
我这里用的命令是:
Hadoop fs -rmr README.md 删除README.md
hadoop fs -put /usr/local/spark/README.md README.md (spark安装目录“README.md”复制到HDFS系统上[路径为:hdfs://Master:9000/user/root/README.md])
Hadoop中的一些命令:https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
最后spark完成了测试统计README.md里需要统计的词!
相关文章
- Zookeeper集群的搭建及遇到的问题
- canal搭建及消费日志过程中的遇到的问题《亲测版》
- spark伪分布式搭建及spark页面8080端口访问出错的问题
- Mac-eclipse中搭建python-opencv环境——我所遇到的问题及解决方法
- Appium环境搭建过程中遇到的问题及解决办法
- centos平台基于snort、barnyard2以及base的IDS(入侵检测系统)的搭建与测试及所遇问题汇总
- hadoop集群搭建过程中遇到的问题
- spark集群详细搭建过程及遇到的问题解决(三)
- spark集群详细搭建过程及遇到的问题解决(二)
- Hadoop集群搭建过程中DataNode与TaskTracker节点的问题