Hadoop Linux安装

时间:2023-12-24 21:47:49
Hadoop Linux安装

步骤流程
1.硬件准备
2.软件准备(推荐CDH)
3.将Hadoop安装包分发到各个节点下
4.安装JDK
5.修改/etc/hosts配置文件
6.设置SSH免密码登陆
7.修改配置文件
8.启动服务
9.验证 1.下载软件
1.1 apache版本
下载链接:http://www.apache.org/
1.2 CDH
下载链接:http://www.cloudera.com/
2.安装JDK、解压Hadoop安装包并分发到各个节点
3.修改/etc/hosts文件
4.设置SSH免密码登陆
5.目录介绍
bin————Hadoop最基本的管理脚本和使用脚本所在目录
etc————Hadoop配置文件所在目录
include————对外提供的编程库头文件
lib————Hadoop对外提供动态编程库和静态库,配合include目录一起使用
libexec————各个服务对应的shell配置文件所在目录,用于配置日志输出
sbin————Hadoop各个模块编译后的jar包所在目录
6.配置文件(修改后使用scp命令分发到各个节点)
1.env.sh
2.mapred-site.xml
3.core-site.xml
4.yarn-site.xml
5.hdfs-site.xml
6.slave
7.启动服务
1.格式化HDFS
bin/hadoop namenode -format
2.启动HDFS
start-dfs.sh
3.启动YARN
start-yarn.sh
8.验证
jps(显示五个服务进程)或者web访问
http://主机名:端口(其中端口在xml配置文件中配置)
9.遇到问题
1.虚拟机重启后Hadoop无法启动成功
解决办法:在core-site.xml文件中添加相应配置,因为每次重启系统会将/tmp目录删除