【文件属性】:
文件名称:hadoop高可用搭建
文件大小:11KB
文件格式:TXT
更新时间:2021-12-03 10:37:22
hadoop
hadoop集群搭建高可用文档在Hadoop2.x之后的版本,提出了解决单点问题的方案--HA(High Available 高可用)。这篇博客阐述如何搭建高可用的HDFS和YARN,执行步骤如下:
创建hadoop用户
安装JDK
配置hosts
安装SSH
关闭防火墙
修改时区
ZK(安装,启动,验证)
HDFS+HA的结构图
角色分配
环境变量配置
核心文件配置
slave
启动命令(hdfs和yarn的相关命令)
HA的切换
效果截图
下面我们给出下载包的链接地址:
zookeeper下载地址
hadoop2.x下载地址
JDK下载地址
注:若JDK无法下载,请到Oracle的官网下载JDK。
到这里安装包都准备好了,接下来我们开始搭建与配置。
2.搭建
2.1创建Hadoop用户
useradd hadoop
passwd hadoop
然后根据提示,设置密码。接着我给hadoop用户设置面免密码权限,也可自行添加其他权限。
chmod +w /etc/sudoers
hadoop ALL=(root)NOPASSWD:ALL
chmod -w /etc/sudoers
2.2安装JDK
将下载好的安装包解压到 /usr/java/jdk1.7,然后设置环境变量,命令如下:
sudo vi /etc/profile
然后编辑配置,内容如下:
export JAVA_HOME=/usr/java/jdk1.7
export PATH=$PATH:$JAVA_HOME/bin
然后使环境变量立即生效,命令如下:
source /etc/profile
然后验证JDK是否配置成功,命令如下:
java -version
若显示对应版本号,即表示JDK配置成功。否则,配置无效!