CDH6.2离线安装流程
1 安装准备
1.1 cdh6.2
下载方式一：
官网下载
https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/
都下载下来
https://archive.cloudera.com/cdh6/6.2.0/parcels/
只要el7.parcel 和 el7.parcel.sha1
下载式二：
百度网盘
https://pan.baidu.com/s/1QlWyMRSRJNcaStsZMSdmLg
提取码：ietj
1.2 centos7
方式一：
官网下载
http://vault.centos.org/
我这边选择的是1804，点进去：
选择isos
选择x86_64
我这边选择的是
CentOS-7-x86_64-DVD-1804.torrent 这只是个BT种子，我是用百度网盘对其解析下载的（迅雷等工具也可以）
方式二：
百度网盘
https://pan.baidu.com/s/1MHwLT0X39O0EpIeDgqDeJw
提取码：v1rj
2 环境准备
2.1 修改 vi /etc/hosts（每个节点）
vi /etc/hosts 修改完后按ESC再输入 :wq！ 退出编辑
修改完后ping一下主机名 查看是否成功
ping n77.aa-data.cn
在所有节点都对其他节点都依次ping下，如果ping不通请检查下 /etc/hosts下的IP或者主机名是否有错，如若还不行请检查下静态IP是否设置有误
2.2 关闭防火墙、禁止防火墙开机自启(每个节点)
ystemctl stop firewalld 关闭防火墙
systemctl disable firewalld 禁止防火墙开机自启
vi /etc/selinux/config —> SELINUX=disabled (修改)
2.3 ssh无密码登录
manager节点执行ssh-****** -t rsa 一路回车到结束，在/root/.ssh/下面会生成一个公钥文件id_rsa.pub
将公钥追加到authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys 修改权限
将~/.ssh从当前节点分发到其他各个节点。如：
scp -r ~/.ssh/ [email protected]:~/.ssh/
[email protected]：当前需要分发的用户及其主机名
密码为系统当前用户的登陆密码
各个节点之间相互ssh一遍
检验：全都ssh一遍后 再次ssh将不再需要输入其他指令
2.4 配置NTP服务（所有节点）
修改时区（改为中国标准时区）ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime（如果在安装centos时指定过了 这一步就不用了）
yum -y install ntp 安装ntp
ntp主机配置 vi /etc/ntp.conf
manager节点 如果有时间服务器 请指向时间服务器
其余节点
重新启动 ntp 服务：service ntpd restart
设置开机自启：systemctl enable ntpd.service
ntpdc -c loopinfo #查看与时间同步服务器的时间偏差
ntpq -p #查看当前同步的时间服务器
ntpstat #查看状态
定时同步crontab
crontab -e
10 * * * * /usr/sbin/ntpdate n47.aa-data.cn
2.5 修改Linux swappiness参数(所有节点）
为了避免服务器使用swap功能而影响服务器性能，一般都会把vm.swappiness修改为0（cloudera建议10以下）
echo 0 > /proc/sys/vm/swappiness 临时改变
在最后一行添加如下配置：
echo vm.swappiness=0 >> /etc/sysctl.conf
上述方法rhel6有效，rhel7.2中:tuned服务会动态调整系统参数
查找tuned中配置，直接修改配置
cd /usr/lib/tuned/
grep “vm.swappiness” * -R 查询出后依次修改
依次 vi 将vm.swappiness 修改为0
vi latency-performance/tuned.conf
vi throughput-performance/tuned.conf
vi virtual-guest/tuned.conf
2.6 禁用透明页(所有节点）
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
注意：先在每个节点执行上两句后 在添加下面命令
永久生效 在/etc/rc.local 添加上面命令
vi /etc/rc.local
3 cm6安装
3.1 将下载下来的cm6 cdh 上传到clouder-manager 主节点的/root下（目录随意）
3.2 配置本地服务器（选定任意一台主机即可）
yum install -y httpd 安装httpd
service httpd start 启用htttpd
打开浏览器输入选定主机的ip验证：出现以下界面及配置成功
cd /var/www/html/
进入到这个目录下 创建我们的数据源 之后其他节点可以从这直接下载
mkdir cm6 mkdir cdh6
将cdh6.2.0中的rmp包放入cm6下
cp /root/cdh6.2.0/cm6/*.rpm /var/www/html/cm6/
将allkeys.asc放入cm6下
cp /root/cdh6.2.0/cm6/allkeys.asc /var/www/html/cm6/
登陆192.168.2.76/cm6 查验
将cdh6.2.0下的parcel* 和manifast.json放入cdh6
cp /root/cdh6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel* /var/www/html/cdh6/
cp /root/cdh6.2.0/parcels/manifest.json /var/www/html/cdh6/
登陆192.168.2.76/cdh6
生成源 制定yum源的描述的目录信息 可以让其他节点知道到这里下载
yum install -y createrepo 下载createrepo命令
进入到cm6安装包的httpd资源位置
cd /var/www/html/cm6
创建yum源的描述meta
createrepo .
在所有节点上添加yum源的配置文件
cat >> /etc/yum.repos.d/cm6.repo << EOF
[cm6-local]
name=cm6-local
baseurl=http://n47.aa-data.cn/cm6
enabled=1
gpgcheck=0
EOF
查看yum配置源是否生效
yum clean all
yum repolist
4 clouder server 与agent安装
4.1 安装cm6相关依赖（所有节点）
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl
4.2 安装cloudera-manager 管理节点
安装cloudera-manager-server cloudera-manager-server-db-2 cloudera-manager-daemons cloudera-manager-agent
先安装jdk
yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64 
在安装cloudera-manager-*
yum install -y cloudera-manager-daemons cloudera-manager-server cloudera-manager-server-db-2 postgresql-server
4.3 安装mysql（选一台主机安装即可）
yum install -y mysql mysql-devel
yum install -y mariadb mariadb-server
service mariadb start 启动数据库服务
chkconfig mariadb on 设置开机自启动
初始化mariadb密码
/usr/bin/mysql_secure_installation 一直回车 遇[Y/n]输入y
设置密码
初始化管理节点数据库
mkdir -p /usr/share/java
mv /root/cdh6.2.0/mysql5.7/mysql-connector-java-5.1.34.jar /usr/share/java/mysql-connector-java.jar（这里需要分发到所有节点）
执行数据库初始脚本
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h localhost -uroot -proot --scm-host localhost scm scm scm
4.4 安装agent
先安装jdk
yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64
在安装agent 这里稍微等待会儿
yum install -y cloudera-manager-daemons cloudera-manager-agent
修改所有节点上的agent配置，让agent指向cloudera-manager
vi /etc/cloudera-scm-agent/config.ini
启动clouder-manager和agent
在clouder-manager节点上启动
service cloudera-scm-server start 启动main服务
chkconfig cloudera-scm-server on 设置开机自启动
在所有节点启动agent
service cloudera-scm-agent start 启动agent服务
chkconfig cloudera-scm-agent on 设置开机自启动
5 登陆web页面
5.1 添加集群
输入cloudera-manager所在的节点ip货主机名：7180
http://192.168.2.76:7180/
初始账户：admin 密码：admin
登陆账号密码，点击登陆
点击继续后：
点击继续后：
之后稍稍等一会儿，这里加载可能会有点慢
给集群命名
指定主机
选择存储库
指定我们自己的cdh包裹
等待刷新
Jdk我们之前自己安装过了所以直接下一步就好
提供ssh登陆
安装代理
等待安装包裹 这里时间稍稍有点长
检查集群
选择服务（如果你确保自己已知晓如何添加服务，可以选择套餐安装）
分配角色
数据库设置（之后有需要数据库设置的服务请参考此方法）
登陆mysql
创建普通用户
create user datauser identified by ‘datasuer’;
给datauser开启metastore访问权限（spark兼容hive）
grant all privileges on metastore.* to ‘datauser’@’%’ identified by ‘datauser’ with grant option;
flush privileges;
创建数据库
create database activity default charset utf8;
允许mysql远程登陆
grant all privileges on activity.* To [email protected]’%'identified by ‘datauser’;
刷新权限
flush privileges;
审核更改
命令详细
安装成功
进入到集群管理界面
5.2 添加服务
namenode高可用
将Hue配置为使用HDFS HA
1添加HttpFS角色。
2命令完成后，转到Hue服务。
3单击配置选项卡。
4找到HDFS Web界面角色属性或通过在搜索框中键入其名称来搜索它。
5选择您刚创建的HttpFS角色而不是NameNode角色，然后保存更改。
6重新启动Hue服务。