cloudera manager+CDH 完全离线安装文档 版本5.7

时间:2024-04-02 17:25:29

       写完全离线的目的有几点:

1、数据安全考虑,服务器不允许与外部连通。

2、对于下载速度很慢的时候,可以考虑。

3、集群规模大,人手不够,又不会写shell脚本一键安装。

cloudera manager 下载地址:http://archive.cloudera.com/cm5/

CDH 下载地址:http://archive.cloudera.com/cdh5/

说明:测试中的IP为伪造IP,本人测试服务器IP,不能避让显示的都打码,请谅解。

1、系统 及软件版本:

系统版本:centos 6.9

cloudera manager 版本:5.7.0

CDH 版本:5.7.0


2、安装准备工作:

找一台可以上网的机器,下载CM的tar.gz包和CDH的parcel文件。将所有文件上传到一台服务器(我们上传到192.168.1.1)。

服务安装及服务器对照表:

cloudera manager+CDH 完全离线安装文档 版本5.7

服务器修改:

a、关闭防火墙:service iptables stop 或者setup关闭。设置开机关闭。

b、修改hosts文件:

192.168.1.1 bigdata01

192.168.1.2 bigdata02

192.168.1.3 bigdata03

192.168.1.4 bigdata04

c、更改selinux 为disabled

vi /etc/selinux/config

SELINUX=disabled

重启生效。


d、开启服务器http服务


3、依赖软件安装:

postgresql安装:

安装版本必须8.2以上,CM安装时默认将数据保存到postgresql数据库。

yum install postgresql92-libs-9.2.13-1PGDG.rhel6.x86_64.rpm   (每台服务器都必须有次lib)

yum install postgresql92-9.2.13-1PGDG.rhel6.x86_64.rpm

yum install postgresql92-server-9.2.13-1PGDG.rhel6.x86_64.rpm

注意安装顺序!


mysql安装及配置:

替换postgresql数据库、hive元数据库。

安装配置请百度,建库如下:

为Hive metastore建database

create database hiveDEFAULT CHARACTER SET utf8;

grant all on hive.* TO 'hive'@'%'IDENTIFIED BY 'hive123';

为Hue建database:

 create database hue DEFAULT CHARACTER SETutf8;

grant all on hue.* TO 'hue'@'%'IDENTIFIED BY 'hue123';

D. 为Oozie建database:

 create database oozie DEFAULT CHARACTER SETutf8;

grant all on oozie.* TO 'oozie'@'%'IDENTIFIED BY 'oozie123';

 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' identified by 'password' WITH GRANT OPTION;

E.为Activity Monitor创建数据库:

create database amon DEFAULT CHARACTER SET utf8;

grantall on amon.* TO 'amon'@'%' IDENTIFIED BY 'abc123';


4、安装CM:

mkdir -p /home/opt/cloudera   #创建解压后存放文件的文件夹。

tar -zxvf cm5.7.0-centos6.tar.gz -C /home/opt/cloudera #解压缩。

createrepo /home/opt/cloudera #创建yum源,由于是离线安装,源在本地才可行。

mkdir /var/www/html/cloudera  #创建http服务访问的文件。

cd /var/www/html/

ln -s /home/opt/cloudera cloudera  #将yum源软连接到该目录。

cloudera manager+CDH 完全离线安装文档 版本5.7


配置yum源:

cloudera manager+CDH 完全离线安装文档 版本5.7

./cloudera-manager-installer.bin --skip_repo_package=1

--skip_repo_package=1 是为了安装cm相关软件不在使用自动生成的cloudera-manager.repo

一路next。安装会自动安装java,不需要手动安装和配置。

cloudera manager+CDH 完全离线安装文档 版本5.7

cloudera manager+CDH 完全离线安装文档 版本5.7

关闭cloudera server和默认数据库。


更改默认数据库(postgresql更改为mysql)

方法一:

/usr/share/cmf/schema/scm_prepare_database.sh mysql(数据库类型) scm(数据库名称) -h192.168.1.1(mysql服务器的地址) -uroot -pabc123 --scm-host192.168.1.1(server安装地址) scm scm scm

可能会报错:ERROR Unable to find the MySQL JDBC driver. Please make sure that you have installed it as per instruction in the installation guide

cloudera manager+CDH 完全离线安装文档 版本5.7

将mysql的驱动mysql-connector-java-5.1.36-bin.jar拷贝到:/usr/java/jdk1.7.0_67-cloudera/jre/lib/ext,重新执行上述脚本即可。

方法二(不推荐):

自建scm数据库,修改配置文件:

 vi /etc/cloudera-scm-server/db.properties

cloudera manager+CDH 完全离线安装文档 版本5.7

重新启动cloudera server即可。等待一会看web页面。

http://192.168.1.1:7180     用户/密码:admin/admin

cloudera manager+CDH 完全离线安装文档 版本5.7


5、安装CDH:

mkdir /home/opt/CDH

将parcel相关的文件移动到此目录下。

cd /var/www/html/cloudera/

ln -s /home/opt/CDH CDH

查看是否OK。

cloudera manager+CDH 完全离线安装文档 版本5.7

进入CM的web管理界面:

cloudera manager+CDH 完全离线安装文档 版本5.7

点击接受和继续:

cloudera manager+CDH 完全离线安装文档 版本5.7

用不收费的选择第一个继续:

cloudera manager+CDH 完全离线安装文档 版本5.7

写好IP地址,点击搜索,正常情况会通过,点击继续:

更多选项:

cloudera manager+CDH 完全离线安装文档 版本5.7

配置正确会出现版本:

cloudera manager+CDH 完全离线安装文档 版本5.7

存储库写自己的yum源地址:

cloudera manager+CDH 完全离线安装文档 版本5.7

点击继续:

密码都要一样:

cloudera manager+CDH 完全离线安装文档 版本5.7

继续进行安装:

cloudera manager+CDH 完全离线安装文档 版本5.7

报错:

cloudera manager+CDH 完全离线安装文档 版本5.7

安装相应的包即可,卸载重新安装。找包网站:

http://rpmfind.net/linux/rpm2html/search.php?query=&submit=Search+...&system=&arch=

安装成功如下图所示:

cloudera manager+CDH 完全离线安装文档 版本5.7

点击继续开始从本地http服务器下载CDH:

cloudera manager+CDH 完全离线安装文档 版本5.7

点击继续:

cloudera manager+CDH 完全离线安装文档 版本5.7

按照要求修改系统文件,

swappiness 使用echo 更改

重新检测:

cloudera manager+CDH 完全离线安装文档 版本5.7

点击完成:选择CDH的安装组件:

cloudera manager+CDH 完全离线安装文档 版本5.7

点击继续,自定义角色:

cloudera manager+CDH 完全离线安装文档 版本5.7

添加数据库部分(添加后需要检测,需要mysql的驱动):

cloudera manager+CDH 完全离线安装文档 版本5.7

cloudera manager+CDH 完全离线安装文档 版本5.7

继续继续:

cloudera manager+CDH 完全离线安装文档 版本5.7

第一次启动时间较长:

cloudera manager+CDH 完全离线安装文档 版本5.7

效果图如下:

cloudera manager+CDH 完全离线安装文档 版本5.7

至此,安装完毕。自行测试。