大数据自学1-CentOS 下安装CDH及Cloudera Manager

时间:2021-11-30 02:44:28

前面花了一段时间将Ubuntu,Hadoop装完,装到Hbase时,发现Hbase 与Hadoop是有兼容性问题的,Hbase 2.1版是不支持Hadoop 3.11版的,怪不得装起来那么多问题了。

Hbase 与Hadoop的兼容性详见Hbase官网

HBase装不起来,就想着装CDH,发现又是兼容性的问题,CDH还没有推出支持最新Ubuntu版本的版本。这下悲催了,Ubuntu又不能Downgrade,况且我也不想降级,想来想去,不如在我的Windows上装个虚拟机,用CentOS来玩CDH.

在Win7下装CentOS虚拟机,这个链接就非常非常详细了,真是感谢这些网友们的辛苦劳动。

CentOS装完后默认是没有图形界面的,因此又在网上找资料如何开启图形界面,可参照链接,这个要注意,因为我是使用的公司电脑,公司电脑上网是有代理服务器的,如果一开始将虚拟机的网络模式设为桥接模式的话, 执行

# yum groupinstall "X Window System" "Desktop Platform" Desktop

会不成功,因为桥接模式下是另一个IP,是不能上网的,因此需要改回NAT模式,让虚拟机和主机共用一个IP,这样只要主机能上网,虚拟要就能上网。

安装时提示error downloading packages  no more mirrors to try,如下图,解决方法是执行以下命令,参照链接

  1. yum clean all
  2. yum makecache

大数据自学1-CentOS 下安装CDH及Cloudera Manager

公司同事已经下载过一个离线包CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel,所以直接离线安装

安装CDH之前需要先安装MySql, CentOS环境下安装MySql可参照链接

过程中需要将IP地址固定,以防重启时IP乱变,这个可参照链接

MySQL 8.0默认的密码策码是Medium,相对来说是比较严的,比如要求最小8位长,要混合字母数字特殊符号等,如果是用于测试,可以改下这个密码策略,参照链接

MySQL 8.0在Grant设置权限的时候出现You are not allowed to create a user with GRANT错误处理办法

使用命令行方式操作MySQL实在是有点效率低下,因此想在Windows环境装个客户端来连接MySQL远程操作,参照链接1链接2链接3

在初始化CM数据库执行以下命令时,一直提示SQL 语法错误,可能跟MySql版本有关,因此参考链接将MySql 8.0删除,重装MySql 5.5版本。

scm_prepare_database.sh mysql cm -h <hostName> -u<username>  -p<password> --scm-host <hostName>  scm scm scm

重装MySql5.5版本可以采用Yum方式也可以采用下载tar包方式,因为采用Yum方式提示下载源错误,所以采用第二种方式,参考链接

换为MySql 5.5后,果然上面的命令就能正常执行,接下来启动Cloudera Manager Server和Agent,就可以访问7180端口进行配置了,激动...

要特明说明一下:启动完虽然提示OK,但并不是马上可以访问7180端口,要等一段时间

大数据自学1-CentOS 下安装CDH及Cloudera Manager

接下来继续,Cloudera服务在CentOS操作系统重启后需要手动启动,因此可以考虑设置该服务随操作系统启动而自动启动,基本上按照链接上的操作就能成功,唯一的不同就是该链接上讲道:新增jdk引入:export JAVA_HOME=jdk目录,这个我没有加,因为在其他全局配置项已经设置。

Host Monitor和Service Monitor都无法启动的解决办法,里面讲到了句柄数ulimit,不懂意思,先囫囵吞枣再慢慢消化。

大数据自学1-CentOS 下安装CDH及Cloudera Manager