CDH、Cloudera Manager简介及离线安装步骤

时间:2024-05-19 10:52:31

CDH是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,提供了Hadoop的核心, 可扩展存储,分布式计算,基于Web的用户界面

Cloudera Manager是一个管理CDH的端到端的应用。它的作用是对CDH进行管理、监控、诊断和集成

安装前的准备:

①网络配置

②SSH免**登录

③防火墙关闭

④SELINUX关闭(setenforce 0  vi /etc/selinux/config (SELINUX=disabled))

CDH、Cloudera Manager简介及离线安装步骤

CDH、Cloudera Manager简介及离线安装步骤

⑤安装JDK配置环境变量

⑥安装NTP 设置开机启动 chkconfig ntpd on  设置时间同步 ntpdate -u ntp.sjtu.edu.cn

⑦安装配置mysql GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT

OPTION;

⑧下载第三方依赖包 chkconfig、python (2.6 required for CDH 5)、bind-utils、psmisc、libxslt、zlib、sqlite、
cyrus-sasl-plain、cyrus-sasl-gssapi、fuse、fuse-libs、redhat-lsb


Cloudera Manager Server&Agent 安装

(1) 安装 Cloudera Manager Server&Agent
拷贝 cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 到所有 Server、Agent 节点
创建 cm 目录:mkdir /opt/cloudera-manager
解压 cm 压缩包:tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
(2) 创建用户 cloudera-scm (所有节点)
cloudera-scm 用户说明,摘自官网:
Cloudera Manager Server and managed services are configured to use the user account
cloudera-scm by default, creating a user with this name is the simplest approach. This created
user, is used automatically after installation is complete.
执行:useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-scm-server --

no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

(3)配置 CM Agent

修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中server_host 以及 server_port

(4)配置 CM Server  的 数据库
将驱动包拷贝到目录****意拷贝过去的驱动包名字一定要和下边的一样,否则会报错 ):
cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysql-
connector-java.jar
执行:
mysql> grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema
./scm_prepare_database.sh mysql -h myhost1.sf.cloudera.com -utemp -ptemp --scm-host
myhost2.sf.cloudera.com scm scm scm
例如:./scm_prepare_database.sh mysql -h node1 -utemp -ptemp --scm-host node1 scm scm scm

(对应于:数据库类型、数据库服务器、用户名、密码、CMServer 所在节点…….)

mysql> drop user 'temp'@'%';
若上步失败或过程中操作中断,删除所有库、重头来过 /( ㄒ o ㄒ )/~~
若安装 Oozie 等组件可能需要手动创建对应组件所需的数据库,例如:
create database ooziecm DEFAULT CHARACTER SET utf8;
grant all on ooziecm.* TO 'ooziecm'@'%' IDENTIFIED BY 'ooziecm';

其他的建库及删库脚本见步骤五

(5)创建 Parcel  目录
Manager  节点创建目录/opt/cloudera/parcel-repo,执行:mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
将下载好的文件(CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel、CDH-5.4.0-1.cdh5.4.0.p0.27-
el6.parcel.sha、manifest.json)拷贝到该目录下。
Agent  节点创建目录/opt/cloudera/parcels,执行:mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
(6)启动 CM Manager&Agent  服务
执行:Manager:/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server start
Agents:/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start
访问:http://ManagerHost:7180,若可以访问(用户名、密码:admin),则安装成功。
Manager 启动成功需要等待一段时间,过程中会在数据库中创建对应的表需要耗费一些时间。


CDH5 5  安装

CM Manager && Agent 成功启动后,登录前端页面进行 CDH 安装配置。

CDH、Cloudera Manager简介及离线安装步骤

免费版本的 CM5 已经去除 50 个节点数量的限制。

CDH、Cloudera Manager简介及离线安装步骤

CDH、Cloudera Manager简介及离线安装步骤

各个 Agent 节点正常启动后,可以在当前管理的主机列表中看到对应的节点。选择要安装的节点,点继续。

CDH、Cloudera Manager简介及离线安装步骤

接下来,出现以下包名,说明本地 Parcel 包配置无误,直接点继续就可以了。

CDH、Cloudera Manager简介及离线安装步骤

点击,继续, 如果配置本地 Parcel  包无误,那么下图中的已下载,应该是瞬间就完成了,然后就是耐心等待分配过程就行了,大约 10 多分钟吧,取决于内网网速。(若本地 Parcel 有问题,重新检查步骤三、 5 是否配置正确)

CDH、Cloudera Manager简介及离线安装步骤

CDH、Cloudera Manager简介及离线安装步骤

接下来是服务器检查,可能会遇到以下问题:
Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在
运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,
但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受
到影响:通过 echo 0 > /proc/sys/vm/swappiness 即可解决。

CDH、Cloudera Manager简介及离线安装步骤

接下来是选择安装服务:

CDH、Cloudera Manager简介及离线安装步骤

测试采用了 Hadoop 默认,实际按工作环境来定咯 ~~
服务配置,一般情况下保持默认就可以了(Cloudera Manager 会根据机器的配置自动进行

配置,如果需要特殊调整,自行进行设置就可以了)

CDH、Cloudera Manager简介及离线安装步骤

接下来是数据库的设置,检查通过后就可以进行下一步的操作了:

CDH、Cloudera Manager简介及离线安装步骤

下面是集群设置的审查页面,我这里都是保持默认配置的:

CDH、Cloudera Manager简介及离线安装步骤

终于到安装各个服务的地方了,注意,如果采用其他数据库安装 Hive 等组件的时候报错,检查之前配置 CM Server 数据库时,jar 包拷贝位置及名称是否修改

CDH、Cloudera Manager简介及离线安装步骤

服务的安装过程大约半小时内就可以完成:

CDH、Cloudera Manager简介及离线安装步骤

安装完成后,就可以进入集群界面看一下集群的当前状况了。这里可能会出现无法发出查询:对 Service Monitor 的请求超时的错误提示,如果各个组件安装没有问题,一般是因为服务器比较卡导致的,过一会刷新一下页面就好了

CDH、Cloudera Manager简介及离线安装步骤