• CDH添加第三方服务的方法

    时间:2024-03-23 09:04:43

    前瞻导读CDH可以很方便的添加一些大数据相关服务,但这仅限于cloudera公司提供。若想将第三方服务(如公司自己开发的组件)添加到CDH集群(托管在CDH上),需要按照一定的规则流程制作相关程序包,最后发布到CDH上。本文就是指导大家如何打包自己的服务,发布到CDH上,并且由CDH控制服务的运行、...

  • CDH启用Kerberos导致hdfs,yarn等页面无法访问解决

    时间:2024-03-22 21:39:00

    CDH启用Kerberos,导致namenode和resourcemanager等页面无法访问,访问页面的时候报错  Problem accessing /cluster. Reason解决方案: 将hdfs/yarn的配置中这个勾选去掉,重启服务即可 ...

  • CDH离线安装

    时间:2024-03-20 10:13:10

    cloudera manager和CDH安装(离线安装)一:所需组件的下载1:选择适合操作系统的cloudera manager和CDH连接:首先需要查看自己linux的版本比如: 根据自己系统的版本选择适合自己系统的cloudera manager和parcel:下边连接为官网版本之间对照要求:h...

  • 如何在CDH中使用Phoenix

    时间:2024-03-18 17:38:48

    1.文档编写目的昨天我们简单介绍了一下Apache Phoenix,请参考Cloudera Labs中的Phoenix。今天我们主要讲述如何在CDH中安装配置Phoenix,并会做一些使用示例。内容概述1.安装及配置Phoenix2.Phoenix的基本操作3.使用Phoenix bulkload数...

  • CDH中 HDFS开启回收站

    时间:2024-03-18 17:37:54

    fs.trash.interval    垃圾桶功能(需要重启HDFS)         如果为零,垃圾桶功能将被禁用        设置7天后垃圾回收站中的文件会被系统永久删除        如果需要直接删除,不放进回收站需要使用下面命令删除        hadoop fs -rm -r -s...

  • cdh安装phoenix具体教程

    时间:2024-03-18 17:37:30

    1、添加phoenix到httpd服务将上传上去phoenix软件包放到当前目录下修改文件权限2、打开cloudera manager进行配置打开页面上方小礼盒点击配置添加phoenix的远程存储库,添加完毕点击保存更改生效依次点击:下载、分配、使用。parcel就会自动安装在各个机器上了。然后:重...

  • CentOS 7离线安装CDH 5.16.1完全指南(含各种错误处理)

    时间:2024-03-18 07:12:15

    安装包下载1、CM软件包下载从http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16.1/RPMS/x86_64/下...

  • CDH6.1.0离线安装——笔记

    时间:2024-03-17 15:37:39

    一、 概述该文档主要记录大数据平台的搭建CDH版的部署过程,以供后续部署环境提供技术参考。1.1 主流大数据部署方法目前主流的hadoop平台部署方法主要有以下三种...

  • CDH-hive的引擎换为spark:hive on spark

    时间:2024-03-16 22:37:19

    一、srcapache的hive on spark和cdh 的hive on spark完全不同,前者有严格的版本对应关系,比如hive1.1只能用spark1.2,2.2只能用spark1.6。cdh5.16.2虽然用的是hive1.1但可以简便的配置hos,不需要升级hive或降级spark。1...

  • 深入分析CDH的安装目录

    时间:2024-03-16 11:03:01

     如果采用Cloudera官方建议的安装方式,即Cloudera Manager使用rpm的方式安装,CDH使用Parcel方式安装,会在操作系统内产生多种多样的目录。CDH安装主要使用的目录包括/etc,/usr,/var,/tmp,/opt共5个目录,不同的目录下保存不同的子文件夹以及多种多样不...

  • cdh6.2离线安装(傻瓜式安装教程)

    时间:2024-03-15 09:42:43

    CDH6.2离线安装流程1 安装准备1.1 cdh6.2下载方式一:官网下载https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/都下载下来https://archive.cloudera.com/cdh6/6.2.0/parc...

  • CDH6.2离线安装(整理版)

    时间:2024-03-11 10:17:29

    1.概述CDH,全称Cloudera\'s Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种,由Cl...

  • 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

    时间:2024-03-10 15:31:37

    关于CDH和Cloudera ManagerCDH (Cloudera\'s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。Cl...

  • Apache Kyuubi 助力 CDH 解锁 Spark SQL

    时间:2024-03-05 09:17:40

    Apache Kyuubi(Incubating)(下文简称Kyuubi)是⼀个构建在Spark SQL之上的企业级JDBC网关,兼容HiveServer2通信协议,提供高可用、多租户能力。Kyuubi 具有可扩展的架构设计,社区正在努力使其能够支持更多通信协议(如 RESTful、 MySQL)和...

  • Hadoop-CDH源码编译

    时间:2024-03-02 11:36:29

    * Hadoop-CDH源码编译这一节我们主要讲解一下根据CDH源码包手动编译的过程,至于为什么要使用CDH,前几节已经说明,那为什么又要自己手动编译,因为CDH的...

  • Hadoop Apache版本与第三方CDH版本的区别

    时间:2024-02-22 15:56:06

    一、Hadoop版本综述Apache Hadoop的开源协议决定了任何人可以对其进行修改,并作为开源或者商业版发布/销售。故而目前Hadoop发行版非常的多,有华为发行版(收费)、Intel发行版(收费)、Cloudera发行版CDH(免费)、Hortonworks版本HDP(免费),当然,这些发行...

  • DolphinScheduler 1.3.2集群版(基于CDH5.13.1)安装手册

    时间:2024-02-16 10:34:27

    结合现有的大数据环境 CDH 5.13.1 部署调度系统 Dolphin Scheduler 1.3.2 0.介绍说明...

  • CM和CDH的安装-进阶完成

    时间:2024-01-22 08:34:27

    安装Cloudera Manager Server 和Agent1、在cdh1解压cloudera-manager-el6-cm5.9.0_x86_64.tar.gz(cdh1节点)tar -zcvf cloudera-manager-el6-cm5.9.0_x86_64.tar.gz2、为Clou...

  • 编译HBase1.0.0-cdh5.4.2版本

    时间:2024-01-22 06:59:54

    1. 编译环境准备Jdk:1.7.0_xMaven : 3.3.9hbase: cdh5.4.2-release2. 用idea打开项目使用git clone得到H...

  • CM记录-CDH大数据平台实施经验总结2016(转载)

    时间:2024-01-20 15:12:46

    CDH大数据平台实施经验总结2016(转载)2016年负责实施了一个生产环境的大数据平台,用的CDH平台+docker容器的方式,过了快半年了,现在把总结发出来。1. 平台规划注意事项1.1 业务数据全部存储在datanode上面,所以datanode的存储空间必须足够大,且每个datanode的存...