hbase中启动时端口被占用的解决（大数据bug解决）
学习大数据没有想得那么容易，且行且珍惜，今天学习了一种解决bug的方法，分享于此。当配置了hbase的时候，启动，前台输入node04:60010，提示错误。错误提示如下：2018-07-14 11:58:07,397 DEBUG [main] zookeeper.MiniZooKeeperClus...
HBase（二） RowKey设计
一、概述HBase Rowkey是唯一索引(Rowkey用来表示唯一一行记录)，Rowkey设计的优劣直接影响读写性能。HBase中的行是按照Rowkey的ASCII字典顺序进行全局排序的。由于HBase是通过Rowkey查询的，一般Rowkey上都会存一些比较关键的检索信息，建议提前考虑数据具体需...
hadoop（hbase）数据清理
一、需求场景随着业务数据的快速增长，物理磁盘剩余空间告警，需要将数据备份从3份修改为1份，从而快速腾出可用磁盘容量。二、解决方案1. 修改hdfs的副本数Hbase 的数据是存储在 hdfs 上的，Hbase的副本数是默认读取hdfs的配置进行副本备份的，所以需要修改hdfs上的副本数据。2.删除重...
HBase的安装与配置之本地模式安装
一、本地模式介绍 特点：本地模式不依赖于HDFS存储，将文件存储到操作系统本地目录，好处是我们不需要搭建HDFS集群，即可学些HBase相关命令及客户端操作。二、安装并配置HBase和JDK环境变量（1）使用tar命令解压tar -zxvf jdk-8u191-linux-x64.tar.gz...
HBase（03）——HBase集群及集群搭建
1、hbase集群结构2、Hbase集群基本组件说明Client：包含访问Hbase的接口，并维护cache来加快对Hbase的访问，比如region的位置信息。HMaster：是hbase集群的主节点，可以配置多个，用来实现HA为RegionServer分配region负责RegionServer...
sqoop 从mysql 导入数据到hbase
首先我们在mysql有一张表test.tohdfs我们在hbase中也创建一张表，执行导入bin/sqoop import \--connect jdbc:mysql://make.hadoop.com:3306/test \--username root \--password 123456 \-...
大数据之hbase的写数据过程详解
带着问题来寻找答案： 1.HBASE的读写过程就是HBASE的寻址过程 2.如何快速的寻找到地址？ 3.为什么hbase可以快速的查询 写入数据？ 4.Hbase的数据模型：底层存储的数据到底是怎么样的过程 ？ 5.Hbase的数据模型设计：数据文件最终存储在hdfs的结构是怎么样的？并不是key ...
【HBase一】HBase概述
1. Hadoop生态系统 底层是存储(HDFS),上层是计算框架从图中可以看出，Hive、Pig和Mahout是基于MapReduce的计算框架，分别用于结构化数据的即席查询，数据流处理以及基于MapReduce的机器学习算法集HBase依赖于HDFS，HBase这个圆角矩形框在高度上= Map...
HBase（一）之基础介绍
文章目录1.NoSQL简介1.1什么是NoSQL1.2为什么使用NoSQL1.3NoSQL的特点1.4NoSQL基本概念1.5NoSQL分类1.6NoSQL和BI、大数据的关系2.HBase介绍2.1HBase概述2.2HBase发展历史2.3HBase用户群体2.4HBase应用场景2.5Apac...
HBase核心模块介绍及基本概念介绍（HBase模式设计）
一、HBase与Hadoop之间的关系Hadoop框架中的HDFS分布式文件系统为HBase提供了可靠的底层存储支持。Hadoop框架中的MapReduce为HBase提供了高性能的计算能力。二、HBase的核心功能模块1.ClientClient是整个HBase系统的入口客户端使用RPC协议与HM...
[HBase基础]--初识HBase
HBase是什么？HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop...
HBASE简介及底层存储原理
HBase概述HBase是一个领先的NoSQL数据库是一个面向列存储的NoSQL数据库是一个分布式Hash Map，底层数据是Key-Value格式基于Google Big Table论文使用HDFS作为存储并利用其可靠性HBase特点数据访问速度快，响应时间约2-20毫秒支持随机读写，每个节点20...
MongoDB、ES、Redis、HBase四种数据库的简单区别
MongoDB优点：表结构灵活可变，字段类型可以随时修改。缺点：MongoDB不需要定义表结构这个特点给表结构的修改带来了极大的方便，但是也给多表查询、复杂事务等高级操作带来了阻碍。应用场景：MongoDB很适合那些表结构经常改变，数据的逻辑结构没又没那么复杂不需要多表查询操作，数据量又比较大的应用...
mysql和hbase应用场景对比
Hadoop是离线计算平台，其中包括分布式文件系统（HDFS）和分布式计算（MapReduce），这本身是无法对响应时间做保证的。但是目前在Hadoop之上的生态系统越来越完善，其中HBase就是支持海量数据、高并发的在线数据库，应对这种场景就非常适合。HBase在这次双十一中与MySQL等在线数据...
利用Sqoop通过Phoenix将HBase中数据导出
来源于 https://blog.csdn.net/weixin_43215250/article/details/90634600测试连接s...
HBase数据存取流程
一、HBase的特点是什么1.HBase一个分布式的基于列式存储或者行式存储的数据库,基于hadoop的hdfs存储，zookeeper进行管理。2.HBase适合...
连接HBase的正确姿势
连接HBase的正确姿势在云HBase值班的时候，经常会遇见有用户咨询诸如“HBase是否支持连接池？”这样的问题，也有用户因为应用中创建的Connection对象过多，触发Zookeeper的连接数限制，导致客户端连不上的。究其原因，都是因为对HBase客户端的原理不了解造成的。本文介绍HBase...
Flume将数据导入Hbase
Flume 将数据导入Hbase1:创建.conf文件#cd /usr/tmp#mkdir flumesrc#vim netcat_to_hbase_user.confa1.sources=r1a1.sinks=s1a1.channels=c1a1.sources.r1.type=netca...
单机Hbase部署以及Java远程连接单机Hbase
Hbase数据库是在linux系统下开发的，首先 要安装一个虚拟机，再装上linux一.安装Hbase单机模式 1.官方下载Hbase http://apache.claz.org/hbase/,本人下载1.2.6版本 hbase-1.2.6-bin.tar.gz ...
kettle oracle2hbase生产环境下的真实使用 （做到数据准实时采集）
Kettle实现oracle到hbase的数据抽取 本文采用kettle最新版本:7.1 （安装：下载下来后，直接解压就可以） cdh版本为5.11.0 一、 环境配置操作流程：（1） 由于最新版本的插件kettle7.1只能支持cdh5.10，所以我们要更改kettle的shim插...