学习Hadoop第二十七课(HBase理论一)

时间:2022-12-13 21:39:59

       上节课我们一起学习了HBase集群的搭建,这节课我们一起来简单学习一下HBase的理论知识。

        我们首先来看一下下面这张图,HBase存储数据也是存储到表中(这点和我们的关系型数据库是类似的),一个row key保存一行内容,与关系型数据库不一样的地方是,HBase数据库的表中引入了列族的概念,一个列族可以包含0到多个列,列族和列名结合组成一个cell,cell中才是我们存放的数据。从下图中可以看到一个Table包含多个Region,分布式存储和负载均衡最小的存储单元是Region,这也就意味着一台设备上只能有一个Region,一张表对应多个Region,也就意味着这张表的数据是存储在多台设备上的。那么为什么我们不把数据全都存储到一台设备上呢?其实原因很简单,假如我们的数据有好几十亿条,我们把这些数据都存放到一台设备上,这将对这台设备造成致命的压力,就是我们去查找某些数据也需要到这一台设备上进行查询,读取的压力也将非常大,这是我们无法接受的。如果我们把这几十亿条数据分别存储在多台设备上,那么无论是写操作还是读操作的压力都将大大降低,效率也成多少倍的提高,所以要用到Region这个东西。

        那么Region存储在什么地方呢?它存储在HRegionServer内,HRegionServer是HBase的被管理进程,HBase的管理进程是HMaster,作为一个HBase集群的话,HMaster会有多个,当然HRegionServer也会有多个,这样即使其中的一台设备宕掉了,整个集群依然可以正常工作,那么负责中间协调工作的是谁呢?其实是我们的Zookeeper,Zookeepr保证了我们的HBase集群在同一时间只有一个活跃的HMaster。负责在活跃的HMaster宕掉之后让另一设备上的HMaster自动切换成活跃状态,从而对外提供稳定的服务。既然名叫RegionServer,顾名思义,它就是用来存储Region的。我们可以认为Region是存储在内存当中的。HRegionServer每隔一段时间会将Region中的数据写入到HDFS系统。

学习Hadoop第二十七课(HBase理论一)

      

       我们上面说了,通过HBase集群,我们可以快速的查找某些数据,为什么可以做到这一点呢?原因是我们在创建数据的时候就指定了Row key,HBase根据Row key来创建索引,并且还根据Row key的字典顺序分别进行了存储。我们以下图为例,可以看到图左侧是表的Row key的字典顺序,可以看到根据不同的范围把Row key分成了五个部分,每个部分是一个Region,所以可以理解为,一个Region保存了一个Row key范围的数据。右侧有三个HRegionServer。字典顺序从0到2(包括0,不包括2)的数据都存储在rs2(HRegionServer)这台设备上,字典顺序从2到4(包括2,不包括4)存储在rs1(HRegionServer)这台设备上,等等。这样存储的好处是什么呢?我们查询数据的时候根据Row key的字典顺序可以快速定位到数据在哪一台设备上,然后再根据Row key索引快速定位到要查询的数据。HBase还有个非常大的优势是可扩展性非常强,以后如果这张表需要增加字段将会非常简单,因为HBase是允许动态添加列的。还有就是我们不需要用多么昂贵的服务器,用普通的PC服务器就可以,无非多用几台设备罢了,用普通的PC照样存储非常庞大的数据。

学习Hadoop第二十七课(HBase理论一)

          说完了上面的内容,我们再来看一张HBase整体的架构图,可以发现最顶层是Hadoop的HDFS,说明HBase的数据最终还是存放在了HDFS当中。图的最上方有Client、HMaster、Zookeeper中间是HRegionServer,很明显,Client、HMaster、HRegionServer是通过Zookeeper来协调的。HRegionServer维护着Region,Region里面保存着数据。一张表有可能有一个到多个Region。我们可以看到,一个Region包括HLog和Store,Store当中包括StoreFile和MemStore,我们前面认为Region存放的数据都在缓存中不太准确,有一部分数据会被写到StoreFile当中,然后将StoreFile当中的数据通过DFS Client(操作HDFS的接口)写到HDFS系统当中。我们创建表的时候可以指定一下列族的VERSIONS版本数量,假如我们指定的数量是3,这意味着这张表只会保存三个版本的数据,当我们向同一个Row key插入第四条记录时,最先插入的数据便会被加上删除符号并保存到MemStore当中,这时我们还是可以查询到被标记为删除的数据的,但是一旦MemStore的数据被清空,我们将查询不到被标记为删除的数据了。

        之所以把数据放到HDFS当中就是为了数据的可靠性,即使某台设备宕掉了,StoreFile中的数据消失了,也无所谓,我们可以从HDFS系统将数据再还原回来。

学习Hadoop第二十七课(HBase理论一)

         当然,这只是说了个皮毛而已,大家想深入学习HBase的话,建议多看看书。本小节我们便一起学习到这了。