HDFS——数据备份与放置策略(转)

时间:2021-10-29 06:56:41

HDFS——数据备份与放置策略(转)

对于分布式文件系统来说,为了保证数据的高可用性和系统容错能力,往往会把同一数据块在多个节点上进行备份,那么如何分配这些复制数据的位置,不同的文件系统会有不同的策略。

一、业界分析

在介绍HDFS之前,先简单了解一些其它文件系统的放置策略:

1. Lustre——一致性哈希环

对于不同的数据备份,需要放到不同的节点上面,一种直观的想法就是利用Hash函数,这样可以把每个备份id对应到一个哈希值,然后再将这个哈希值与某个节点对应起来,就完成了一个数据备份的分配。这样做在时间复杂度上只有O(1),所以是极好的。但是很多哈希函数有一个问题,就是不稳定。这里所谓的不稳定是指,当节点个数发生变化的时候,原来被分配到节点K上的数据备份可能就会被分配到另一个节点上。举个例子,常用的哈希函数为:hash(x) = x % N,其中N为节点个数,x为备份id,这样当集群中节点出现故障或者扩展新的节点时,原来的计算的哈希值几乎全都变了,那么对于整个系统中的数据访问来说,无疑是一个灾难,因为访问位置全都得改变,并且需要重新迁移数据。

那么有没有可能在N变化的侯,原有数据备份的哈希值不改变呢?这就是一致性哈希的优势所在。

一致性哈希的原理可以这么理解:原来哈希是用x%N,现在是用x%S且N%S,这里的S表示哈希函数本身可以表示的哈希值范围,比如它的范围是0~2^32 - 1,那么S=2^32。见下图:

HDFS——数据备份与放置策略(转)

如果按照图1这种分配方式,一旦出现Data Nodes个数变化的情况,原来的分配位置几乎都得改变(例如使用取模的哈希函数);

HDFS——数据备份与放置策略(转)

图2展示的方式,如果选取的哈希函数取值范围在0到2^32 - 1之间(Hash Range),那么我们可以同时把Data Blocks和Data Nodes同时哈希到这个范围里面,这些Nodes会把Hash Range划分为若干区域,规定每个Node存储与其相邻的前一个区域中的Blocks,从而完成数据的分配。这种方式的好处在于,即使出现Data Nodes数量变化的情况,也不会影响其它Nodes和Blocls的位置情况,最多是在被删除节点或者新增节点的附近进行调整,比如将原有区域中的Blocks进一步划分或者合并。

HDFS——数据备份与放置策略(转)

细心的读者可能会发现,图2展示的方式中,三个Nodes将Hash Range分为了4个区域,显然不方便分配,所以提出一致性哈希环的概念,即将Hash Range的首位相连,然后在一个环路上面进行划分,N个Nodes一定能够划分出N个区域,然后让每个Node存储前一个相邻区域即可。

2. Ceph——CRUSH

一致性哈希环很好地解决了数据分配与集群扩展的问题,但是它还有一个性能的瓶颈,那就是需要一个中心节点负责存储整个集群的元数据信息,对新增的数据进行分配,在用户查询时提供数据分布的位置。这些工作处理的性能直接影响整个系统的处理速度,而且可能还会带来SPoF。一种可行的办法是对这些中心节点进行备份,或者干脆用一个分布式Hash表代替一个中心节点,虽然能够避免SPoF,但是随之而来的又是信息同步和一致性维护等问题。

在上一篇文章中我们简单了解了Ceph,它是一种基于对象存储的分布式文件系统,最大的特点就是由可以自我管理的OSD构成,这些OSD不需要依赖某个中心节点的管理,它们可以自己完成数据的分配、复制、容错、故障恢复等功能,可以理解为一种P2P的结构,而CRUSH算法就是使它具有以上特性的关键环节。

HDFS——数据备份与放置策略(转)

上图简单说明了Ceph数据放置的过程,对于需要存储的对象,首先哈希到Place Group,然后再通过CRUSH算法找到需要存放数据的具体OSD。CRUSH在执行过程中还是需要一些全局信息的,这些信息在被称作分层集群映射(Hierarchical Cluster Map),这些信息主要是用来描述集群的组成和搭建,它们存放在一些monitors的节点上面。对于每个Storage Client和OSD而言,它们可以利用Hierarchical Cluster Map、放置规则等信息计算数据的位置。相比与原来中心节点的策略,CRUSH的计算负担分发给了每个OSD。

关于CRUSH的详细介绍,可以参考论文:CRUSH: Controlled, Scalable, Decentralized Placement of Replicated Data

二、HDFS放置策略

对于HDFS而言,由Namenode负责这个集群的数据备份和分配,在分配过程中,主要考虑下面两个因素:

  • 数据安全:在某个节点发生故障时,不会丢失数据备份;
  • 网络传输开销:在备份数据同步过程中,尽量减少网络传输中的带宽开销;

这两个因素看起来是有些相互矛盾的:想要保证数据安全,那么就尽量把数据备份到多台节点上,但是就需要向多个节点传输数据;想要减少网络传输开销,那么就尽可能把数据备份到一个节点内部或者一个机架内部,因为系统内部的数据传输速度会远大于网络传输的速度。

HDFS——数据备份与放置策略(转)

上图展示了HDFS中Namenode和Datanode的角色,Namenode中存储了所有数据备份的位置信息。

HDFS——数据备份与放置策略(转)

上图展示了HDFS中的rack(机架)概念,一个rack内部数据传输速度远大于rack之间的传输。对于每个数据备份,比如A要放在Rack1中,在写入HDFS时首先会在Rack1中创建一个备份,同时在另一个Rack2中也创建一个备份。这样做在一定程度上兼顾了数据安全和网络传输的开销。

   

     转自 http://blog.csdn.net/yangning5850/article/details/9256737