mongo 3.4分片集群系列之一:浅谈分片集群

时间:2023-12-26 19:44:37

这篇为理论篇,稍后会有实践篇。

这个系列大致想跟大家分享以下篇章:

1、mongo 3.4分片集群系列之一:浅谈分片集群

2、mongo 3.4分片集群系列之二:搭建分片集群--哈希分片

3、mongo 3.4分片集群系列之三:搭建分片集群--哈希分片 + 安全

4、mongo 3.4分片集群系列之四:搭建分片集群--哈希分片 + 安全 + 区域

5、mongo 3.4分片集群系列之五:详解平衡器

6、mongo 3.4分片集群系列之六:详解配置数据库

7、mongo 3.4分片集群系列之七:配置数据库管理

8、mongo 3.4分片集群系列之八:分片管理

1、分片集群是个啥玩意儿

要回答这个问题,首先得知道它是由什么东东组成的。

MongoDB分片集群由以下组件组成:

  • mongos:mongos作为查询路由器,提供客户端应用程序和分片集群之间的接口。
  • 配置服务器:配置服务器存储集群的元数据和配置信息。从MongoDB 3.4开始,配置服务器必须部署为副本集(CSRS)。
  • 分片:每个分片包含分片数据的一部分。每个分片可以部署为副本集。

  mongo 3.4分片集群系列之一:浅谈分片集群

MongoDB基于集合级别的数据分片,将集合数据分布在集群的分片上。

2、 为啥要用分片集群(分片的好处)

  分片是一种在多台机器上存储数据的方法。MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。

1)工作负载

  MongoDB将读写工作负载分布在分片集群的 分片上,从而允许每个分片处理集群操作的一个子集。通过添加更多的分片,可以在集群之间水平地缩放读取和写入的工作负载。

2)存储容量

  分片用来存储数据,当数据集增大,可以通过添加分片来扩展分片集群的容量。因此,理论上,分片集群的容量可以无限水平扩展。

3)高可用

  分片集群可以继续执行部分读/写操作,即使一个或多个分片不可用。虽然在停机期间无法访问不可用的分片上的数据子集,但是可用分片上的读取或写入仍然可以成功。

3、分片集群要知道的名词(分片键,块)

1)分片键

  分片键就是由集合中每个文档中存在的字段或不可变字段组成。

  分片键的作用:MongoDB 使用分片键对集合进行分片。

  注意:分片后的分片键的选择不能改变,也就是说字段不能更改为其他字段,并且字段的值不能修改。分片集合只能有一个分片键。

  要分割非空集合,集合必须具有 以分片键开头的索引。对于空集合,如果集合尚未具有指定分片键的适当索引,则MongoDB将创建索引。

  分片键的选择会影响分片集群的性能,效率和可扩展性。

2)块

MongoDB将分片数据分割成块。基于分片键,每个块都有一个包含下限,但不包含上限的范围。

MongoDB使用分片集群平衡器在分片集群的分片之间迁移块。平衡器试图实现在群集中的所有分片的块均匀分布。

4、分片前考虑事项

  为确保集群性能和效率,必须认真考虑选择分片键。分片后您不能更改分片键,也不能取消集合分片。如果查询包含分片键或复合分片键的前缀 ,则mongos执行广播操作,查询分片集群中的所有分片。这可能需要长时间运行的操作。

分片具有一定的操作要求和限制。

1)在分片中不可用的操作

  不起作用:group, db.eval(), $where不允许引用db对象,$isolated, $snapshot, geoSearch命令。

2)在分片中单个文档的修改操作

  所有的updateOne(),removeOne()以及deleteOne()用于分片集合操作必须包括分片键 _id在查询字段中。否则,会返回一个错误。

3)分片集合的唯一索引

  MongoDB不支持分片上的唯一索引,除非唯一索引包含完整的分片键作为索引的前缀。在这些情况下,MongoDB将强制执行完整键的唯一性,而不是单个字段。

  即可以有唯一索引,但这个唯一索引必须包含分片键的全部。

5、分片策略

MongoDB支持两种分片策略,哈希分片和范围分片。

1) 哈希分片

  哈希分片,Mongo自动计算分片键字段值的哈希值。然后,基于哈希的分片键值为每个块分配一个范围。

  当使用哈希索引解析查询时,Mongo会自动计算哈希值。应用程序需要计算哈希值。

    mongo 3.4分片集群系列之一:浅谈分片集群

示例是用“X” 作为分片键,采用哈希分片策略,它们的哈希值可能不在同一块,基于哈希值有助于更均匀的数据分布,特别是在分片键单调变化的数据集中。

2)范围分片

范围分片,基于分片键值将数据划分为范围。每个块被分配基于所述分片键值的范围内。

  mongo 3.4分片集群系列之一:浅谈分片集群

值为“X”的分片键的范围更可能存储在相同的块上。这允许目标操作,因为mongos可以将操作路由到仅包含所需数据的分片。

3)哈希分片 VS 范围分片

给定使用单调递增值的集合,X作为分片键,使用范围分片可以得到类似于以下内容的插入分布:

  mongo 3.4分片集群系列之一:浅谈分片集群

由于X的值总是在增加,所以具有上限maxKey的块接收到大部分的写入。这将限制对包含此块的单个分片的插入操作,从而减少或消除分布式写入在分片集群中的优势。

通过使用哈希索引,X作为分片键,插入的分布类似于以下内容:

  mongo 3.4分片集群系列之一:浅谈分片集群

由于数据现在更均匀地分布,所以插入在整个集群中有效地分布。

--------------------------------------- over ------------------------------------------------------

以上资料,大部分是参考官网的资料,在此表示感谢。

https://docs.mongodb.com/manual/sharding/