AntDB-M设计之内存结构

时间:2023-02-19 09:56:47


亚信科技专注通信行业多年,AntDB数据库从诞生开始,就面对通信级的大数据量应用场景挑战,在性能、稳定性、规模化等方面获得了超过10年的通信核心业务系统验证,性能峰值达到每秒百万的通信核心交易量。AntDB-M(AntDB内存引擎)具有如此卓越的性能,与其优良的内存结构设计密不可分。因此,本文主要阐述AntDB-M的内存结构设计。

1

概    述

AntDB-M是一款全内存态运行OLTP数据库,其数据的管理以表为单位,通过表空间进行管理。存储分为两种形态:1)内存态;2)文件态。文件态为内存态的序列化后导出文件,后文表空间均指内存态。

2

表空间

表空间代表的是表的数据存放的内存空间。每个表都有自己独立的一个表空间。表空间在表创建时创建,或者在服务启动加载表时创建。表空间的结构为一个三层结构,内容分为两部分:1)表空间元数据;2)表空间数据块;

  • 三层结构

表空间的内存结构是一个三层结构:1)一级地址;2)二级地址;3)数据块; 通过该结构,每个表空间可以存放的记录条数可以达到20万亿条之多。

记录条数 = 一级地址 * 二级地址 * 数据块记录数 = 32K * 32K * 2K =20万亿条;

AntDB-M设计之内存结构

图1:表空间三级结构

  • 表空间元数据

表空间元数据描述了当前空间的大小信息,以及表数据记录在数据块的两级地址信息。它一般被用于表空间数据的管理,以及对表数据的高效访问。表空间的三层结构中,前两层都属于元数据,结构比较简单,存放的是下一层的地址信息。

  • 表空间数据块

表空间数据块是用来存放表数据的地方。数据块的实现结构为一个双向链表。每个数据块分为两部分:1)元数据;2)数据空间;

1)元数据

元数据为当前数据块的管理信息,主要包括:当前数据块大小、可分配数据记录数、分配的记录对象ID范围等信息。需要注意的是数据块的大小、可分配数据记录数不是固定的。这是在创建表时,基于表记录实际大小,以及一些额外数据计算而来。

2)数据空间

数据空间为存放表数据实际分配的地址空间,每个数据空间为一个连续地址空间。数据空间根据行大小分为9档,依次为:
256K,512K,1M,2M,4M,8M,16M,32M,64M。

按照每个数据空间可以保存2K~4K记录来分配。当记录长度小于128B时,记录数可能可能超过4K。

数据空间大小 = 块元数据大小 + 数据块可容纳记录条数 * 表记录行大小(带扩展信息)

AntDB-M设计之内存结构

图2:行记录格式

  • 记录编号

每条记录都有自己的一个唯一编号,该编号由数据插入时分配。 数据的插入不是简单的追加,而是找到一个数据空间中的空闲位置插入。数据的查询、修改、删除也是根据记录编号来快速定位数据。每个空闲位置编号唯一。 每个数据块都都会记录当前的空闲位置,这些空闲位置不需要额外的空间进行记录,在数据块内的数据空间被分配给特定记录前,这些原本用于存放记录的空间被用来记录空闲记录位置信息。这些空闲位置信息为一个简单的双向链表,将所有空闲位置串联起来。这样表空间的每行记录都有一个唯一编号,通过该编号可以快速定位所在的数据块、以及块内地址。

AntDB-M设计之内存结构

图3:数据块结构图

  • 记录编号与记录地址关系

记录编号通过简单计算即可得到记录实际存放地址。

AntDB-M设计之内存结构

图4:记录编号与记录地址关系

  • 数据块的创建

数据块在插入数据、更新数据(记录redo记录)、服务启动加载数据到内存时按需创建。数据变更需要创建数据块时,每次只会申请一个数据块,数据加载时会根据当前需要的数据块个数批量申请创建(每次创建一个)。

  • 数据块的释放

一个表空间被创建后,只有在表被drop、truncate时,表空间(包括元数据及数据块)才会被释放。rename表时,仅修改表相关元数据,表空间保持不变。

3

内存管理

表空间的内存管理分为两类:1)数据块,2)非数据块。 不同类型内存管理,可以根据内存大小提供更高效的管理方式。

内存分配分为两种:1)内存;2)内存映射;

-内存,即直接从RAM中分配内存。

-内存映射,即通过pmap方式映射到文件,只用于超大表(建表时设置了超大表选项)的数据块,其他都使用 “内存”方式。

“内存”方式的分配也分为两种策略:1)RAM;2)PMEM; 其中“PMEM”策略仅适用于安装了Intel傲腾持久内存设备的硬件环境。在建表选择表空间的分配时默认为“RAM”策略。

4

溢出列

数据空间中的记录都为定长记录,对于变长类型列,数据不在记录内存放。记录内仅记录数据长度、数据实际位置。 对于溢出列数据,有单独的内存空间存放管理,这里不展开说明。

5

索    引

表的索引分为hash索引、btree索引。两种索引都有各自独立的内存空间。这里不展开说明。

6

总    结

AntDB-M通过简洁、高效的内存结构设计,为整体的高性能打下了坚实的基础。以少量的内存、支撑了更多的数据记录。让用户可以用更少的成本来支撑更多的业务。

关于AntDB数据库


AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。