TiDB笔记

时间:2022-11-23 11:31:15

TiDB笔记

1.功能介绍

  • TiDB Server集群(无状态,不存储数据)

    • 处理客户端发送的sql语句,进行解析编译优化,生成执行计划
    • 如果是insert要将表的数据转换为key和value的形式,向TiKV存储
    • 执行online DDL
    • 每隔十分钟左右进行垃圾回收(GC)将历史版本数据删除
    • 可水平扩展,增强并发处理能力
  • TiKV

    • 存储数据(数据持久化),存储引擎集群,默认创建三副本(只有一个leader可以读写,其他都不可以读写,其他的跟着leader变),高可用性

    • 存region(行存)

      TiDB笔记

      • rocksdb单机的Key-Value存储引擎(内部使用这个数据库保障TiKV的数据持久化)
      • rockdbkv(rocksdb实例):将表数据转换为key-value的形式存储在rockdb实例中
      • rockdbraft(rocksdb实例):存储表的增删改等指令
      • Raft协议(保障了三副本的强一致性)
      • MVCC(保障了其他操作可以正常执行,例:读的是修改前的数据)
      • Transaction事务层(支持事务)
      • 算子下推实际上是一个分布式计算的模型
  • TiFlash

    • 存储数据,存储引擎集群
    • 存region(列存,擅长统计分析数据)
    • TiKV行存更多承载在线交易型业务OLTP(事务型)
    • TiFlash更多承载分析型业务OLAP(暴力扫描)
    • HTAP(OLTP,OLAP)支持
    • TiDB笔记
  • region : 96M->144M

    • 数据库表切分,分布存储在TiKV
  • PD:PlacementDriver

    • 集群的大脑
    • 存储想要的表在TiKV,TiFlash的对应位置(这些信息叫做:region 的元数据:表在哪些TiKV,TiFlash上分布信息)region与TiKV,TiFlash的对应关系
    • 存储查询每条sql执行的开始时间,结束时间(TSO对时间进行标识,计时器:对一个事务有开始的TSO有结束的TSO)
    • TiDB笔记
  • 体系特点:

    • 水平扩容或缩容
    • 金融级高可用
    • 实时HTAP
    • 云原生的分布式数据库
    • 兼容MySQL5.7协议

TiDB笔记

  • 题目:

TiDB笔记

TiDB笔记

2.TiDBServer详情

  • TiDB server 架构

    • TiDB笔记

    • 功能: TiDB笔记

      • 处理客户端的连接(Protocol Layer)

      • SQL 语句的解析和编译(Parse,Compile)生成执行计划交由Excutor进行执行

        • AST语法树
        • TiDB笔记
      • 关系型数据与 KV 的转化

        • 聚簇表:标号+原表主键做主键(主键唯一)

          TiDB笔记

          • region(默认大小96M->144M,超出分裂,分布式存储在TiKV中)

            TiDB笔记

            TiDB笔记

        • 非聚簇表(自动生成主键)

      • SQL 语句的执行

        TiDB笔记

        • DistSQL将复杂sql的执行计划转换为单表计算任务组合发送给TiKV,涉及一张表涉及多个region
        • 简单查询,点查走KV就不走DistSQL
        • Transaction将开始时间和结束时间(TSO)发送给PDClient
      • 在线 DDL 的执行

        • TiDB笔记
        • 对于整个tidb数据库来说,同一时刻只能有一个TiDBServer做DDL操作(worker)
        • owner执行job,不是固定的,有任期时长,轮换当owner,谁当owner谁复制执行job队列的DDLJob
        • schema load将最新的所有的表信息同步到内部的缓存中,好根据这些信息执行jobqueue里面的job
        • TIKV持久化存储
      • 垃圾回收(定期清理过期版本的数据)

        • GCLifeTime(默认十分钟)保存当前时间到savepoint时间的数据,其他的进行清除
      • 热点小表缓存 V6.0 (cacheTable)进一步热点缓存区

        • TiDB笔记

        • 解决数据可能不一致的问题(缓存租约,既存在使用时间,租约时间内,可以读,无法进行写操作)

          TiDB笔记

        • 应用:

          • TiDB 对于每张缓存表的大小限制为 64 MB
          • 适用于查询频繁、数据量不大、极少修改的场景
          • 在租约 (tidb_table_cache_lease) 时间内,写操作会被阻塞
          • 当租约到期 (tidb_table_cache_lease) 时,读性能会下降
          • 不支持对缓存表直接做 DDL 操作,需要先关闭
          • 对于表加载较慢或者极少修改的表,可以适当延长 tidb_table_cache_lease 保持读性能稳定
      • TiDB缓存

        • 默认使用TIDB数据库的所有内存

        • 使用场景

          TiDB笔记

        • tidb_mem_quota_query限制每条sql占用的缓存

        • oom-action决定超出了上面缓存以后的操作

  • 题目:

    TiDB笔记

TiDB笔记