TiDB笔记

时间：2022-11-23 11:31:15

TiDB笔记

1.功能介绍

  • TiDB Server集群（无状态，不存储数据）

    • 处理客户端发送的sql语句，进行解析编译优化，生成执行计划
    • 如果是insert要将表的数据转换为key和value的形式，向TiKV存储
    • 执行online DDL
    • 每隔十分钟左右进行垃圾回收（GC）将历史版本数据删除
    • 可水平扩展，增强并发处理能力

  • TiKV

    • 存储数据（数据持久化），存储引擎集群，默认创建三副本（只有一个leader可以读写，其他都不可以读写，其他的跟着leader变），高可用性

    • 存region（行存）

      TiDB笔记

      • rocksdb单机的Key-Value存储引擎（内部使用这个数据库保障TiKV的数据持久化）
      • rockdbkv(rocksdb实例):将表数据转换为key-value的形式存储在rockdb实例中
      • rockdbraft(rocksdb实例)：存储表的增删改等指令
      • Raft协议（保障了三副本的强一致性）
      • MVCC（保障了其他操作可以正常执行，例：读的是修改前的数据）
      • Transaction事务层（支持事务）
      • 算子下推实际上是一个分布式计算的模型

  • TiFlash

    • 存储数据，存储引擎集群
    • 存region（列存，擅长统计分析数据）
    • TiKV行存更多承载在线交易型业务OLTP(事务型)
    • TiFlash更多承载分析型业务OLAP(暴力扫描)
    • HTAP(OLTP,OLAP)支持
    • TiDB笔记

  • region : 96M->144M

    • 数据库表切分,分布存储在TiKV

  • PD:PlacementDriver

    • 集群的大脑
    • 存储想要的表在TiKV,TiFlash的对应位置（这些信息叫做：region 的元数据：表在哪些TiKV,TiFlash上分布信息）region与TiKV,TiFlash的对应关系
    • 存储查询每条sql执行的开始时间，结束时间（TSO对时间进行标识，计时器：对一个事务有开始的TSO有结束的TSO）
    • TiDB笔记

  • 体系特点：

    • 水平扩容或缩容
    • 金融级高可用
    • 实时HTAP
    • 云原生的分布式数据库
    • 兼容MySQL5.7协议

TiDB笔记

  • 题目：

TiDB笔记

TiDB笔记

2.TiDBServer详情

  • TiDB server 架构

    • TiDB笔记

    • 功能： TiDB笔记

      • 处理客户端的连接（Protocol Layer）

      • SQL 语句的解析和编译（Parse，Compile）生成执行计划交由Excutor进行执行

        • AST语法树
        • TiDB笔记

      • 关系型数据与 KV 的转化

        • 聚簇表：标号+原表主键做主键（主键唯一）

          TiDB笔记

          • region(默认大小96M->144M，超出分裂，分布式存储在TiKV中)

            TiDB笔记

            TiDB笔记

        • 非聚簇表（自动生成主键）

      • SQL 语句的执行

        TiDB笔记

        • DistSQL将复杂sql的执行计划转换为单表计算任务组合发送给TiKV,涉及一张表涉及多个region
        • 简单查询，点查走KV就不走DistSQL
        • Transaction将开始时间和结束时间(TSO)发送给PDClient

      • 在线 DDL 的执行

        • TiDB笔记
        • 对于整个tidb数据库来说，同一时刻只能有一个TiDBServer做DDL操作（worker）
        • owner执行job,不是固定的，有任期时长，轮换当owner，谁当owner谁复制执行job队列的DDLJob
        • schema load将最新的所有的表信息同步到内部的缓存中，好根据这些信息执行jobqueue里面的job
        • TIKV持久化存储

      • 垃圾回收（定期清理过期版本的数据）

        • GCLifeTime(默认十分钟)保存当前时间到savepoint时间的数据，其他的进行清除

      • 热点小表缓存 V6.0 （cacheTable）进一步热点缓存区

        • TiDB笔记

        • 解决数据可能不一致的问题（缓存租约，既存在使用时间，租约时间内，可以读，无法进行写操作）

          TiDB笔记

        • 应用：

          • TiDB 对于每张缓存表的大小限制为 64 MB
          • 适用于查询频繁、数据量不大、极少修改的场景
          • 在租约 （tidb_table_cache_lease） 时间内,写操作会被阻塞
          • 当租约到期 （tidb_table_cache_lease） 时,读性能会下降
          • 不支持对缓存表直接做 DDL 操作,需要先关闭
          • 对于表加载较慢或者极少修改的表,可以适当延长 tidb_table_cache_lease 保持读性能稳定

      • TiDB缓存

        • 默认使用TIDB数据库的所有内存

        • 使用场景

          TiDB笔记

        • tidb_mem_quota_query限制每条sql占用的缓存

        • oom-action决定超出了上面缓存以后的操作

  • 题目：

    TiDB笔记

TiDB笔记

标签：

相关文章