开发者

MySQL InnoDB undo log数据结构用法详解

目录
  • 一、概念解析
    • 1、undo log基本
    • 2、事务系统头transactionsystemheader
    • 3、回滚段头rollbacksegmentheader
    • 4、回滚页头undologpageheader
    • 5、回滚日志头undologheader
    • 6、两种undolog格式
  • 二、数据结构
    • 1、trx_rseg_t
    • 2、trx_undo_t
  • 总结

    一、概念解析

    1、undo log基本

    undo log是InnoDB事务中特有的结构,它的作用有两个:

    • 一是进行事务回滚(原子性),旧数据先放到undo log中,等rollback时再将旧数据里的数据回滚回来;
    • 二是MVCC(隔离性),非阻塞读。

    undo能够避免脏读:在操作数据之前,将数据备份到undo页中,然后在进行数据的修改,不能看到其他回话未提交的数据,当要读取被修改页数据行时,会指向备份在undo页中的数据,避免脏读。

    • undo回滚段头物理存储在ibdata1文件中第6个页位置。
    • undo log存放在数据库内部的一个特殊段中,这个段称为undo段。undjavascripto段位于共享表空间中。回滚段实际上是一种 undo 文件组织方式

    在InnoDB存储引擎中有rollback segment,每个回滚段记录了1024个undo log segment(slot),每个undo log segment段中进行undo页的申请。

    从1.1版本开始InnoDB支持最大128个rollback segment,所以理论上可以支持的最大的事务上限为128*1024。

    在1.2版本开始,可以通过参数对rollback segment进行设置,参数有:

    参数名称

    含义

    innodb_undo_directory

    设置回滚段文件所在的路径

    innodb_undo_logs

    设置回滚段的个数

    innodb_undo_tablespaces

    设置构成回滚段文件的数量

    也就是说:

    回滚段可以存放在共享表空间以外的地方,即可以设置独立表空间,innodb_undo_directory的默认值为“.”,表示当前InnoDB存储引擎的目录。

    回滚段的个数默认值为128。

    设置回滚段文件的数量后,回滚段可以较为平均地分布在多个文件中,在路径下可以看到undo为前缀的文件,该文件代表回滚段文件。

    可用show variables like “innodb_undo%”;查询:

    MySQL InnoDB undo log数据结构用法详解

    重新初始化时指定innodb_undo_tablespaces=N来设置,设置好后会在data目录下生成undo独立表空间(大小10M):

    MySQL InnoDB undo log数据结构用法详解

    2、事务系统头transactionsystemheader

    回滚段的管理,在InnoDB共享表空间中,用第6个页面(5号)来管理的,这个页面专门用来存储事务系统相关信息的,源代码位于trx0sys.h,它的格式如下:

    MySQL InnoDB undo log数据结构用法详解

    这三个参数的含义分别为:

    参数名称

    含义

    TRX_SYS_TRX_ID_STORE

    存储事务号

    TRX_SYS_FSEG_HEADER

    存储事务段信息

    TRX_SYS_RSEGS

    数组,InnoDB有128个rollback segment

    3、回滚段头rollbacksegmentheader

    对于每一个回滚段,即上面TRX_SYS_RSEGS数组中的一个元素,也有其自己的存储格式,代码中的宏定义位于trx0rseg.h,格式如下:

    MySQL InnoDB undo log数据结构用法详解

    这五个信息的含义如下:

    参数名称

    含义

    TRX_RSEG_MAX_SIZE

    所有undo段页面之和

    TRX_RSEG_HISTORY_SIZE

    需要purge的回滚段页面数

    TRX_RSEG_HISTORY

    存储history list的链表首地址

    TRX_RSEG_FSEG_HEADER

    存储回滚段的inode位置信息

    TEX_RSEG_UNDO_SLOTS

    数组,1024,每个元素是一个页面号

    这五个信息存储了一个回滚段的信息,最后一个位置的数组,用来真正存储回滚段的位置。

    这五个信息是从页面偏移38的位置开始存储,在TRX_SYS宏定义中可以查看:

    MySQL InnoDB undo log数据结构用法详解

    MySQL InnoDB undo log数据结构用法详解

    MySQL InnoDB undo log数据结构用法详解

    4、回滚页头undologpageheader

    定义在trx0undo.h,事务undo日志页面头偏移量:

    MySQL InnoDB undo log数据结构用法详解

    其中各个参数的含义为:

    参数名称

    含义

    TRX_UNDO_PAGE_TYPE

    类型,TRX_UNDO_INSERT\UPDATE

    TRX_UNDO_PAGE_START

    开始存储undo日志的位置

    TRX_UNDO_PAGE_FREE

    结束标志

    TRX_UNDO_PAGE_NODE

    双向链表的指针

    第一个页在undo log段的回滚日志段头:

    MySQL InnoDB undo log数据结构用法详解

    其中各个参数的含义为:

    参数名称

    含义

    TRX_UNDO_STATE

    undo段五种状态,包括TRX_UNDO_ACTIVE\CACHED\TO_FREE\TO_PURGE\PREPARED

    TRX_UNDO_LAST_LOG

    最后一个undo日志的偏移位置

    TRX_UNDO_FSEG_HEADER

    undo段inode信息

    TRX_UNDO_PAGE_LIST

    段链表的首地址

    其中undo log段的状态有五种:

    MySQL InnoDB undo log数据结构用法详解

    5、回滚日志头undologheader

    这是回滚日志的头,在第一页的update undo log中有几个undo log headers。同样定义在trx0undo.h中,它的宏定义如下:

    MySQL InnoDB undo log数据结构用法详解

    整理并解释其中的含义:

    参数名称

    含义

    TRX_UNDO_TRX_ID

    存储当前undo日志对应事务的事务id

    TRX_UNDO_TRX_NO

    事务序列号

    TRX_UNDO_DEL_MARKS

    删除记录标记

    TRX_UNDO_LOG_START

    存储当前页面中第一个undo日志的开始位置

    TRX_UNDO_XID_EXISTS

    标记的当前日 志中有没有包含xid事务

    TRX_UNDO_DICT_TRANS

    标记当前事务是不是DDL,在回滚时判断如何操作

    TRX_UNDO_TABLE_ID

    表id

    TRX_UNDO_NEXJKOIAOTT_LOG

    链接指向下一个undo日志

    TRX_UNDO_PREV_LOG

    指向上一个undo日志,构成双向链表

    TRX_UNDO_HISTORY_NODE

    存储history list中的双向链表,链表首地址

    6、两种undolog格式

    undo log格式有两种:

    • insert undo log
    • update undo log

    MySQL InnoDB undo log数据结构用法详解

    其中,insert操作会产生insert undo log。因为隔离性的要求,insert操作只对事务本身可见,对其他事务不可见。并且undo log可以在事务提交后直接删除,不需要进行purge操作。

    update和delete操作都会产生update undo log。对于update操作很简单,就是将旧版本的值修改为新版本的值,并且将旧版本的记录保存到undo log中;对于delete操作完后并不是真正的删除该行数据,而是将该行的数据存在undo log中,并且将标记位delete置为true,以备回滚时可以根据标记位进行逆操作,这样就能够找回之前的旧数据,起到回滚的作用。

    在delete中又分为三种情况:

    MySQL InnoDB undo log数据结构用法详解

    purge线程两个主要作用是:清理undo页和清除page里面带有delete_bit标识的数据行。在InnoDB中,事务中的delete操作实际上并不是真正的删除掉数据行,而是在记录上标识delete_bit,而不是真正删除记录,真正的删除工作需要后台purge线程去完成。

    下面是两种undo log记录的具体的结构:

    MySQL InnoDB undo log数据结构用法详解

    二、数据结构

    与undo log相关的数据结构有trx_sys_t、trx_rsegs_t 、trx_t、trx_rseg_t、trx_undo_t、trx_undo_ptr_t等结构,其中比较重要的结构有两个:trx_rseg_t和trx_undo_t。trx_rseg_t保存回滚段的信息,trx_undo_t保存关于android回滚日志的信息。

    MySQL InnoDB undo log数据结构用法详解

    通过两种方式找到回滚日志:

    MySQL InnoDB undo log数据结构用法详解

    MySQL InnoDB undo log数据结构用法详解

    结论:

    1、从全局变量trx_sys中的回滚段数组rseg_array中的回滚链表update-undo_list中指针(trx_sys->rseg_array[N]->update_undo_list->start)以及当前事务trx中的回滚段指针rsegs中的slot槽区m_redo中的undo log(trx->rsegs->m_redo->update_undo)都可以找到相应的回滚段中的回滚日志

    2、事务id、回滚段id、page_no递增。

    1、trx_rseg_t

    回滚段的内存对象的类型是一个叫trx_rseg_t的结构,它定义在trx0rseg.h文件中,它的各成员有:

    成员变量

    解释

    ulint id;

    回滚段id

    RsegMutex mutex;

    回滚段mutex,保护

    uljsint space;

    回滚段头空间

    ulint page_no;

    回滚段页码

    page_size_t page_size;

    页面大小

    ulint max_size;

    允许的最大页大小

    ulint curr_size;

    当前页的大小

    UT_LIST_BASE_NODE_T(trx_undo_t) update_undo_list;

    update回滚日志链表

    UT_LIST_BASE_NODE_T(trx_undo_t) update_undo_cached;

    为快速重用而缓存的update回滚日志链表

    UT_LIST_BASE_NODE_T(trx_undo_t) insert_undo_list;

    insert回滚日志的字段

    UT_LIST_BASE_NODE_T(trx_undo_t) insert_undo_cached;

    为快速重用而缓存的insert undo log链表

    ulint last_page_no;

    最后一个尚未清除的日志页码

    ulint last_offset;

    最后一个尚未清除的日志头的字节偏移量

    trx_id_t last_trx_no;

    最后一个尚未清除的日志的事务号

    ibool last_del_marks;

    判断最后一个尚未清除的日志是否要清除

    ulint trx_ref_count;

    跟踪rseg分配事务的参考计数器

    bool skip_allocation;

    如果为真,则跳过分配此rseg

    update\insert_undo_list 用于保存产生的回滚日志,update\insert_undo_cached用于快速重用而缓存的回滚日志链表。当确定回滚日志无用时,会将回滚日志从update\insert_undo_list中摘除,放到相应的cached链表中。

    2、trx_undo_t

    回滚日志的内存对象的类型是一个叫trx_undo_t的结构,它定义在trx0undo.h文件中,它的各成员有:

    成员变量

    解释

    ulint     id;

    回滚段内的回滚日志槽号(slot)

    ulint     type;

    类型。TRX_UNDpythonO_INSERT\UPDATE

    ulint     state;

    相应的回滚日志段的状态

    ibool del_marks;

    删除标记

    trx_id_t     trx_id;

    事务id

    XID     xid;

    open XA事务识别

    ibool dict_operation;

    是否是dict操作

    table_id_t table_id;

    设置表ID

    trx_rseg_t* rseg;

    回滚日志所属的rseg回滚段

    ulint     space;

    放置回滚日志的空间id

    page_size_t page_size;

    回滚日志中标题页的大小

    ulint     hdr_page_no;

    回滚日志中标题页的页码

    ulint      hdr_offset;

    页面上回滚日志的header偏移量

    ulint     last_page_no;

    登录日志中最后一页的页码

    ulint     size;

    当前页的大小

    ulint     empty;

    回滚日志记录堆栈当前是否为空

    ulint     top_page_no;

    链接最近撤消日志记录的页码

    ulint     top_offset;

    最新回滚记录的偏移量

    undo_no_t top_undo_no;

    最新的回滚记录的编号

    buf_block_t* guess_block;

    猜测可能位于首页的缓冲区

    ulint     withdraw_clock;

    存储guess_block时缓冲池的退出时钟值

    UT_LIST_NODE_T(trx_undo_t) undo_list;

    回滚段中的回滚日志对象链表

    回滚段指针包括回滚段的id、日志所在的page no、以及page内偏移量。通过回滚段的指针就能够找到这个回滚段,通过回滚日志的槽号、页码、回滚记录编号和偏移量就能定位到这条回滚日志。

    undo_list用于将此类型的undo log链接到undo log list中。

    UT_LIST_NODE_T(trx_undo_t) undo_list链表中有两个指针,分别为prev和next,用于将此undo log链接到undo log list中。

    总结

    以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程客栈(www.devze.com)。

    0

    上一篇:

    下一篇:

    精彩评论

    暂无评论...
    验证码 换一张
    取 消

    最新数据库

    数据库排行榜