mysql commit过程详述

MySQL通过内部两阶段提交协议来提交事务，如下图

具体实现如下图：

第一阶段 ：InnoDB prepare，持有prepare_commit_mutex，并且write/sync redo log；将rollback设置为Prepared状态，binlog prepare不作任何 *** 作；

第二阶段 ：包含两步，write/sync Binlog及 InnoDB commit (写入COMMIT标记后释放prepare_commit_mutex)；

考虑mysql以binlog的写入与否作为事务提交成功与否的标志，如果 在写入innodb commit标志时崩溃(binglog已经写文件但是还没有提交) ，则恢复时，会重新对commit标志进行写入；此时的事务崩溃恢复过程如下：

1)扫描最后一个Binlog文件，提取其中的xid；

2)InnoDB维持了状态为Prepare的事务链表，将这些事务的xid和Binlog中记录的xid做比较，如果在Binlog中存在，则提交，否则回滚事务。

但其中也会存在2个问题：

并发危机:全局大锁prepare_commit_mutex

Mysql5.6.5前的做法，加锁，串行化

无锁方案：如果能保证binlog write 和  Innodb commit的顺序一致性就可以解决该问题。

性能问题：参数sync_binlog =1 ,innodb_flush_log_at_trx_commit =1时，fsync *** 作频繁

数据持久化到磁盘:调用fsync将缓存中的数据刷新到磁盘（普通硬盘150次/s和SSD 1200次/S），影响TPS；Group Commit *** 作，在多个事务并发时，将等待fsync的多个事务合并为仅调用一次fsync *** 作，以解决innodb fsync的问题，对binlog 的fsync也适用

对上述两个问题的解决：

针对并发问题

Group *** 作，三个阶段都在维护一个队列。第一个进队列的线程称为leader线程，负责对队列里所有线程进行 *** 作；之后进入队列的线程称作follower线程，follower 线程进入队列后睡眠，等待leader完成 *** 作后将他们唤醒。注意：前一个队列leader进入后一个队列时，会把自己原队列的follower全加入进去。

针对一致性问题 

Group commit 分为三个阶段，每个阶段有一个线程在执行。分阶段的目的在于各个阶段可以并发执行，提升效率。

涉及参数说明：

sync_binlog =1 :启用group commit之后，其实已经不是一个事务去刷一次磁盘了，而是一组事务刷一次磁盘。图中1、2分别代表sync_binlog 不同配置下，通知其他线程（如dump线程）binlog 已经更新了，当配置为1时，要严格等到sync完毕之后才会发送广播通知, 如果sync_binlog配的是别的值，MySQL会把通知提前到1的位置

binlog_group_commit_sync_no_delay_count(组提交sync无延迟时间最大event数)及binlog_group_commit_sync_delay(组提交sync延迟时间，单位：毫秒)：一般来说我们认为group commit 中最耗时的 *** 作是sync阶段，于是我们可以在sync阶段在leader真正sync之前进行一个等待，以便让fsync一次性刷新更多的事务。这对需要等待sync 完之后才能进行的 *** 作(比如dump线程）可能有性能提升。

两阶段提交：

MYSQL_BIN_LOG作为协调者

线上一个5.7从库复制中断：

查询具体报错：

第一感觉很奇怪，为什么会rollback失败呢？于是根据gtid去对应的主库binlog去看了下，并没有任何rollback语句：

看下本地的relay log，找到这个事务的gtid

到这里，这个relay log日志文件结束了。很显然问题也找到了，就是执行

出错了。

首先 我们看到 这个rollback是MySQL自己加上去的，那么为什么要加呢？

mysql为了保证一个事务只在一个binlog里，所以当Binlog或者relay log发生截断时，最后一个事务要么commit，要么rollback，如果rollback，那么下一个binlog或者relay log会把这个事务重做一遍，保证这个事务不会丢。

由于xa事务无法直接rollback，而需要xa rollback ‘XXX’，所以复制就停了。

怎么修复？是不是直接跳过这个rollback就行了？

我们来试一下，跳过这个rollback:

这里GTID_NEXT值不能用show slave status的里executed值，得用具体报错的停止的gtid

但是，show slave status看到，还是有报错：

为什么又报这个事务commit找不到XID呢？

之前说过，在relaylog截断的时候，如果事务没有commit,会自动在最后加rollback，在下一个relay log开始的时候重新做一次这个事务，按理说我们跳过这个rollback，在下个relaylog会被重做，为啥会在commit的时候找不到xid呢？

我们看到我们跳过的gtid原来就是重做这个事务到PREPARE阶段的gtid，原来，rollback是没有gtid的，所以我们实际上就是把这个事务到PREPARE阶段的gtid给跳过了，commit的时候肯定会找不到xid，接着怎么修复？

为什么这是5.7的一个bug呢？5.7之前的版本因为relaylog被截断并不会出现这个bug。

5.7对xa事务的binlog记录方式做了修改，把 xa start,xa end,xa prepare放到一个event里，xa commit又是另外一个event。而在之前的MySQL版本中，整个xa事务从start到commit都是在一个event中，所以其他版本并没有问题。

最后一个问题：5.7为啥要把xa事务拆成两个event？简单的讲是为了数据安全性。

5.5或者5.6假设下面一个场景：

MySQL在某个分布式事务prepare成功后宕机，宕机前 *** 作该事务的连接并没有断开（如果在宕机前断开连接，事务会被MySQL自动回滚），这个时候已经prepare的事务并不会被回滚，所以在MySQL重新启动后，引擎层通过recover机制能恢复该事务。当然该事务的Binlog已经在宕机过程中被丢失，这个时候，如果去提交，则会造成主从数据的不一致， 即提交没有记录Binlog，从上丢失该条数据。

正因为5.7之前版本的xa事务存在这个bug，5.7后做了修复。从XA START到XA PREPARE之间的 *** 作都被记录到了Master的Binlog中，然后通过复制关系传到了Slave上。也就是说5.7开始，MySQL对于XA事务，在prepare的时候就完成了写Binlog的 *** 作，通过新增一种叫 XA_prepare_log_event 的event类型来实现。

其实 MySQL5.7在xa事务上远不止这个bug，后面再来慢慢总结。

使用xa进行测试时，对mysql进行了一些xa各阶段锁定试验，后来出现卡死情况就杀掉了线程，重启了mysql服务。重启后发现插入、修改数据都正常，但无法修改表结构，修改表结构就处于卡死状态，过一分多钟报超时错误。多次重启mysql服务后,问题依然如故.

查询innodb_trx表，发现有两个事务处于运行中。

SELECT * from information_schema.INNODB_TRX

2.方案2--xa rollback--不起作用

还有资料说，通过 xarecover 查看当前xa事务，然后回滚或提交。

针对上面的xa rollback我们也可以尝试用xa commit，问题一样不能解决（需要再次重启mysql才能运行，否则会找不到对应的xid）。

通过重启mysql后事务依然存在,我们大概推断应该跟redoundo有关系，xa事务异常后，mysql服务重启检测到了这两个事务就自动运行了，但因为未知原因，这两个事务并没有执行，一直处于running状态。

曾经试图研究mysql的redo undo机制或者对应的文件格式，但时间关系没有深入。

尝试能否打开对应的redo文件，对里面的语句进行修改，但网上找了资料没有合适的工具可以做这个事情。

一直很苦恼的思索解决办法，也咨询身边的一些朋友，对没有遇到过这方面的问题。

今天灵机一动，奔着大不了重新安装mysql的心态进行了破坏性的探索，当然前提要提前把数据备份出来。尝试停止mysql服务后，将mysql对应的datadir目录下几个文件删除掉，对应文件见下图。

然后重启mysql服务，曾担心启动失败的，但没想到mysql顺利的启动成功了，然后查看对应的表，发现一只running的事务终于消失了。

后续有时间我会继续深入分析其中的原理。

---