能够看懂MySQL源码是一种怎么样的体验？

首先mysql是c++开发的。 github地址：https://github.com/mysql/mysql-server很多大型软件基本都是c/c++开发的。你会了c/c++基本就具备了领略程序世界的大门的钥匙。 mysql是一个完善的数据库软件。最上层：处理连接，授权认证，安全等 第二层：核心服务功能：查询解析，分析，优化，缓存以及所有内置函数（日期，时间，数据，加密等），存储过程，触发器，视图等。 第三层：存储引擎，存储引擎负责mysql中数据的存储和提取。每个引擎各有优势。服务器通过API与存储引擎进行通信。接口屏蔽了不同引擎的差异，对上层的查询过程透明。 你如果去读它，你基本就可以深入到这些业务点中。然后获取的提升绝对不是一星半点。你会发现开发一个web应用，开发一个中间件如此简单。你获取的是大神级工程师的开发思想，技巧。 举个例子：MVCC ，innodb 隔离性实现的技术。 设计原理很简单，也很巧妙。对数据安全和高并发做了平衡处理。 这个是单纯学习计算机语言，算法数据结构给不了的体验。 当前，你得能看的下去，你有那个恒心。吹牛逼就不要在这里问了？首先，能看懂 MySQL 源码的人物，我感觉肯定在技术上是一位大牛，能够将 C/C++ 语言的 MySQL 源码看懂，肯定也是一位非常有耐心的技术人，能够耐着性子去专研。 如果能够将Mysql源码研究的很透彻的话，我相信出去到大厂找数据库内核开发的岗位时，绝对是一个非常巨大的优势。能看懂 Mysql 的源码，首先第一点需要对 C/C++ 语言的知识点非常的熟悉，因为 MySQL 底层几乎都是 C/C++ 语言写的，比如指针等。 对于 MySQL 源码能够看得的话，我相信在和别人谈论数据库相关的问题时，其实也会更加有专业性和深度，能够快速的理解对方所说的数据库问题。同时，如果对 MySQL 源码有着很深入了解的话，其实对于数据库的相关配置优化等也会掌握的更好，因为你对底层原理了解的很透彻，对于自己做的每一件事情都是有理有据。每个数据库参数是什么含义，为什么要这样设置，背后都有你自己的理解和原因。这对于公司来说，也是非常需要这样的人才。当初我校招的时候，其实准备想投数据库开发相关的岗位，当时其实自己也自学过 MySQL 底层的原理（不过我没有去研究过源码）。 MySQL 最主要的还是底层可插拔式的存储引擎，比如 InnoDB、MYISAM等，重点是 InnoDB存储引擎。学习看 MySQL 源码的话，我建议可以选择其中一个模块开始入手。我刚开始看 《MySQL 技术内幕：InnoDB存储引擎》 这本书的时候，上面讲解的非常多的 MySQL InnoDB 的原理。先从原理知识入手，再去看源码会更加好一些，因为你掌握了整体的代码逻辑方向。说实话直接上手看 MySQL 源码，将会是很难的一件事情。我相信那些能够看懂 MySQL 源码的人，肯定在看源码之前，有一定的技术知识储备。新同学在去研究某一门开源技术组件的源码时，不建议直接上手去看代码，你应该是先去整体了解一下该技术组件的整体原理和框架，源码层则是更加细节方面的实现，你应该带着某一个问题去看，有针对性和目的性的去看源码，这样你的提升才会更加的快速。 我会持续大数据、数据库方面的内容，如果你有任何问题，也欢迎关注私信我，我会认真解答每一个问题。期待您的关注阅读代码，一般都是一件繁复的工作。程序员，只要工作需要、或有足够的时间，都能够胜任阅读代码的工作，特别是数据库这类功能具体的系统。如果软件的功能不确定，阅读起来确实有莫名的困难。年轻时，得到“一套”Z80汇编码，闲来无聊，尝试阅读，数周过去，不得要领。直到在一个忽略了的简单文档的阐述上下文中，意识到代码可能是实现“导d”稳定飞行的侧滚控制系统时，阅读中的问题瞬间都消失了。 拜托啦，我不只能看懂你的SQL，我还可以看懂VB、C++、数据库我也看

现象

Sysbench对MySQL进行压测, 并发数过大(>5k)时, Sysbench建立连接的步骤会超时.

猜想

猜想: 直觉上这很简单, Sysbench每建立一个连接, 都要消耗一个线程, 资源消耗过大导致超时.

验证: 修改Sysbench源码, 调大超时时间, 仍然会发生超时.

检查环境

猜想失败, 回到常规的环境检查:

MySQL error log 未见异常.

syslog 未见异常.

tcpdump 观察网络包未见异常, 连接能完成正常的三次握手只观察到在出问题的连接中, 有一部分的TCP握手的第一个SYN包发生了重传, 另一部分没有发生重传.

自己写一个简单的并发发生器, 替换sysbench, 可重现场景. 排除sysbench的影响

猜想2

怀疑 MySQL 在应用层因为某种原因, 没有发送握手包, 比如卡在某一个流程上:

检查MySQL堆栈未见异常, 仿佛MySQL在应用层没有看到新连接进入.

通过strace检查MySQL, 发现 accept() 调用确实没有感知到新连接.

怀疑是OS的原因, Google之, 得到参考文档: A TCP “stuck” connection mystery【http://www.evanjones.ca/tcp-stuck-connection-mystery.html】

分析

参考文档中的现象跟目前的状况很类似, 简述如下:

正常的TCP连接流程:

Client 向 Server 发起连接请求, 发送SYN.

Server 预留连接资源, 向 Client 回复SYN-ACK.

Client 向 Server 回复ACK.

Server 收到 ACK, 连接建立.

在业务层上, Client和Server间进行通讯.

当发生类似SYN-flood的现象时, TCP连接的流程会使用SYN-cookie, 变为:

Client 向 Server 发起连接请求, 发送SYN.

Server 不预留连接资源, 向 Client 回复SYN-ACK, 包中附带有签名A.

Client 向 Server 回复ACK, 附带 f(签名A) (对签名进行运算的结果).

Server 验证签名, 分配连接资源, 连接建立.

在业务层上, Client和Server间进行通讯.

当启用SYN-cookie时, 第3步的ACK包因为 某种原因 丢失, 那么:

从Client的视角, 连接已经建立.

从Server的视角, 连接并不存在, 既没有建立, 也没有”即将建立” (若不启用SYN-cookie, Server会知道某个连接”即将建立”)

发生这种情况时:

若业务层的第一个包应是从 Client 发往 Server, 则会进行重发或抛出连接错误

若业务层的第一个包应是从 Server 发往 Client的, Server不会发出第一个包. MySQL的故障就属于这种情况.

TCP握手的第三步ACK包为什么丢失

参考文档中, 对于TCP握手的第三步ACK包的丢失原因, 描述为:

Some of these packets get lost because some buffer somewhere overflows.

我们可以通过Systemtap进一步探究原因. 通过一个简单的脚本:

probe kernel.function("cookie_v4_check").return

{

source_port = @cast($skb->head + $skb->transport_header, "struct tcphdr")->source

printf("source=%d, return=%d\n",readable_port(source_port), $return)

}

function readable_port(port) {

return (port &((1<<9)-1)) <<8 | (port >>8)

}

观察结果, 可以确认cookie_v4_check (syn cookie机制进行包签名检查的函数)会返回 NULL(0). 即验证是由于syn cookie验证不通过, 导致TCP握手的第三步ACK包不被接受.

之后就是对其中不同条件进行观察, 看看是哪个条件不通过. 最终原因是accept队列满(sk_acceptq_is_full):

static inline bool sk_acceptq_is_full(const struct sock  *sk){   return sk->sk_ack_backlog >sk-   >sk_max_ack_backlog}

恢复故障与日志的正关联

在故障处理的一开始, 我们就检查了syslog, 结论是未见异常.

当整个故障分析完成, 得知了故障与syn cookie有关, 回头看syslog, 里面是有相关的信息, 只是和故障发生的时间不匹配, 没有正关联, 因此被忽略.

检查Linux源码:

if (!queue->synflood_warned &&

sysctl_tcp_syncookies != 2 &&

xchg(&queue->synflood_warned, 1) == 0)

pr_info("%s: Possible SYN flooding on port %d. %s.

Check SNMP counters.\n",

proto, ntohs(tcp_hdr(skb)->dest), msg)

可以看到日志受到了抑制, 因此日志与故障的正关联被破坏.

粗看源码, 每个listen socket只会发送一次告警日志, 要获得日志与故障的正关联, 必须每次测试重启MySQL.

解决方案

这种故障一旦形成, 难以检测系统日志中只会出现一次, 在下次重启MySQL之前就不会再出现了Client如果没有合适的超时机制, 万劫不复.

解决方案:

1. 修改MySQL的协议, 让Client先发握手包. 显然不现实.

2. 关闭syn_cookie. 有安全的人又要跳出来了.

3. 或者调高syn_cookie的触发条件 (syn backlog长度). 降低系统对syn flood的敏感度, 使之可以容忍业务的syn波动.

有多个系统参数混合影响syn backlog长度, 参看【http://blog.dubbelboer.com/2012/04/09/syn-cookies.html】

下图为精华总结

请点击输入图片描述

---