如何使用SQL Server 跟踪数据库变化

1、找到SQL Server Profiler并登录

位置：单击开始--程序--Microsoft SQL Server--性能工具--SQL Server Profiler

或者登录后在下图的位置寻找：

2、然后，进入下面的界面：

输入相关信息，单击连接进入下一个界面。

3、如下图所示界面：

4、关键点在“事件选择部分”，如下图：

小注：

要注意“列筛选器”的使用！

我们可以对统计的字段进行筛选，单击任意一个列标题可以查看列的说明如下图：

详解：

需要过滤具体的列名值，则选择对应的列，在右边树形框录入具体的值，并必须选择排除不包含值的行哈。

各个选项的具体含义，如下：

TextDate            依赖于跟踪中捕获的事件类的文本值；

ApplicationName  创建 SQL Server 连接的客户端应用程序的名称。此列由该应用程序传递的值填充，而不是由所显示的程序名填充的；

NTusername        Windows 用户名。

LoginName           用户的登录名(SQL Server 安全登录或 Windows 登录凭据，格式为“域\用户名”)

CPU                    事件使用的 CPU 时间(毫秒)。

Reads                 由服务器代表事件读取逻辑磁盘的次数。

Writes                由服务器代表事件写入物理磁盘的次数。

Duration             事件占用的时间。尽管服务器以微秒计算持续时间，SQL Server Profiler 却能够以毫秒为单位显示该值，具体情况取决于“工具”>“选项”对话框中的设置

ClientProcessID   调用 SQL Server 的应用程序的进程 ID。

SPID                  SQL Server 为客户端的相关进程分配的服务器进程 ID。

StratTime           事件(如果可用)的启动时间。

EndTime             事件结束的时间。对指示事件开始的事件类(例如 SQL:BatchStarting 或 SP:Starting)将不填充此列。

BinaryData          依赖于跟踪中捕获的事件类的二进制值。

然后，单击运行即可！

pt-archiver原理解析

作为MySQL DBA，可以说应该没有不知道pt-archiver了，作为pt-toolkit套件中的重要成员，往往能够轻松帮助DBA解决数据归档的问题。例如线上一个流水表，业务仅仅只需要存放最近3个月的流水数据，三个月前的数据做归档即可，那么pt-archiver就可以轻松帮你完成这件事情，甚至你可以配置成自动任务，无需人工干预。

作为DBA，我们应该知其然更应该知其所以然，这样我们也能够放心地使用pt工具。相信很多DBA都研究过pt-online-schema-change的原理，那么今天我们深入刨一刨pt-archiver的工作原理。

一、原理观察

土人有土办法，我们直接开启general log来观察pt-archiver是如何完成归档的。

命令

pt-archiver --source h=127001,u=xucl,p=xuclxucl,P=3306,D=xucl,t=t1 --dest h=127001,P=3306,u=xucl,p=xuclxucl,D=xucl_archive,t=t1 --progress 5000 \

--statistics --charset=utf8mb4 --limit=10000 --txn-size 1000 --sleep 30

常用选项

--analyze

指定工具完成数据归档后对表执行'ANALYZE TABLE' *** 作。指定方法如'--analyze=ds'，s代表源端表，d代表目标端表，也可以单独指定。

--ask-pass

命令行提示密码输入，保护密码安全，前提需安装模块perl-TermReadKey。

--buffer

指定缓冲区数据刷新到选项'--file'指定的文件并且在提交时刷新。

只有当事务提交时禁用自动刷新到'--file'指定的文件和刷新文件到磁盘，这意味着文件是被 *** 作系统块进行刷新，因此在事务进行提交之前有一些数据隐式刷新到磁盘。默认是每一行 *** 作后进行文件刷新到磁盘。

--bulk-delete

指定单个语句删除chunk的方式来批量删除行，会隐式执行选项'--commit-each'。

使用单个DELETE语句删除每个chunk对应的表行，通常的做法是通过主键进行逐行的删除，批量删除在速度上会有很大的提升，但如果有复杂的'WHERE'条件就可能会更慢。

--[no]bulk-delete-limit

默认值：yes

指定添加选项'--bulk-delete'和'--limit'到进行归档的语句中。

--bulk-insert

使用LOAD DATA LOCAL INFILE的方法，通过批量插入chunk的方式来插入行(隐式指定选项'--bulk-delete'和'--commit-each')

而不是通过逐行单独插入的方式进行，它比单行执行INSERT语句插入的速度要快。通过隐式创建临时表来存储需要批量插入的行(chunk)，而不是直接进行批量插入 *** 作，当临时表中完成每个chunk之后再进行统一数据加载。为了保证数据的安全性，该选项会强制使用选项'--bulk-delete'，这样能够有效保证删除是在插入完全成功之后进行的。

--channel

指定当主从复制环境是多源复制时需要进行归档哪个主库的数据，适用于多源复制中多个主库对应一个从库的情形。

--charset，-A

指定连接字符集。

--[no]check-charset

默认值：yes

指定检查确保数据库连接时字符集和表字符集相同。

--[no]check-columns

默认值：yes

指定检查确保选项'--source'指定的源端表和'--dest'指定的目标表具有相同的字段。

不检查字段在表的排序和字段类型，只检查字段是否在源端表和目标表当中都存在，如果有不相同的字段差异，则工具报错退出。如果需要禁用该检查，则指定'--no-check-columns'。

--check-slave-lag

指定主从复制延迟大于选项'--max-lag'指定的值之后暂停归档 *** 作。默认情况下，工具会检查所有的从库，但该选项只作用于指定的从库(通过DSN连接方式)。

--check-interval

默认值：1s

如果同时指定了选项'--check-slave-lag'，则该选项指定的时间为工具发现主从复制延迟时暂停的时间。每进行 *** 作100行时进行一次检查。

--columns，-c

指定需要归档的表字段，如有多个则用','(逗号)隔开。

--commit-each

指定按每次获取和归档的行数进行提交，该选项会禁用选项'--txn-size'。

在每次获取表数据并进行归档之后，在获取下一次数据和选项'--sleep'指定的休眠时间之前，进行事务提交和刷新选项'--file'指定的文件，通过选项'--limit'控制事务的大小。

--host，-h

指定连接的数据库IP地址。

--port，-P

指定连接的数据库Port端口。

--user，-u

指定连接的数据库用户。

--password，-p

指定连接的数据库用户密码。

--socket，-S

指定使用SOCKET文件连接。

--databases，-d

指定连接的数据库

--source

指定需要进行归档 *** 作的表，该选项是必须指定的选项，使用DSN方式表示。

--dest

指定要归档到的目标端表，使用DSN方式表示。

如果该选项没有指定的话，则默认与选项'--source'指定源端表为相同表。

--where

指定通过WHERE条件语句指定需要归档的数据，该选项是必须指定的选项。不需要加上'WHERE'关键字，如果确实不需要WHERE条件进行限制，则指定'--where 1=1'。

--file

指定表数据需要归档到的文件。使用类似MySQL DATE_FORMAT()格式化命名方式。

文件内容与MySQL中SELECT INTO OUTFILE语句使用相同的格式，文件命名选项如下所示：

%Y：年，4位数(Year, numeric, four digits)

%m：月，2位数(Month, numeric (0112))

%d：日，2位数(Day of the month, numeric (0131))

%H：小时(Hour (0023))

%i：分钟(Minutes, numeric (0059))

%s：秒(Seconds (0059))

%D：数据库名(Database name)

%t：表名(Table name)

例如：--file '/var/log/archive/%Y-%m-%d-%D%t'

--output-format

指定选项'--file'文件内容输出的格式。

默认不指定该选项是以制表符进行字段的分隔符，如果指定该选项，则使用','(逗号)作为字段分隔符，使用'"'(双引号)将字段括起。用法示例：'--output-format=dump'。

--for-update

指定为每次归档执行的SELECT语句添加FOR UPDATE子句。--share-lock

指定为每次归档执行的SELECT语句添加LOCK IN SHARE MODE子句。

--header

指定在文件中第一行写入字段名称作为标题。

--ignore

指定为INSERT语句添加IGNORE选项。

--limit

默认值：1

指定每条语句获取表和归档表的行数。

--local

指定不将OPTIMIZE和ANALYZE语句写入binlog。

--max-lag

默认值：1s

指定允许主从复制延迟时长的最大值，单位秒。如果在每次获取行数据之后主从延迟超过指定的值，则归档 *** 作将暂停执行，暂停休眠时间为选项'--check-interval'指定的值。待休眠时间结束之后再次检查主从延迟时长，检查方法是通过从库查询的'Seconds_Behind_Master'值来确定。如果主从复制延迟一直大于该参数指定值或者从库停止复制，则 *** 作将一直等待直到从库重新启动并且延迟小于该参数指定值。

--no-delete

指定不删除已被归档的表数据。

--optimize

指定工具完成数据归档后对表执行'OPTIMIZE TABLE' *** 作。指定方法如'--analyze=ds'，s代表源端表，d代表目标端表，也可以单独指定。

--primary-key-only

指定只归档主键字段，是选项'--columns=主键'的简写。

如果工具归档的 *** 作是进行DELETE清除时最有效，因为只需读取主键一个字段而无需读取行所有字段。

--progress

指定每多少行打印进度信息，打印当前时间，已用时间以及多少行进行归档。

--purge

指定执行的清除 *** 作而不是归档 *** 作。允许忽略选项'--dest'和'--file'进行 *** 作，如果只是清除 *** 作可以结合选项'--primary-key-only'会更高效。

--quiet，-q

指定工具静默执行，不输出任何的执行信息。

--replace

指定写入选项'--dest'指定目标端表时改写INSERT语句为REPLACE语句。

--retries

默认值：1

指定归档 *** 作遇到死锁或超时的重试次数。当重试次数超过该选项指定的值时，工具将报错退出。

--run-time

指定工具归档 *** 作在退出之前需要运行的时间。允许的时间后缀名为s=秒，m=分，h=小时，d=天，如果没指定，默认为s。

--[no]safe-auto-increment

默认值：yes

指定不使用自增列(AUTO_INCREMENT)最大值对应的行进行归档。

该选项在进行归档清除时会额外添加一条WHERE子句以防止工具删除单列升序字段具有的具有AUTO_INCREMENT属性最大值的数据行，为了在数据库重启之后还能使用到AUTO_INCREMENT对应的值，但这会引起无法归档或清除字段对应最大值的行。

--set-vars

默认：

wait_timeout=10000

innodb_lock_wait_timeout=1

lock_wait_timeout=60

工具归档时指定参数值，如有多个用','(逗号)分隔。如'--set-vars=wait_timeout=5000'。

--skip-foreign-key-checks

指定使用语句SET FOREIGN_KEY_CHECKS = 0禁用外键检查。

--sleep

指定工具在通过SELECT语句获取归档数据需要休眠的时间，默认值是不进行休眠。在休眠之前事务并不会提交，并且选项'--file'指定的文件不会被刷新。如果指定选项'--commit-each'，则在休眠之前会进行事务提交和文件刷新。

--statistics

指定工具收集并打印 *** 作的时间统计信息。

统计信息示例如下：

'

Started at 2008-07-18T07:18:53, ended at 2008-07-18T07:18:53

Source: D=db,t=table

SELECT 4

INSERT 4

DELETE 4

Action Count Time Pct

commit 10 01079 8827

select 5 00047 387

deleting 4 00028 229

inserting 4 00028 228

other 0 00040 329

--txn-size

默认：1

指定每个事务处理的行数。如果是0则禁用事务功能。

--version

显示工具的版本并退出。

--[no]version-check

默认值：yes

检查Percona Toolkit、MySQL和其他程序的最新版本。

--why-quit

指定工具打印当非因完成归档行数退出的原因。

在执行一个自动归档任务时该选项与选项'--run-time'一起使用非常方便，这样可以确定归档任务是否在指定的时间内完成。如果同时指定了选项'--statistics'，则会打印所有退出的原因。

二、原理解析

根据general log的输出，我们整理出时序表格如下

三、其他说明

咋一看这个过程貌似也没有什么问题，但是，假如在原表扫描出数据，插入到新表的过程中，旧数据发生了变化怎么办？

带着这个疑问，我们进行了源码的跟踪，我们在pt-archiver的6839行打上了断点

然后我分别在几个session窗口做了如下动作

最后pt-archiver输出如下：

# A software update is available:

TIME ELAPSED COUNT

2020-04-08T09:13:21 0 0

2020-04-08T09:13:21 0 1

Started at 2020-04-08T09:13:21, ended at 2020-04-08T09:13:51

Source: A=utf8mb4,D=xucl,P=3306,h=127001,p=,t=t1,u=xucl

Dest: A=utf8mb4,D=xucl_archive,P=3306,h=127001,p=,t=t1,u=xucl

SELECT 1

INSERT 1

DELETE 1

Action Count Time Pct

sleep 1 300002 9989

inserting 1 00213 007

commit 2 00080 003

select 2 00017 001

deleting 1 00005 000

other 0 00008 000

很明显，id=3这条记录并没有进行归档（我们这里是改了条件列，实际生产中可能是更改了其他列，造成归档数据不准确）

那么如何来解决这种情况的发生呢？

显然，数据库在数据库中可以通过加排它锁来防止其他程序修改对应的数据，pt-archiver其实早就已经帮我们考虑到了这样的情况，pt-archiver提供了两种选择

--for-update：Adds the FOR UPDATE modifier to SELECT statements

--share-lock：Adds the LOCK IN SHARE MODE modifier to SELECT statements

四、总结

pt-archiver作为归档工具无疑是MySQL DBA日常运维的大利器之一，在使用过程中在知道如何使用的基础上也能够知晓其原理

归档过程中最好能对归档记录进行加锁 *** 作，以免造成归档数据不准确

在主从环境中，归档过程最好控制速度，以免造成主从延迟

尽量控制好chunk的大小，不要过大，造成大事务

明确一个问题，产品代码会不会和原来的想重复。如，客户编号1001的产品代号变化顺序依次为1、3、2，再后来会不会出现1 。

@如果不会重复的话

SELECT 客户编号,COUNT(DISTINCT 产品代号) AS 变化次数

FROM TABLE GROUP BY 客户编号 便可以解决。

@如果会重复，oracle的写法是：

select cino,sum(decode(pro_id,flag,0,1) )ch_cnt

( select cino,pro_id,

lead(pro_id,1,pro_id)over(partition by pro_id order by 必须有排序字段)flag

from table

)group by cino

中经网统计数据库分析报告

一、中经网介绍 中国经济信息网（简称“中经网”）于1996年12月3日正式开通，是国家信息中心联合各地及部委信息中心组建、由中经网数据有限公司运营的，以提供经济信息为主要业务的专业性信息服务网络。

国家信息中心是国家发改委的直属事业单位，以国家经济信息系统为依托，通过加强国民经济中长期发展战略研究，宏观经济预测监测，重点、热点、难点问题的对策研究和快速反映，为宏观经济综合管理部门提供决策信息支持服务。中国经济信息网是所有经济类数据库中唯一一家有权力使用政府域名的，直接由国家信息中心主管，并承担部分政府职能的数据公司。

中经网数据有限公司（简称“中经网公司”）成立于 1996年6月，承担中经网的开发建设与维护工作，是国家信息中心的控股公司。中经网公司创始至今，一直致力于专业经济信息内容开发、信息分析及专业数据库建设，通过在线浏览、专网传送、光盘及印刷期刊等方式，为社会各界提供经济新闻、市场动态、统计数据、宏观经济研究、行业分析、金融市场、政策和法律法规等经济咨讯。

中国经济信息网物理上连接了全国150多个城市和地区的地方经济信息中心，覆盖全国并与互联网宽带连接，为互联网接入和各类大型全国性专用网络应用提供基础。 日更新量达250万汉字和150兆的视频节目，通过卫星广播、专线传送、在线浏览、E-mail 定制、光/软盘、纸介质等方式为用户提供服务。

二、数据库结构框架介绍

中经网统计数据库是由国家信息中心中经网凭借与国家发改委、国家统计局、海关总署、各行业主管部门以及其他政府部门的良好合作关系，经过长期数据积累并依托自身技术、资源优势，通过专业化加工处理组织而成的一个综合、有序的庞大经济统计数据库群。内容涵盖宏观经济、行业经济、区域经济以及世界经济等各个领域，是一个面向社会各界用户提供全面、权威、及时、准确的经济类统计数据信息的基础资料库。包括“中国经济统计数据库”和“世界经济统计数据库”两大系列，同时还特设增值栏目，提供相关信息咨询服务。

图1 中经网统计数据库界面

1、中国经济统计数据库

11宏观月度库 反映宏观经济整体运行态势的月（季）度统计数据信息库，全部指标来自国家权威统计机构，涵盖国民经济核算、财政金融、贸易、投资房产、工业交通、物价工资共 14个专题2

千多项指标内容，拥有自1990年至今的70多万条数据。该库数据精准，更新频度高，及时跟踪发布机构最新数据调整。以时间序列化特有模式实现对近 15年180多个时点数据的任意检

12行业月度库

13海关月度库

反映中国对外经济贸易状况的统计信息数据库。以中国海关统计数据

14综合年度库

15城市年度库

2、世界经济统计数据库

3、增值栏目

31数字快讯

本栏目主要提供国内外宏观、中观、微观各个层面的新闻资讯、政府公告或权威科研机构的一些研究报告。分为国内国际两部分，其中国内部分又细分为：综合经济、固定资产投资、财政金融、对外经济贸易、价格指数、人民生活、农业、工业、交通运输及邮电业、保险业、房地产投资、港澳台经济等。国际部分按地区分为：全球经济、亚太经济、欧洲经济、北美经济和拉美经济五部分。还适时提供一些权威研究人员的市场预测报告。

32宏观预测

此栏目借助中经观测视角来分析市场行情，并做出相关预测。中经观测采取图形表现的形式，对国民经济状况进行直观描述，其全部数据都来源于中经数据。中经观测内容涉及固定资产投资、商品零售额、工业生产、物价指数、金融、对外贸易、沪深股市等集中反映社会经济生活的主要领域；集中挑选了二十多项主要经济指标，以图形形式反映其月（季）度变化情况。图形分为两类：曲线图和饼图。曲线图旨在通过指标的短期波动

来反映我国经济走势。如：工业增加值指数、进出口额指数等。饼图则是针对当月统计数据来描述其结构。如，我国的主要贸易伙伴情况，我国对美国、日本、韩国、东盟及欧盟等国家或地区的进出口份额变动图。此外还提供了当期的国民经济简要评述，用户据此了解国民经济发展现状。

33中经指数

中经指数是根据短期波动理论及方法经过科学计算与处理而来的“景气指数”。分为景气动向、宏观经济、行业景气、分析预测和方法介绍五部分。

34经济地图

经济地图将所有经济指标按数值大小各分为几个阶段并在地图上用不用颜色标注，更加清晰的反映出不同国家不同地区的经济状况。

35名词解释

名词解释将所有经济指标分为若干类别，用户可以分类查看相关经济指标的定义。

三、数据库特色分析

《中经网统计数据库》是以 SQL Server 为平台、以统计数据为主要内容的统计数据库。 主要具有以下几个方面的特点：

1、系统特点

分析及行业研究提供强有力的数据支持，节省分析研究人员搜集整理数据的时间。

2、数据特点 21内容全面：指标涵盖国民经济各个方面，跟踪国民经济统计指标体系的修订，包括月度、季度、年度国内外经济数据。

22来源权威：统计数据来源于国家正规统计渠道，以国家发改委、国家统计局、海关总署、人民银行为主，兼顾各行业主管部门、各省市统计局及国家经济信息系统的统计资料。

23更新及时：统计数据在部委统计报表报出后及时更新，每月、每季、每年第一时间提供最权威的时间序列的经济运行数据。

24质量准确：在统计数据入库前、后都进行严格规范的校对检验。

25据实用：所有指标都追溯到指标统计年份起，统计数据均为满足分析长度的时间序列。

26服务专业：专业数据分析师 24 小时给予有效答复，同时对数据应用提供专家建议。

27产品灵活：基于网络化的有序的国内国际经济数据库群系统，提供方便的数据库查询以及相关的处理技术服务，用户可以根据需求定制自己所需产品，使内容组合更灵活、全面。有视频、文字、、数据、图表等多种形式。

3、查询特点 提供时间、指标、地区三个维度的组合方式及任意词检索方式；对口径、范围、调整变更及重要概念的注释和说明；数据导出 EXCEL 格式可方便外接分析软件；提供了灵活的作图工具，对所需数据指标，可自动生成饼状图、柱状图、曲线图；名词解释功能，对数据库中涉及到的指标、重要概念、计算方法都进行了说明解释。

4、专家队伍优势

中国经济信息网依托国家经济信息系统，聚集了国内研究宏观经济、行业经济、区域经济各领域的专家学者和研究机构。其中的著名经济沙龙“50人论坛”，成员为国内经济界最活跃、最有影响的一批中青年经济学家，如：吴敬琏、林毅夫、樊纲等；联合商务部国际贸易经济合作研究院等国内著名的14家经济研究院的专家设立“联合论坛”。

5、中经网缺陷

深度内容比重较少，大部分资料都是来源于其它机构，自有版权的文献比例较少。

以上就是关于如何使用SQL Server 跟踪数据库变化全部的内容，包括:如何使用SQL Server 跟踪数据库变化、数据库表数据归档后,统计的功能怎么办、用SQL如何分类统计表中某字段的变化次数等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！