SQL Server数据库的高性能优化经验总结

SQL Server数据库的高性能优化经验总结,第1张

本文主要向大家介绍的是正确优化SQL

Server数据库的经验总结,其中包括在对其进行优化的实际 *** 作中值得大家注意的地方描述,以及对SQL语句进行优化的最基本原则,以下就是文章的主要内容描述。

优化数据库的注意事项:

1、关键字段建立索引

2、使用存储过程,它使SQL变得更加灵活和高效。

3、备份数据库和清除垃圾数据。

4、SQL语句语法的优化。(可以用Sybase的SQL

Expert,可惜我没找到unexpired的序列号)

5、清理删除日志。

SQL语句优化的基本原则:

1、使用索引来更快地遍历表。

缺省情况下建立的索引是非群集索引,但有时它并不是最佳的。在非群集索引下,数据在物理上随机存放在数据页上。合理的索引设计要建立在对各种查询的分析和预测上。

一般来说:

①有大量重复值、且经常有范围查询(between,

>,<

,>=,<

=)和order

by、group

by发生的列,可考虑建立群集索引

②经常同时存取多列,且每列都含有重复值可考虑建立组合索引;

③组合索引要尽量使关键查询形成索引覆盖,其前导列一定是使用最频繁的列。

2、IS

NULL

IS

NOT

NULL

不能用null作索引,任何包含null值的列都将不会被包含在索引中。即使索引有多列这样的情况下,只要这些列中有一列含有null,该列就会从索引中排除。也就是说如果某列存在空值,即使对该列建索引也不会提高性能。任何在where子句中使用is

null或is

not

null的语句优化器是不允许使用索引的。

3、IN和EXISTS

EXISTS要远比IN的效率高。里面关系到full

table

scan和range

scan。几乎将所有的IN *** 作符子查询改写为使用EXISTS的子查询。

4、在海量查询时尽量少用格式转换。

5、当在SQL

SERVER

2000中

如果存储过程只有一个参数,并且是OUTPUT类型的,必须在调用这个存储过程的时候给这个参数一个初始的值,否则会出现调用错误。

6、ORDER

BY和GROPU

BY

使用ORDER

BY和GROUP

BY短语,任何一种索引都有助于SELECT的性能提高。注意如果索引列里面有NULL值,Optimizer将无法优化。

7、任何对列的 *** 作都将导致表扫描,它包括SQL

Server数据库函数、计算表达式等等,查询时要尽可能将 *** 作移至等号右边。

8、IN、OR子句常会使用工作表,使索引失效。如果不产生大量重复值,可以考虑把子句拆开。拆开的子句中应该包含索引。

9、SET

SHOWPLAN_ALL>10、谨慎使用游标

在某些必须使用游标的场合,可考虑将符合条件的数据行转入临时表中,再对临时表定义游标进行 *** 作,这样可使性能得到明显提高。

注释:所谓的优化就是WHERE子句利用了索引,不可优化即发生了表扫描或额外开销。经验显示,SQL

Server数据库性能的最大改进得益于逻辑的数据库设计、索引设计和查询设计方面。反过来说,最大的性能问题常常是由其中这些相同方面中的不足引起的。

其实SQL优化的实质就是在结果正确的前提下,用优化器可以识别的语句,充份利用索引,减少表扫描的I/O次数,尽量避免表搜索的发生。其实SQL的性能优化是一个复杂的过程,上述这些只是在应用层次的一种体现,深入研究还会涉及SQL

Server数据库层的资源配置、网络层的流量控制以及 *** 作系统层的总体设计。

在实际的生产运行环境中,很多客户现场都看到开发人员和系统管理人员遇到很多有关于GBase 8s 数据库引起的性能问题,进而被多次问起如何进行GBase 8s 数据库性能调优,

性能优化原则

包括:

性能规划:深入了解应用与数据库的交互特征,确立良好的设计、开发、测试迭代过程,上线前消除模型上的性能瓶颈。

实例调优:建立性能基准,对比调节数据库、 *** 作系统、存储、网络等的配置,主动监控、消除瓶颈。

SQL 调优:书写高效 SQL,优化相关数据库对象,充分借助优化器,确定最佳执行计划。

性能优化流程

首先执行下面的初始检查:

– 获取直接用户的使用反馈,确定性能目标和范围。

– 获取性能表现好与坏时的 *** 作系统、数据库、应用统计信息。

– 对数据库做一次全面健康检查。

根据收集的信息,以及对应用特性的了解,构建性能概念模型,明确性能瓶颈所在,以及导致性能的根本原因。

– 首先应该排除 *** 作系统、硬件资源造成的瓶颈。

– 然后针对数据库系统性能进行分析

– 必要时,还需要检查应用日志,因为系统性能问题也可能由于应用非 SQL 部分造成瓶颈。

提出一系列针对的优化措施,并根据它们对性能改善的重要程度排序,然后逐一加以实施。不要一次执行所有的优化措施,必须逐条尝试,逐步对比。

通过获取直接用户的反馈验证调节是否已经产生预期的效果,否则,需要重新提炼性能概念模型,直到对应用特性了解进一步准确。

重复上述,直到性能达到目标或由于客观约束无法进一步优化。

常见调优技巧

找到 CPU 占用最高的 SQL

在 sysmaster 库中执行

select sqx_estcost, sqx_sqlstatement

from syssqexplain

order by sqx_estcost desc

1

2

3

注意:此时看到的仅仅是当前正在执行的 SQL

需要多看几次

onstat 命令

onstat -g act 得到当前正在执行的 SQL

根据 rstcb 列

onstat -u | grep 57c68220

1

从第三列 sessid 得到 SESSION

onstat -g ses SESSION 即可得到当时正在执行的 SQL

一般多找几个 threads 后,就基本可以确定问题 SQL

得到 SQL 后,利用 set explain on 分析其查询路径,看是否未利用索引,在对大表进行全表扫描,根据需要创建相应索引。

找到全表扫描较多的表及其 SQL

得到全表扫描较多的表

-- 系统顺序扫描较多时,被多次顺序扫描的大表,如果有,应该考虑增加索引

select first 5

substr(ttabname,0,20) tabname,

substr(dbsname,0,10) dbname,

nrowsrowsizepseqscans costs,

substr(pseqscans,0,8) seqscans,

substr(nrows,0,8) nrows

from sysmaster:sysptprof p , systables t,sysmaster:sysprofile s

where ptabname = ttabname

and pseqscans > svalue/50

and sname = 'seqscans'

--and svalue > 2000000 and nrows > 2000

order by 3 desc

1

2

3

4

5

6

7

8

9

10

11

12

13

利用 onstat –g ses 0 –r 5/ onstat –g stm 的输出信息,根据表名,找到可能的 SQL 语句。由于以上获取 SQL 的办法是有局限的,如果无法获取,建议通过查看应用日志或联系开发人员查看源代码的方式来找到。

利用 set explain on 分析其查询路径,确认是在对表进行全表扫描,根据需要创建相应索引。

影响数据库性能的因素

对于数据库爱好者们,数据库底层的各种细节,内幕,等待事件,隐藏参数等津津乐道,对于调整好一条SQL语句使之在查询优化器/查询引擎下能高性能运转具有巨大的满足感成功感,仿佛自己掌握了天下最有价值的真理,驾驭了天下最有难度的技术。但对于设计和开发出这个数据库系统的人来说,他们看到此情此景,只好躲在一边偷偷的笑了。那么问题来了,使用别人数据库的人被称为大师(如:OCM),那么自己写出一个数据库来的人又该称为什么呢?到底谁才是真正的高手呢?

数据库系统优化中的一些观点:

“系统性能出现问题进行优化,一定要深入了解数据库内部参数、等待事件、Latch、缓冲池、trace文件、查询/优化引擎等底层细节。”

这种观点往往出自数据库“高手”,这部分人以了解数据库底层实现细节而感到非常骄傲。但是从优化角度讲数据库的等待事件、Latch等指标高等等都只是问题的表象,懂得底层细节和内幕固然是好。但是解决问题的关键往往是在应用层进行优化。

“只要系统参数调整了,性能就能提高。系统优化应该调整那些参数…”

这种观点往往出自于一些偏运维和应用层的DBA,迷恋参数配置来调优。

调整系统参数是非常重要的,但不一定能解决性能问题,否则就不会有去IOE了,问题可能性最大的还是应用设计和开发问题。

同理,很多运维人员和系统架构师比较迷恋“Linux系统调优”。认为对“文件句柄数、磁盘子系统…”那些做了优化,就能提升整个应用系统的性能。其实不然。有些场景下,针对业务特点和应用类型做 *** 作系统调优是能取到立竿见影的效果,但是大多数时候往往提升并不明显。所以最关键的还是找出瓶颈所在,对症下药。/

“系统性能问题需要从架构上解决,与应用开发关系不大。”

系统性能与各个层面都有关,架构很重要,但应用开发也是非常重要的一环。

影响数据库性能的因素

1业务需求和技术选型

2应用系统的开发及架构

3数据库自身

31表结构的设计

32查询语句

33索引设计

34Mysql服务(安装、配置等)

35 *** 作系统调优

36硬件升级(SSD、更强的CPU、更大的内存)

4数据架构(读写分离、分库分表等)

在很多情况下,数据库可能是互联网应用系统的瓶颈。但是单纯从数据库角度去做优化,可能未必能达到理想的效果。

说点题外话,最近看到很多公司使用中间件或者分布式数据访问层来做数据库分片,说明也许该公司业务发展很快。但另一个方面,也令人担忧,他们的数据库压力真的已经到了必须切分不可的程度了吗?分库分表真的像科普的那么简单吗?他们能搞定分库分表带来的成本和问题吗?有没有更合适的优化方法呢?

当然是有的。其实“过度设计”和“提前优化”就是系统万恶之源。

以MySQL为例:

影响数据库性能的主要因素总结如下:

1、sql查询速度

2、网卡流量

3、服务器硬件

4、磁盘IO

以上因素并不是时时刻刻都会影响数据库性能,而就像木桶效应一样。如果其中一个因素严重影响性能,那么整个数据库性能就会严重受阻。另外,这些影响因素都是相对的。

例如:当数据量并没有达到百万千万这样的级别,那么sql查询速度也许就不是个重要因素,换句话说,你的sql语句效率适当低下可能并不影响整个效率多少,反之,这种情况,无论如何怎么优化sql语句,可能都没有太明显的效果。

相关内容拓展:

1、SQL查询速度

风险:效率低下的SQL

2、网卡流量

风险:网卡IO被占满(100Mb/8=100MB)

方案:

①减少从服务器的数量。从服务器都要从主服务器上复制日志,所以,从服务器越多,网络流量越大。

②进行分级缓存。前方大量缓存突然失效会对数据库造成严重的冲击。

③避免使用“select ”进行查询

④分离业务网络和服务器网络

3、磁盘IO

风险:磁盘IO性能突然下降。

方案:使用更好的磁盘设备解决。

1、调整数据结构的设计。这一部分在开发信息系统之前完成,程序员需要考虑是否使用ORACLE数据库的分区功能,对于经常访问的数据库表是否需要建立索引等。

2、调整应用程序结构设计。这一部分也是在开发信息系统之前完成,程序员在这一步需要考虑应用程序使用什么样的体系结构,是使用传统的Client/Server两层体系结构,还是使用Browser/Web/Database的三层体系结构。不同的应用程序体系结构要求的数据库资源是不同的。

3、调整数据库SQL语句。应用程序的执行最终将归结为数据库中的SQL语句执行,因此SQL语句的执行效率最终决定了ORACLE数据库的性能。ORACLE公司推荐使用ORACLE语句优化器(Oracle Optimizer)和行锁管理器(row-level manager)来调整优化SQL语句。

4、调整服务器内存分配。内存分配是在信息系统运行过程中优化配置的,数据库管理员可以根据数据库运行状况调整数据库系统全局区(SGA区)的数据缓冲区、日志缓冲区和共享池的大小;还可以调整程序全局区(PGA区)的大小。需要注意的是,SGA区不是越大越好,SGA区过大会占用 *** 作系统使用的内存而引起虚拟内存的页面交换,这样反而会降低系统。

5、调整硬盘I/O,这一步是在信息系统开发之前完成的。数据库管理员可以将组成同一个表空间的数据文件放在不同的硬盘上,做到硬盘之间I/O负载均衡。

6、调整 *** 作系统参数,例如:运行在UNIX *** 作系统上的ORACLE数据库,可以调整UNIX数据缓冲池的大小,每个进程所能使用的内存大小等参数。

数据库(Database)是按照数据结构来组织、存储和管理数据的仓库,它产生于距今六十多年前,随着信息技术和市场的发展,特别是二十世纪九十年代以后,数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。数据库有很多种类型,从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。

在信息化社会,充分有效地管理和利用各类信息资源,是进行科学研究和决策管理的前提条件。数据库技术是管理信息系统、办公自动化系统、决策支持系统等各类信息系统的核心部分,是进行科学研究和决策管理的重要技术手段。

在经济管理的日常工作中,常常需要把某些相关的数据放进这样的“仓库”,并根据管理的需要进行相应的处理。

例如,企业或事业单位的人事部门常常要把本单位职工的基本情况(职工号、姓名、年龄、性别、籍贯、工资、简历等)存放在表中,这张表就可以看成是一个数据库。有了这个"数据仓库"我们就可以根据需要随时查询某职工的基本情况,也可以查询工资在某个范围内的职工人数等等。这些工作如果都能在计算机上自动进行,那我们的人事管理就可以达到极高的水平。此外,在财务管理、仓库管理、生产管理中也需要建立众多的这种"数据库",使其可以利用计算机实现财务、仓库、生产的自动化管理。

扩展资料

数据库,简单来说是本身可视为电子化的文件柜--存储电子文件的处所,用户可以对文件中的数据进行新增、截取、更新、删除等 *** 作。

数据库指的是以一定方式储存在一起、能为多个用户共享、具有尽可能小的冗余度的特点、是与应用程序彼此独立的数据集合。

在经济管理的日常工作中,常常需要把某些相关的数据放进这样的"仓库",并根据管理的需要进行相应的处理。

例如,企业或事业单位的人事部门常常要把本单位职工的基本情况(职工号、姓名、年龄、性别、籍贯、工资、简历等)存放在表中,这张表就可以看成是一个数据库。有了这个"数据仓库"我们就可以根据需要随时查询某职工的基本情况,也可以查询工资在某个范围内的职工人数等等。这些工作如果都能在计算机上自动进行,那我们的人事管理就可以达到极高的水平。此外,在财务管理、仓库管理、生产管理中也需要建立众多的这种"数据库",使其可以利用计算机实现财务、仓库、生产的自动化管理。

参考资料:

数据库的百度百科

首先简述一下SQL Server内存占用的特点 SQL Server所占用的内存除程序(即SQL Server引擎)外 主要包括缓存的数据(Buffer)和执行计划(Cache) SQL Server以 KB大小的页为单位存储数据 这个和SQL Server数据在磁盘上的存储页大小相同 当SQL Server执行SQL 语句时 如果需要的数据已经在其内存中 则直接从内存缓冲区读取并进行必要的运算然后输出执行结果 如果数据还未在内存中 则首先将数据从磁盘上读入内存Buffer中 而我们通常评价SQL性能指标中的IO逻辑读取数对应的正是从内存缓冲区读取的页数 而IO物理读取数则对应数据从磁盘读取的页数

注 以下的试验在多人共享的开发测试服务器上也可以进行 因为实际上可以分别看到某个表所占用的内存情况 但为了方便 笔者在做此试验时 在一个单独的 确认没有其它并发任务的数据库上进行 因此所看到的内存变化正是每一次所执行的SQL语句引起的

我们首先来看一个简单的实例 创建下表

以下是引用片段 Create Table P_User ( UserMobileStatus int NOT NULL MobileNo int NOT NULL LastOpTime DateTime Not NULL )

然后为该表插入一定的数据

以下是引用片段 Declare @i int Set @i= WHILE @i< BEGIN Insert Into P_User Select @i %  @i GetUTCDate() Set @i=@i+ END

然后我们在查询分析器中首先执行:

以下是引用片段 Set Statistics IO ON

并按下Ctrl+M以显示实际的执行计划

此时 可以开始进行我们的试验了 为了准确观察每一次SQL语句变化情况 在执行第一条SQL语句以前 我们首先清空SQL Server所占用的数据内存

以下是引用片段 CHECKPOINT GO DBCC DROPCLEANBUFFERS

这将清空SQL Server所占用的数据缓冲区(此语句在生产服务器上慎用 因为将导致一段时间内后续的SQL语句执行变慢)

执行高选择性选取

执行如下的SQL语句

以下是引用片段 Select  From P_Order A Inner merge JOIN P_User B ON A MobileNo=B MobileNo Where A MobileNo=

在两个表都没有任何索引情况下 两张表都将执行全表扫描 要读入所有的数据页到内存 总体逻辑读取决于两表的数据页数

在一个表有聚集索引或者非聚集索引情况下 该表将执行Index Seek 另一个表将出现全表扫描 内存数据缓冲区中 将有一张表只读入最终数据所在的数据页 一张表读入全部数据页 逻辑读数取决于表在联接中的秩序 以及无索引表的数据页数

lishixinzhi/Article/program/SQLServer/201311/22449

以上就是关于SQL Server数据库的高性能优化经验总结全部的内容,包括:SQL Server数据库的高性能优化经验总结、GBase8s数据库SQL语句性能缓慢从哪个方面入手分析、影响数据库性能的因素等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/9870561.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-02
下一篇2023-05-02

发表评论

登录后才能评论

评论列表(0条)

    保存