北大青鸟设计培训:SQL数据库优化的方法有哪些

北大青鸟设计培训:SQL数据库优化的方法有哪些,第1张

在进行软件开发过程中,数据的使用是非常重要的,但是数据库有很多种,不同数据库的使用方法是不同的。

进行软件开发过程中,至少需要掌握一种数据库的使用方法。

SQL数据库语法简单、 *** 作方便和高效,是很多人最优的选择,但是SQL语句会受到不同数据库功能的影响,在计算时间和语言的效率上面需要进行优化,根据实际情况进行调整。

下面电脑培训为大家介绍SQL数据库的优化方法。

一、适当的索引索引基本上是一种数据结构,有助于加速整个数据检索过程。

唯一索引是创建不重叠的数据列的索引。

正确的索引可以更快地访问数据库,但是索引太多或没有索引会导致错误的结果。

IT培训认为如果没有索引,处理速度会变得非常慢。

二、仅索引相关数据指定需要检索数据的精度。

使用命令和LIMIT代替SELECT。

调整数据库时,必须使用所需的数据集而不是整个数据集,尤其是当数据源非常大时,指定所需的数据集,能够节省大部分时间。

三、根据需求使用或避免临时表如果代码可以用简单的方式编写,那么永远不要使临时表变得复杂。

当然,如果数据具有需要多个查询的特定程序,北大青鸟建议在这种情况下,使用临时表。

临时表通常由子查询交替。

四、避免编码循环避免编码循环是非常重要的,因为它会减慢整个序列的速度。

通过使用具有单行的唯一UPDATE或INSERT命令来避免编码循环,并且济南北大青鸟发现WHERE命令能够确保存储的数据不被更新,这样能够方便在找到匹配和预先存在的数据时被找到。

在需要支持移动/平板电脑应用及普通桌面浏览器访问的时代,网站的普及率和有效性很大程度上取决于其可用性和性能。一个访问缓慢的网站会使得访问者或潜在的客户流失,并导致商业的失败。IT培训认为一个访问速度相当快的网站将会决定访客是否会使用网站提供的产品或服务。

拥有大规模数据库的网站始终需要适当的关注、配置、优化、调整和维护,以确保网站的快速加载。这篇文章将讨论如何优化有海量数据的MySQL数据库。

选择InnoDB作为存储引擎

大型产品的数据库对于可靠性和并发性的要求较高,InnoDB作为默认的MySQL存储引擎,相对于MyISAM来说是个更佳的选择。

优化数据库结构

组织数据库的schema、表和字段以降低I/O的开销,将相关项保存在一起,并提前规划,以便随着数据量的增长,性能可以保持较高的水平。

设计数据表应尽量使其占用的空间最小化,表的主键应尽可能短。

对于InnoDB表,主键所在的列在每个辅助索引条目中都是可复制的,因此如果有很多辅助索引,那么一个短的主键可以节省大量空间。

仅创建你需要改进查询性能的索引。索引有助于检索,但是会增加插入和更新 *** 作的执行时间。

InnoDB的ChangeBuffering特性

InnoDB提供了changebuffering的配置,可减少维护辅助索引所需的磁盘I/O。大规模的数据库可能会遇到大量的表 *** 作和大量的I/O,以保证辅助索引保持最新。当相关页面不在缓冲池里面时,InnoDB的changebuffer将会更改缓存到辅助索引条目,从而避免因不能立即从磁盘读取页面而导致耗时的I/O *** 作。当页面被加载到缓冲池时,缓冲的更改将被合并,更新的页面之后会刷新到磁盘。这样做可提高性能,适用于MySQL55及更高版本。

数据库优化的指导思路是首先写出的SQL是优化器喜欢的,然后在排除烂的SQL的情况下就是,找瓶颈,数据库吞吐量上不去或者查询慢都是因为某一瓶颈的存在,从非常大的粒度来看,瓶颈可以分为五类:io内存CPU网络锁。

当卡在某一瓶颈时,其他的资源就会被闲置,解决瓶颈或者用非瓶颈的资源做tradeoff达到总和的最大才是优化的正解,比如建索引就是以空间换时间的做法。

由于数据库相对比较复杂,上下文有区别优化思路也会不一样,所以离开上下文谈具体的优化手段就是坑。

大部分开发人员会犯的错误是所谓的“锤子人”,也就是自己是锤子看什么都像钉子,比如觉得慢就说要分区,觉得某种语句的写法一定比另一种快而不考虑场景。

1SQL优化的原则是:将一次 *** 作需要读取的BLOCK数减到最低,即在最短的时间达到最大的数据吞吐量。

调整不良SQL通常可以从以下几点切入:

检查不良的SQL,考虑其写法是否还有可优化内容

检查子查询考虑SQL子查询是否可以用简单连接的方式进行重新书写

检查优化索引的使用

考虑数据库的优化器

2避免出现SELECTFROMtable语句,要明确查出的字段。

3在一个SQL语句中,如果一个where条件过滤的数据库记录越多,定位越准确,则该where条件越应该前移。

4查询时尽可能使用索引覆盖。即对SELECT的字段建立复合索引,这样查询时只进行索引扫描,不读取数据块。

5在判断有无符合条件的记录时建议不要用SELECTCOUNT()和selecttop1语句。

6使用内层限定原则,在拼写SQL语句时,将查询条件分解、分类,并尽量在SQL语句的最里层进行限定,以减少数据的处理量。

7应绝对避免在orderby子句中使用表达式。

8如果需要从关联表读数据,关联的表一般不要超过7个。

9小心使用IN和OR,需要注意In集合中的数据量。建议集合中的数据不超过200个。

10用代替,>用>=代替,

11在查询时尽量减少对多余数据的读取包括多余的列与多余的行。

12对于复合索引要注意,例如在建立复合索引时列的顺序是F1,F2,F3,则在where或orderby子句中这些字段出现的顺序要与建立索引时的字段顺序一致,且必须包含第一列。只能是F1或F1,F2或F1,F2,F3。否则不会用到该索引。

13多表关联查询时,写法必须遵循以下原则,这样做有利于建立索引,提高查询效率。格式如下selectsum(table1je)fromtable1table1,table2table2,table3table3where(table1的等值条件(=))and(table1的非等值条件)and(table2与table1的关联条件)and(table2的等值条件)and(table2的非等值条件)and(table3与table2的关联条件)and(table3的等值条件)and(table3的非等值条件)。

注:关于多表查询时from后面表的出现顺序对效率的影响还有待研究。

14子查询问题。对于能用连接方式或者视图方式实现的功能,不要用子查询。例如:selectnamefromcustomerwherecustomer_idin(selectcustomer_idfromorderwheremoney>1000)。应该用如下语句代替:selectnamefromcustomerinnerjoinorderoncustomercustomer_id=ordercustomer_idwhereordermoney>100。

15在WHERE子句中,避免对列的四则运算,特别是where条件的左边,严禁使用运算与函数对列进行处理。比如有些地方substring可以用like代替。

16如果在语句中有notin(in) *** 作,应考虑用notexists(exists)来重写,最好的办法是使用外连接实现。

17对一个业务过程的处理,应该使事物的开始与结束之间的时间间隔越短越好,原则上做到数据库的读 *** 作在前面完成,数据库写 *** 作在后面完成,避免交叉。

18请小心不要对过多的列使用列函数和orderby,groupby等,谨慎使用disti软件开发t。

19用unionall代替union,数据库执行union *** 作,首先先分别执行union两端的查询,将其放在临时表中,然后在对其进行排序,过滤重复的记录。

当已知的业务逻辑决定queryA和queryB中不会有重复记录时,应该用unionall代替union,以提高查询效率。

数据更新的效率

1在一个事物中,对同一个表的多个insert语句应该集中在一起执行。

2在一个业务过程中,尽量的使insert,update,delete语句在业务结束前执行,以减少死锁的可能性。

数据库物理规划的效率

为了避免I/O的冲突,我们在设计数据库物理规划时应该遵循几条基本的原则(以ORACLE举例):

table和index分离:table和index应该分别放在不同的tablespace中。

RollbackSegment的分离:RollbackSegment应该放在独立的Tablespace中。

SystemTablespace的分离:SystemTablespace中不允许放置任何用户的object。(mssql中primaryfilegroup中不允许放置任何用户的object)

TempTablesace的分离:建立单独的TempTablespace,并为每个user指定defaultTempTablespace

避免碎片:但segment中出现大量的碎片时,会导致读数据时需要访问的block数量的增加。对经常发生DML *** 作的segemeng来说,碎片是不能完全避免的。所以,我们应该将经常做DML *** 作的表和很少发生变化的表分离在不同的Tablespace中。

当我们遵循了以上原则后,仍然发现有I/O冲突存在,我们可以用数据分离的方法来解决。

连接Table的分离:在实际应用中经常做连接查询的Table,可以将其分离在不同的Taclespace中,以减少I/O冲突。

使用分区:对数据量很大的Table和Index使用分区,放在不同的Tablespace中。

在实际的物理存储中,建议使用RAID。日志文件应放在单独的磁盘中。

1数据库I/O方面硬件性能

最有可能影响性能的是磁盘和网络吞吐量。解决办法:

扩大虚拟内存,并保证有足够可以扩充的空间

把数据库服务器上的不必要服务关闭掉

把SQL数据库服务器的吞吐量调为最大

2调整数据库

若对该表的查询频率比较高,则建立索引。

分区(如MySQL,按时间分区)

尽量使用固定长度字段和限制字段长度(如 varchar(10))优势:

降低物理存储空间

提高数据库处理速度

附带校验数据库是否合法功能

3使用存储过程

应用程序的实现过程中,能够采用存储过程实现的对数据库的 *** 作尽量通过存储过程来实现。

因为存储过程是存放在数据库服务器上的一次性被设计、编码、测试,并被再次使用,需要执行该任务的应用可以简单地执行存储过程,并且只返回结果集或者数值。

这样不仅可以使程序模块化,同时提高响应速度,减少网络流量,并且通过输入参数接受输入,使得在应用中完成逻辑的一致性实现。

4SQL语句方面

建立查询条件索引仅仅是提高速度的前提条件,响应速度的提高还依赖于对索引的使用。不良的SQL往往来自于不恰当的索引设计、不充份的连接条件和不可优化的where子句。

优化sql语句,减少比较次数

限制返回条目数(mysql中使用limit)

5Java方面

尽可能的少创造对象

合理摆正系统设计的位置。大量数据 *** 作,和少量数据 *** 作一定是分开的。

合理利用内存,有的数据要缓存。让数据流起来,而不是全部读到内存再处理,而是边读取边处理。

我们都知道,服务器数据库的开发一般都是通过java或者是PHP语言来编程实现的,而为了提高我们数据库的运行速度和效率,数据库优化也成为了我们每日的工作重点,今天,回龙观IT培训就一起来了解一下mysql服务器数据库的优化方法。

为什么要了解索引

真实案例

案例一:大学有段时间学习爬虫,爬取了知乎300w用户答题数据,存储到mysql数据中。那时不了解索引,一条简单的“根据用户名搜索全部回答的sql“需要执行半分钟左右,完全满足不了正常的使用。

案例二:近线上应用的数据库频频出现多条慢sql风险提示,而工作以来,对数据库优化方面所知甚少。例如一个用户数据页面需要执行很多次数据库查询,性能很慢,通过增加超时时间勉强可以访问,但是性能上需要优化。

索引的优点

合适的索引,可以大大减小mysql服务器扫描的数据量,避免内存排序和临时表,提高应用程序的查询性能。

索引的类型

mysql数据中有多种索引类型,primarykey,unique,normal,但底层存储的数据结构都是BTREE;有些存储引擎还提供hash索引,全文索引。

BTREE是常见的优化要面对的索引结构,都是基于BTREE的讨论。

B-TREE

查询数据简单暴力的方式是遍历所有记录;如果数据不重复,就可以通过组织成一颗排序二叉树,通过二分查找算法来查询,大大提高查询性能。而BTREE是一种更强大的排序树,支持多个分支,高度更低,数据的插入、删除、更新更快。

现代数据库的索引文件和文件系统的文件块都被组织成BTREE。

btree的每个节点都包含有key,data和只想子节点指针。

btree有度的概念d>=1。假设btree的度为d,则每个内部节点可以有n=[d+1,2d+1)个key,n+1个子节点指针。树的大高度为h=Logb[(N+1)/2]。

索引和文件系统中,B-TREE的节点常设计成接近一个内存页大小(也是磁盘扇区大小),且树的度非常大。这样磁盘I/O的次数,就等于树的高度h。假设b=100,一百万个节点的树,h将只有3层。即,只有3次磁盘I/O就可以查找完毕,性能非常高。

索引查询

建立索引后,合适的查询语句才能大发挥索引的优势。

另外,由于查询优化器可以解析客户端的sql语句,会调整sql的查询语句的条件顺序去匹配合适的索引。

以上就是关于北大青鸟设计培训:SQL数据库优化的方法有哪些全部的内容,包括:北大青鸟设计培训:SQL数据库优化的方法有哪些、大规模数据库的性能和伸缩性的优化、有哪些常见的数据库优化方法(数据库如何优化)等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/10153999.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-05
下一篇2023-05-05

发表评论

登录后才能评论

评论列表(0条)

    保存