mysql 临时库先增加后删除记录,数据库越变越大,求解

mysql 临时库先增加后删除记录,数据库越变越大,求解,第1张

两种情况:

删除没有被正确执行。

删除的速度低于增加的速度。

检查mssql的错误日志,是否delete临时表的语句执行失败了,比如表在被插入时锁表,而锁住了删除 *** 作。

检查mssql数据的增量速度,与mysql临时表数据的增量速度作对比,是否是因为mssql的性能低于mysql而造成临时表(这里相当于数据缓冲池)数据增大。

InnoDB和MyISAM是在使用MySQL最常用的两个表类型,各有优缺点,视具体应用而定。

下面是已知的两者之间的差别,仅供参考。

innodb

InnoDB 给 MySQL 提供了具有事务(commit)、回滚(rollback)和崩溃修复能力

(crash recovery capabilities)的事务安全

(transaction-safe (ACID compliant))型表。InnoDB 提供了行锁

(locking on row level),提供与 Oracle 类型一致的不加锁读取(non-locking

read in SELECTs)。这些特性均提高了多用户并发 *** 作的性能表现。

在InnoDB表中不需要扩大锁定(lock escalation),因为 InnoDB 的列锁定(row level

locks)适宜非常小的空间。InnoDB 是 MySQL 上第一个提供外键约束(FOREIGN KEY

constraints)的表引擎。

InnoDB 的设计目标是处理大容量数据库系统,它的 CPU 利用率是其它基于磁盘的关系数据库

引擎所不能比的。在技术上,InnoDB 是一套放在 MySQL 后台的完整数据库系统,

InnoDB 在主内存中建立其专用的缓冲池用于高速缓冲数据和索引。 InnoDB 把数据和索引存

放在表空间里,可能包含多个文件,这与其它的不一样,举例来说,在 MyISAM 中,表被存放

在单独的文件中。InnoDB 表的大小只受限于 *** 作系统的文件大小,一般为 2 GB。

InnoDB所有的表都保存在同一个数据文件 ibdata1 中(也可能是多个文件,或者是独立的

表空间文件),相对来说比较不好备份,免费的方案可以是拷贝数据文件、备份 binlog,

或者用 mysqldump。

MyISAM

MyISAM 是MySQL缺省存贮引擎

每张MyISAM 表被存放在三个文件 。frm 文件存放表格定义。 数据文件是MYD (MYData) 。

索引文件是MYI (MYIndex) 引伸。

因为MyISAM相对简单所以在效率上要优于InnoDB小型应用使用MyISAM是不错的选择

MyISAM表是保存成文件的形式,在跨平台的数据转移中使用MyISAM存储会省去不少的麻烦

MyISAM是ISAM表的新版本,有如下扩展:

·二进制层次的可移植性。

·NULL列索引。

·对变长行比ISAM表有更少的碎片。

·支持大文件。

·更好的索引压缩。

·更好的键吗统计分布。

·更好和更快的auto_increment处理。

以下是一些细节和具体实现的差别:

◆1InnoDB不支持FULLTEXT类型的索引。

◆2InnoDB 中不保存表的具体行数,也就是说,执行select count() from table时,

InnoDB要扫描一遍整个表来计算有多少行,但是MyISAM只要简单的读出保存好的行数即可。

注意的是,当count()语句包含 where条件时,两种表的 *** 作是一样的。

◆3对于AUTO_INCREMENT类型的字段,InnoDB中必须包含只有该字段的索引,但是在MyISAM

表中,可以和其他字段一起建立联合索引。

◆4DELETE FROM table时,InnoDB不会重新建立表,而是一行一行的删除。

◆5LOAD TABLE FROM MASTER *** 作对InnoDB是不起作用的,解决方法是首先把InnoDB表改成

MyISAM表,导入数据后再改成InnoDB表,但是对于使用的额外的InnoDB特性(例如外键)的

表不适用。

◆MyISAM类型的二进制数据文件可以在不同 *** 作系统中迁移。

另外,InnoDB表的行锁也不是绝对的,假如在执行一个SQL语句时MySQL不能确定要扫描的

范围,InnoDB表同样会锁全表,例如update table set num=1 where name like “%aaa%”

再另外,使用两种的选择:如果你的数据执行大量的INSERT或UPDATE,出于性能方面的考虑,

应该使用InnoDB表。如果执行大量的SELECT,MyISAM是更好的选择。若需要使用事务处理,

但是原来的数据表使用的是myisam,就需要改为bdb或者innodb,这样基于myisam的程序,

将类型改为innodb后,其程序不用改动……

综上所述,任何一种表都不是万能的,只有恰当的针对业务类型来选择合适的表类型,才能

最大的发挥MySQL的性能优势。

MyISAM和InnoDB优化:

key_buffer_size - 这对MyISAM表来说非常重要。如果只是使用MyISAM表,可以把它设置

为可用内存的 30-40%。合理的值取决于索引大小、数据量以及负载 -- 记住,MyISAM表会

使用 *** 作系统的缓存来缓存数据,因此需要留出部分内存给它们,很多情况下数据比索引大

多了。尽管如此,需要总是检查是否所有的 key_buffer 都被利用了 -- MYI 文件只有 1GB

,而 key_buffer 却设置为 4GB 的情况是非常少的。这么做太浪费了。如果你很少使用

MyISAM表,那么也保留低于 16-32MB 的 key_buffer_size 以适应给予磁盘的临时表索引

所需。

innodb_buffer_pool_size - 这对Innodb表来说非常重要。Innodb相比MyISAM表对缓冲更

为敏感。MyISAM可以在默认的 key_buffer_size 设置下运行的可以,然而Innodb在默认的

innodb_buffer_pool_size 设置下却跟蜗牛似的。由于Innodb把数据和索引都缓存起来,

无需留给 *** 作系统太多的内存,因此如果只需要用Innodb的话则可以设置它高达 70-80% 的

可用内存。一些应用于 key_buffer 的规则有 -- 如果你的数据量不大,并且不会暴增,那

么无需把

innodb_additional_pool_size - 这个选项对性能影响并不太多,至少在有差不多足够内存

可分配的 *** 作系统上是这样。不过如果你仍然想设置为 20MB(或者更大),因此就需要看一下

Innodb其他需要分配的内存有多少。

innodb_log_file_size 在高写入负载尤其是大数据集的情况下很重要。这个值越大则性能相

对越高,但是要注意到可能会增加恢复时间。我经常设置为 64-512MB,跟据服务器大小而异。

innodb_log_buffer_size 默认的设置在中等强度写入负载以及较短事务的情况下,服务器性

能还可以。如果存在更新 *** 作峰值或者负载较大,就应该考虑加大它的值了。如果它的值设置

太高了,可能会浪费内存 -- 它每秒都会刷新一次,因此无需设置超过1秒所需的内存空间。

通常 8-16MB 就足够了。越小的系统它的值越小。

innodb_flush_logs_at_trx_commit 是否为Innodb比MyISAM慢1000倍而头大?看来也许你忘

了修改这个参数了。默认值是 1,这意味着每次提交的更新事务(或者每个事务之外的语句)

都会刷新到磁盘中,而这相当耗费资源,尤其是没有电池备用缓存时。很多应用程序,尤其是

从 MyISAM转变过来的那些,把它的值设置为 2 就可以了,也就是不把日志刷新到磁盘上,

而只刷新到 *** 作系统的缓存上。日志仍然会每秒刷新到磁盘中去,因此通常不会丢失每秒1-

2次更新的消耗。如果设置为 0 就快很多了,不过也相对不安全了 -- MySQL服务器崩溃时

就会丢失一些事务。设置为 2 指挥丢失刷新到 *** 作系统缓存的那部分事务。

table_cache -- 打开一个表的开销可能很大。例如MyISAM把MYI文件头标志该表正在使用

中。你肯定不希望这种 *** 作太频繁,所以通常要加大缓存数量,使得足以最大限度地缓存打

开的表。它需要用到 *** 作系统的资源以及内存,对当前的硬件配置来说当然不是什么问题了。

如果你有200多个表的话,那么设置为 1024 也许比较合适(每个线程都需要打开表),

如果连接数比较大那么就加大它的值。我曾经见过设置为 100,000 的情况。

thread_cache -- 线程的创建和销毁的开销可能很大,因为每个线程的连接/断开都需要。

我通常至少设置为 16。如果应用程序中有大量的跳跃并发连接并且 Threads_Created 的值

也比较大,那么我就会加大它的值。它的目的是在通常的 *** 作中无需创建新线程。

query_cache -- 如果你的应用程序有大量读,而且没有应用程序级别的缓存,那么这很有

用。不要把它设置太大了,因为想要维护它也需要不少开销,这会导致MySQL变慢。通常设置

为 32-512Mb。设置完之后最好是跟踪一段时间,查看是否运行良好。在一定的负载压力下,

如果缓存命中率太低了,就启用它。

sort_buffer_size --如果你只有一些简单的查询,那么就无需增加它的值了,尽管你有

64GB 的内存。搞不好也许会降低性能

一般情况下,mysql会默认提供多种存储引擎,你可以通过下面的查看:

看你的mysql现在已提供什么存储引擎:

mysql> show engines;

看你的mysql当前默认的存储引擎:

mysql> show variables like '%storage_engine%';

你要看某个表用了什么引擎(在显示结果里参数engine后面的就表示该表当前用的存储引擎):

mysql> show create table 表名;

MySQL数据库引擎详解

作为Java程序员,MySQL数据库大家平时应该都没少使用吧,对MySQL数据库的引擎应该也有所了解,这篇文章就让我详细的说说MySQL数据库的Innodb和MyIASM两种引擎以及其索引结构。也来巩固一下自己对这块知识的掌握。

Innodb引擎

Innodb引擎提供了对数据库ACID事务的支持,并且实现了SQL标准的四种隔离级别,关于数据库事务与其隔离级别的内容请见数据库事务与其隔

离级别这篇文章。该引擎还提供了行级锁和外键约束,它的设计目标是处理大容量数据库系统,它本身其实就是基于MySQL后台的完整数据库系统,MySQL

运行时Innodb会在内存中建立缓冲池,用于缓冲数据和索引。但是该引擎不支持FULLTEXT类型的索引,而且它没有保存表的行数,当SELECT

COUNT() FROM

TABLE时需要扫描全表。当需要使用数据库事务时,该引擎当然是首选。由于锁的粒度更小,写 *** 作不会锁定全表,所以在并发较高时,使用Innodb引擎

会提升效率。但是使用行级锁也不是绝对的,如果在执行一个SQL语句时MySQL不能确定要扫描的范围,InnoDB表同样会锁全表。

MyIASM引擎

MyIASM是MySQL默认的引擎,但是它没有提供对数据库事务的支持,也不支持行级锁和外键,因此当INSERT(插入)或UPDATE(更

新)数据时即写 *** 作需要锁定整个表,效率便会低一些。不过和Innodb不同,MyIASM中存储了表的行数,于是SELECT COUNT()

FROM

TABLE时只需要直接读取已经保存好的值而不需要进行全表扫描。如果表的读 *** 作远远多于写 *** 作且不需要数据库事务的支持,那么MyIASM也是很好的选

择。

两种引擎的选择

大尺寸的数据集趋向于选择InnoDB引擎,因为它支持事务处理和故障恢复。数据库的大小决定了故障恢复的时间长短,InnoDB可以利用事务日志

进行数据恢复,这会比较快。主键查询在InnoDB引擎下也会相当快,不过需要注意的是如果主键太长也会导致性能问题,关于这个问题我会在下文中讲到。大

批的INSERT语句(在每个INSERT语句中写入多行,批量插入)在MyISAM下会快一些,但是UPDATE语句在InnoDB下则会更快一些,尤

其是在并发量大的时候。

Index——索引

索引(Index)是帮助MySQL高效获取数据的数据结构。MyIASM和Innodb都使用了树这种数据结构做为索引,关于树我也曾经写过一篇文章树是一种伟大的数据结构,只是自己的理解,有兴趣的朋友可以去阅读。下面我接着讲这两种引擎使用的索引结构,讲到这里,首先应该谈一下B-Tree和B+Tree。

B-Tree和B+Tree

B+Tree是B-Tree的变种,那么我就先讲B-Tree吧,相信大家都知道红黑树,这是我前段时间学《算法》一书时,实现的一颗红黑树,大家

可以参考。其实红黑树类似2,3-查找树,这种树既有2叉结点又有3叉结点。B-Tree也与之类似,它的每个结点做多可以有d个分支(叉),d称为B-

Tree的度,如下图所示,它的每个结点可以有4个元素,5个分支,于是它的度为5。B-Tree中的元素是有序的,比如图中元素7左边的指针指向的结点

中的元素都小于7,而元素7和16之间的指针指向的结点中的元素都处于7和16之间,正是满足这样的关系,才能高效的查找:首先从根节点进行二分查找,找

到就返回对应的值,否则就进入相应的区间结点递归的查找,直到找到对应的元素或找到null指针,找到null指针则表示查找失败。这个查找是十分高效

的,其时间复杂度为O(logN)(以d为底,当d很大时,树的高度就很低),因为每次检索最多只需要检索树高h个结点。

接下来就该讲B+Tree了,它是B-Tree的变种,如下面两张图所示:

vcHLx/i85LLp0a/Qp8LKoaM8L3A+DQo8aDMgaWQ9"myisam引擎的索引结构">MyISAM引擎的索引结构

MyISAM引擎的索引结构为B+Tree,其中B+Tree的数据域存储的内容为实际数据的地址,也就是说它的索引和实际的数据是分开的,只不过是用索引指向了实际的数据,这种索引就是所谓的非聚集索引。

Innodb引擎的索引结构

MyISAM引擎的索引结构同样也是B+Tree,但是Innodb的索引文件本身就是数据文件,即B+Tree的数据域存储的就是实际的数据,这种索引就是聚集索引。这个索引的key就是数据表的主键,因此InnoDB表数据文件本身就是主索引。

因为InnoDB的数据文件本身要按主键聚集,所以InnoDB要求表必须有主键(MyISAM可以没有),如果没有显式指定,则MySQL系统会自动选择一个可以唯一标识数据记录的列作为主键,如果不存在这种列,则MySQL自动为InnoDB表生成一个隐含字段作为主键,这个字段长度为6个字节,类型为长整形。

并且和MyISAM不同,InnoDB的辅助索引数据域存储的也是相应记录主键的值而不是地址,所以当以辅助索引查找时,会先根据辅助索引找到主

键,再根据主键索引找到实际的数据。所以Innodb不建议使用过长的主键,否则会使辅助索引变得过大。建议使用自增的字段作为主键,这样B+Tree的

每一个结点都会被顺序的填满,而不会频繁的分裂调整,会有效的提升插入数据的效率。

以上就是关于mysql 临时库先增加后删除记录,数据库越变越大,求解全部的内容,包括:mysql 临时库先增加后删除记录,数据库越变越大,求解、请论述下mysql中innodb和myisam的区别和优劣、如何查看mysql数据库的引擎等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/9770136.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-01
下一篇2023-05-01

发表评论

登录后才能评论

评论列表(0条)

    保存