mysql如何加快海量数据的删除速度?

mysql如何加快海量数据的删除速度?,第1张

下面一些方法可以加快

mysql数据导入数据的速度:

1、最快的当然是直接 copy 数据库表的数据文件(版本和平台最好要相同或相似);

2、 设置 innodb_flush_log_at_trx_commit = 0 ,相对于 innodb_flush_log_at_trx_commit = 1 可以十分明显的提升导入速度;

3、 使用 load data local infile 提速明显;

4、 修改参数 bulk_insert_buffer_size, 调大批量插入的缓存;

5、 合并多条 insert 为一条: insert into t values(a,b,c), (d,e,f) ,,,

6、手动使用事物;

mysql数据库对1亿条数据的分表方法设计:

目前针对海量数据的优化有两种方法:

(1)垂直分割

优势:降低高并发情况下,对于表的锁定。

不足:对于单表来说,随着数据库的记录增多,读写压力将进一步增大。

(2)水平分割

如果单表的IO压力大,可以考虑用水平分割,其原理就是通过hash算法,将一张表分为N多页,并通过一个新的表(总表),记录着每个页的的位置。

假如一个门户网站,它的数据库表已经达到了1亿条记录,那么此时如果通过select去查询,必定会效率低下(不做索引的前提下)。为了降低单表的读写IO压力,通过水平分割,将这个表分成10个页,同时生成一个总表,记录各个页的信息,那么假如我查询一条id=100的记录,它不再需要全表扫描,而是通过总表找到该记录在哪个对应的页上,然后再去相应的页做检索,这样就降低了IO压力。


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/zaji/7325227.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-04
下一篇2023-04-04

发表评论

登录后才能评论

评论列表(0条)

    保存