mysql怎么提高insert into的速度啊?

mysql怎么提高insert into的速度啊?,第1张

sql语句中,添加记录的语法为:insert into 表名 (col1,col2....coln)values(value1,value2.....valuen);

其中,如果你插入的每一列都是顺序插入,无一缺漏的话,(col1,col2...coln)可以省略。

也就是上式也可以简化为:insert into 表名 values(value1,value2.....valuen);

看了你写的sql代码,问题出在insert into 的整体语句出现在了不该出现的地方,只需做一点小改动即可解决,如下图:

解析:insert into语句需要在user表已经存在的情况下才可以使用。而你原来的语句中,将上图2中的语句插入到了create table user的语句中,致使create table user 语句未能成功执行,所以才会报错。

而将“INSERT INTO user(uid,tel) values('甲','3354986')”整条语句直接拿出来放在“ENGINE=InnoDB DEFAULT CHARSET=gbk”后面之后,整个sql就可以顺利执行了。

扩展资料:

当mysql大批量插入数据的时候就会变的非常慢, mysql提高insert into 插入速度的方法有三种:

1、第一种插入提速方法:

如果数据库中的数据已经很多(几百万条), 那么可以 加大mysql配置中的 bulk_insert_buffer_size,这个参数默认为8M

举例:bulk_insert_buffer_size=100M;

2、第二种mysql插入提速方法:

改写所有 insert into 语句为 insert delayed into

这个insert delayed不同之处在于:立即返回结果,后台进行处理插入。

3、第三个方法: 一次插入多条数据:

insert中插入多条数据,举例:

insert into table values('11','11'),('22','22'),('33','33')...

mysql5的手册中提到,插入一条记录,所需的时间比例大概是:

连接:(3)

发送查询给服务器:(2)

分析查询:(2)

插入记录:(1x记录大小)

插入索引:(1x索引)

关闭:(1)

并且表的大小以logN(B树)的速度减慢索引的插入,因此提高插入速度的方法大概有以下7种:

一个insert语句包含多个value值;

使用insert delayed方法;

使用insert into ...values(select ...from),即select的同时执行insert;

使用load data infile;

先禁掉索引,插入后再创建索引;

写锁表,插入,解锁。原因是索引缓存区仅在所有insert语句完成后才刷新到磁盘上一次;

增加key_buffer_size值来扩大键高速缓冲区。

使用ETL工具,平时我一般处理的记录不多百万没试过,10W条记录大概不到2分钟,有人用百万的测试记录。 ETL厂商ReikingIBM information server(datastage)informatic基本架构支持运行平台windows/unix/linuxwindows/unix/linuxwindows/unix/linux数据访问模式支持绝大部分支持绝大部分支持绝大部分支持数据抽取方式支持生成文件(落地)再导入直接导入消息协议直接导入;导入方式,数据导入支持批量加载(sql loader方式)、insert模式、行删除模式

其中insert模式是插入到临时表,然后更新,需要手工写update语句,配置比较复杂,

行删除模式这种方式不考虑,性能肯定会非常差。

批量加载模式,是对方工程师推荐的测试方案,其性能应该是最快的.以下测试是基于批量加载模式直接导入数据导入目的库有两种加载方式

normal和bulk,即普通插入和批量加载。

批量加载需要先将索引drop掉,在加载完成后重新创建,但是这种方式在对付

大数据量时很慢,例如下文测试hisdeliver 1个月的数据抽取,286万记录,需要4分47秒,比普通插入

要慢很多。下面的测试结果由informatic的工程师,其基于normal模式实时增量ETL支持递增字段实现,触发器模式,支持Oracle CDCCDC,实现秒级别的增量CDC,实现秒级别的增量,另外付费购买性能单表hisdeliver抽取,记录数124810,耗时比较1分16秒17秒15秒单表hisdeliver抽取,记录数2859999,耗时比较22分12秒6分12秒2分58秒采集sqlserver数据采集表zygd(记录数:597872)测试报错41秒16秒流程中是否支持并行加载支持支持支持并行加载性能client 730279行5分钟1分14秒2分02秒clientinfo 739278行7分钟2分18秒1分50秒stockholder 108378911分钟2分59秒3分01秒hisdeliver 124810行未加载48秒20秒


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/zaji/8516639.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-17
下一篇2023-04-17

发表评论

登录后才能评论

评论列表(0条)

    保存