mysql千万级数据update怎么优化

提问：何设计或优化千万级别表外其信息觉题点范简单说该何做于存储设计必须考虑业务特点收集信息：

1数据容量：1-3内概少条数据每条数据概少字节；

2数据项：否字段些字段值否经更新；

3数据查询SQL条件：哪些数据项列名称经现WHERE、GROUP BY、ORDER BY句等；

4数据更新类SQL条件：少列经现UPDATE或DELETE WHERE句；

5SQL量统计比：SELECT：UPDATE+DELETE：INSERT=少

6预计表及相关联SQL每总执行量何数量级

7表数据：更新主业务 查询主业务

8打算采用数据库物理服务器及数据库服务器架构

9并发何

10存储引擎选择InnoDBMyISAM

致明白10问题至于何设计类表应该都清楚

至于优化若指创建表能变表结构建议InnoDB引擎利用点内存减轻磁盘IO负载IO往往数据库服务器瓶颈

另外优化索引结构解决性能问题建议优先考虑修改类SQL语句使更快些已靠索引组织结构式前提 索引已经创建非若读主考虑打query_cache 及调整些参数值：sort_buffer_size,read_buffer_size,read_rnd_buffer_size,join_buffer_siz

更信息参见：

MySQL数据库服务器端核参数详解推荐配置

纸谈兵说我思路及我解决抛砖引玉

我近解决问题

我现公司三张表5亿数据每张表每增量100w

每张表概10columns左右

面我做测试比

1首先看engine,数据量情况没做区情况

mysiam比innodb读情况效率要高13％左右

2做partition读mysql官文档其实于partition专门myisam做优化于innodb所数据存ibdata面所即使看schema变其实没本质变化

区于同physical disk面情况提升概1％

区同physical disk我三同disks提升概3％其实所谓吞吐量由素决定比explain parition候看record区每区都其实本质没解决读问题提升写效率

另外问题于区张表三column都经用于做查询条件其实件悲惨事情没办所sql做针性区mysql官文档说间做区且用间查询恭喜

3表主要用读写其实问题充应该问写入候同并发查询我问题比较简单mongodb shredding支持能crushmysql所通情况9am－9pm写入情况候我做 viewview基于近插入或者经查询通做view离读取说写table读进行逻辑判断前view *** 作

4做些archive table比先些表做已统计析通已析＋增量解决

5用mysiam问题要注意configure候加max index length参数候record数于制定度候indexdisable

最近做了个项目 实现对存在千万条记录的库表进行插入 查询 *** 作 原以为对数据库的插入 查询是件很容易的事 可不知当数据达到百万甚至千万条级别的时候 这一切似乎变得相当困难 几经折腾 总算完成了任务

避免使用Hibernate框架

Hibernate用起来虽然方便 但对于海量数据的 *** 作显得力不从心

关于插入

试过用Hibernate一次性进行 万条左右数据的插入 若ID使用sequence方式生成 Hibernate将分 万次从数据库取得 万个sequence 构造成相应对象后 再分五万次将数据保存到数据库 花了我十分钟时间 主要的时间不是花在插入上 而是花在 万次从数据库取sequence上 弄得我相当郁闷 虽然后来把ID生成方式改成increase解决了问题 但还是对那十分钟的等待心有余悸

关于查询

Hibernate对数据库查询的主要思想还是面向对象的 这将使许多我们不需要查询的数据占用了大量的系统资源（包括数据库资源和本地资源） 由于对Hibernate的偏爱 本着不抛弃 不放弃的作风 做了包括配SQL 改进SQL等等的相当多的尝试 可都以失败告终 不得不忍痛割爱了

写查询语句时 要把查询的字段一一列出

查询时不要使用类似select from x_table的语句 要尽量使用select id name from x_table 以避免查询出不需要的数据浪费资源 对于海量数据而言 一个字段所占用的资源和查询时间是相当可观的

减少不必要的查询条件

当我们在做查询时 常常是前台提交一个查询表单到后台 后台解析这个表单 而后进行查询 *** 作 在我们解析表单时 为了方便起见 常常喜欢将一些不需要查询的条件用永真的条件来代替（如 select count(id) from x_table where name like % ） 其实这样的SQL对资源的浪费是相当可怕的 我试过对于同样的近一千万条记录的查询来说 使用select count(id) from x_table 进行表查询需要 秒 而使用select count(id) from x_table where name like % 却花了 秒

避免在查询时使用表连接

在做海量数据查询时 应尽量避免表连接（特别是左 右连接） 万不得已要进行表连接时 被连接的另一张表数据量一定不能太大 若连接的另一张表也是数万条的话 那估计可以考虑重新设计库表了 因为那需要等待的时间决不是正常用户所能忍受的

嵌套查询时 尽可能地在第一次select就把查询范围缩到最小

在有多个select嵌套查询的时候 应尽量在最内层就把所要查询的范围缩到最小 能分页的先分页 很多时候 就是这样简单地把分页放到内层查询里 对查询效率来说能形成质的变化

lishixinzhi/Article/program/Oracle/201311/17394

以上就是关于mysql千万级数据update怎么优化全部的内容，包括:mysql千万级数据update怎么优化、Oracle千万条记录插入与查询小结、等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！