如何提高大吞吐量数据插入数据库的效率（回答详细点，谢谢）

1 加大服务器内存，把大吞吐量数据涉及的表缓存在内存中，对库表的 *** 作就变成了对内存的 *** 作而不需要访问硬盘。因为硬盘的读写速度是机械运动的速度而内存读写的速度是电的速度, 它们的速度差别在1000倍以上

2 利用服务器端光标, 批量地刷新数据库

当然是从文本里读取速度会更快了。

理由很简单，因为数据库是加密压缩的，所以读取后肯定先解压解密，而文本文件是很赤裸裸的东西，光用记事本就能看得到内容，所以省去了解压和解密的时间咯~~~

你说是文本快？还是数据库快？

非root用户运行MySQL，当MySQL配置比较高时，MySQL运行中生效的参数值与配置的值不一样,所以具体分析一下MySQL是怎么调整这些参数值的。 这篇文章的目的是为了说明在系统资源不够的情况下，MySQL 是怎么调整者三个参数的。说明此文涉及到三个参数open_files_limit、 max_connections、 table_open_cache。与这三个参数相关的系统资源是打开文件数限制，即文件描述符（fd）限制。系统参数与文件描述符的关系 - max_connection & fd : 每一个MySQL connection      都需要一个文件描述符；- table_open_cache & fd 打开一张表至少需要一个      文件描述符，如打开MyISAM需要两个fd ；- 系统最大打开文件数可以通过 ulimit -n查看。MySQL调整参数的方式

根据配置（三个参数的配置值或默认值）计算 request_open_files（需要的文件描述符）；

2获取有效的系统的限制值effective_open_files；  3根据effective_open_files调整request_open_files；  4根据调整后的request_open_files,计算实际生效的参数值（show variables 可查看参数值）。计算request_open_filesrequest_open_files有三个计算公式：1      // 最大连接数+同时打开的表的最大数量+其他（各种日志等等）2     limit_1= max_connections+table_cache_size 2 + 10;3   4      //假设平均每个连接打开的表的数量（2-4）5      //源码中是这么写的：6      //We are trying to allocate no less than 7      // max_connections5 file handles8      limit_2= max_connections 5;9   10    //mysql 默认的默认是500011    limit_3= open_files_limit open_files_limit : 5000;12  13     所以open_files_limit期待的最低14     request_open_files= max(limit_1,limit_2,limit_3);计算effective_open_files:MySQL 的思路：

在有限值的的范围内MySQL 尽量将effective_open_files的值设大。

修正request_open_files

requested_open_files= min(effective_open_files, request_open_files)

重新计算参数值

修正open_files_limit

open_files_limit = effective_open_files

修正max_connections

max_connections 根据 request_open_files 来做修正。1  limit = requested_open_files - 10 - TABLE_OPEN_CACHE_MIN 2;

如果配置的max_connections值大于limit，则将max_connections 的值修正为limit

其他情况下 max_connections 保留配置值

修正table_cache_size

table_cache_size 会根据 request_open_files 来做修正1   // mysql table_cache_size 最小值，4002   limit1 = TABLE_OPEN_CACHE_MIN3   // 根据 requested_open_files 计算4   limit2 = (requested_open_files - 10 - max_connections) / 25   limit = max(limit1,limt2);

如果配置的table_cache_size 值大于limit，则将 table_cache_size 的值修正为limit

其他情况下table_cache_size 保留配置值

举例

以下用例在非 root 用户下运行

参数设置：

//mysql

max_connections = 500

table_open_cache = 999

//ulimit -n

1500

生效的值：

open_files_limit = 1500   max_connections = min[(1500 - 10 - 800),500] = 500

table_open_cache = ( 1500 - 10 - 500) / 2 =495

数据量大就用存储过程数据量少就用sql语句直接 *** 作。

至于读数据方面DataReader和DataSet根据你的情况

DataReader和DataSet最大的区别在于,DataReader使用时始终占用SqlConnection(俗称：非断开式连接),在线 *** 作数据库时，任何对SqlConnection的 *** 作都会引发DataReader的异常。因为DataReader每次只在内存中加载一条数据,所以占用的内存是很小的。由于DataReader的特殊性和高性能，所以DataReader是只进的，你读了第一条后就不能再去读取第一条了。

DataSet则是将数据一次性加载在内存中，抛弃数据库连接(俗称：断开式连接)。读取完毕即放弃数据库连接，因为DataSet将数据全部加载在内存中，所以比较消耗内存。但是确比DataReader要灵活，可以动态的添加行,列,数据，对数据库进行回传，更新 *** 作等。

思路：

可以用流来读取，并且每次读取二十条数据，存入缓存中buff，然后把这二十条数据清空，再读后面的数据以此类推，读完之后把缓存中的数据，一并写入到数据库中，你也可以在读取的时候把数据设大一点

以上就是关于如何提高大吞吐量数据插入数据库的效率（回答详细点，谢谢）全部的内容，包括:如何提高大吞吐量数据插入数据库的效率（回答详细点，谢谢）、io流读文件与从数据库读文件，哪个效率高些、把很多TXT文件内容写入MYSQL数据库，有一亿条数据，如何提高写入效率求高手赐教修改如下代码等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！