怎么将mysql源码导入sourceinsight_随笔

Source Insight导入源代码流程如下：

1）打开Source Insight；

2）选择Project->New Project，填写工程的名字，工程文件存放路径，点击OK后即创建Source Insight工程相关文件(相应目录会生成*.PR等工程文件)；

3）不断Next，你会发现Add and Remove Project Files对话框，在左边列表中选择你的源代码所在的文件夹，然后点击Add Tree，将源代码中所有文件添加到新创建的Source Insight工程中(即添加到右边列表中)，添加完成后你可以关闭该对话框，点击Project->Rebuild Project,这时你的源代码中的所有源文件全部都同步到Source Inight工程中了，这时你就可以使用Source Insight阅读源代码了；

在mysql中导入/导出超大的sql文本文件,我们可以使用很多方法实例，如有:客户端直接命令 *** 作,分块导入,客户端用source命令 *** 作等等。

在实际工作中，有时经常地时行mysql数据库的导入和导入 *** 作，但对于大型sql文件导入时，phpmyadmin是不行的，有太多限制，比如记录，内存等!

多种方案收集，如下：

方案一：客户端直接命令 *** 作(此方法是我比较喜欢的)

刚恢复一个电商网站mysql备份数据，此备份文件有300多M，因为phpmyadmin支持上传有限，文件太大IE停止响应，所以在本地用

代码如下

复制代码

mysql -u root -p root jiahuibuydb<

c:/yebihai.sql

但没导入进去，出来一大堆mysql的参数提示，不认输入的命令参数，后来写成下面这个样子，就是去掉了参数和数据之间的空格

代码如下

复制代码

mysql -uroot -proot jiahuibuydb<

c:/yebihai.sql

导入就OK了

导出命令:

a)导出整个库

mysqldump -u 用户名 -p 数据库名 >导出的文件名

代码如下

复制代码

mysqldump -u root -p student

>d:/yebihai.sql

b)导出一个表

mysqldump -u 用户名 -p 数据库名表名>导出的文件名

方案二：分块导入

代码如下

复制代码

//用来快速Mysql的大数据备份

//使用前请首先按照代码注释修改要导入的SQL文件名、数据库主机名、数据库用户名、密码、数据库名

//同时将数据库文件和本文本一起ftp导网站目录，然后以web方式访问此文件即可

$file_name="sql.sql"//要导入的SQL文件名

$dbhost="localhost"//数据库主机名

$dbuser="user"//数据库用户名

$dbpass="pass" //数据库密码

$dbname="dbname"

//数据库名

set_time_limit(0)//设置超时时间为0，表示一直执行。当php在safe

mode模式下无效，此时可能会导致导入超时，此时需要分段导入

$fp = @fopen($file_name, "r") or

die("不能打开SQL文件 $file_name")//打开文件

mysql_connect($dbhost, $dbuser,

$dbpass) or die("不能连接数据库 $dbhost")//连接数据库

mysql_select_db($dbname)

or die ("不能打开数据库 $dbname")//打开数据库

mysql_query('set names utf8')

echo "正在执行导入 *** 作"

while($SQL=GetNextSQL()){

(!mysql_query($SQL)){

echo

"执行出错www.111cn.net：".mysql_error()."

echo

"SQL语句为：

".$SQL."

}

echo

"导入完成"

fclose($fp) or die("Can’t close file $file_name")//关闭文件

mysql_close()

//从文件中逐条取SQL

function GetNextSQL() {

global $fp

$sql=""

while ($line =

@fgets($fp, 40960)) {

$line =

trim($line)

//以下三句在高版本php中不需要，在部分低版本中也许需要修改

$line =

str_replace("////","//",$line)

$line =

str_replace("/’","’",$line)

$line =

str_replace("//r//n",chr(13).chr(10),$line)

//$line

= stripcslashes($line)

if (strlen($line)>1)

{

if ($line[0]=="-" &&$line[1]=="-")

{

continue

}

$sql.=$line.chr(13).chr(10)

(strlen($line)>0){

($line[strlen($line)-1]==""){

break

}

return $sql

}

方案三：客户端用source命令 *** 作

比较好的办法仍是用mysql的source命令：

一、在客户端下 *** 作：

1、进行入客户端

代码如下

复制代码

2、mysql>use 数据库名(如果没有，先建一个)

3、mysql>set names 'utf8'(一般看导入的是什么格式的文件)

4、mysql>source d:/aaa.sql

即可正常导入，如果有错，可以看出错提示

二、PHP文件 *** 作：

建立a.php

里面有下面内容

代码如下

复制代码

mysql_connet('xxxx')

mysql_query("set names 'utf8'")

mysql_query("source d:/aaa.sql'")

原理同上，主要方便了无法使用命令行用户的 *** 作

方案四：下面教大家一个简单有效的办法，适合不会使用命令窗口的非技术人员，可以导入任意大小的mysql数据库，理论上不论您的数据库备份文件多大，都可以导入

方法如下：

1.将数据库备份文件(如backup.sql)上传至网站根目录。

2.将以下代码保存为mysql.php文件，上传至网站根目录。

代码如下

复制代码

system("mysql -hdbhost -udbuser -ppassword dbname <backup.sql")

print "导入成功"

其中

dbhost 改为您的数据库服务器地址(小提示:一般主机默认数据库服务器地址是:localhost)

dbuser 改为您的数据库用户名

password 改为您的数据库用户密码

dbname 改为您的数据库名(导入的时候此库必须先建立好，否则会失败并且不会进行任何提示)

backup.sql表示通过ftp上传到网站根目录下数据库文件的文件名(该文件是解压缩后的文件)

3.在浏览器里面访问mysql.php，那么就在浏览器里面输入/mysql.php，只要浏览器一访问这个mysql.php文件，数据就开始导入，数据导入结束后，就会显示“导入成功”的字样。这个时间根据您要导入的数据大小决定，一般时间很短

先贴原来的导入数据代码:

48304ba5e6f9fe08f3fa1abda7d326ab.png

import os

os.environ.setdefault("DJANGO_SETTINGS_MODULE", "www.settings")

'''

Django 版本大于等于1.7的时候，需要加上下面两句

import django

django.setup()

否则会抛出错误 django.core.exceptions.AppRegistryNotReady: Models aren't loaded yet.

'''

import django

if django.VERSION >= (1, 7):#自动判断版本

django.setup()

from arrears.models import D072Qf

import xlrd #excel读工具

from datetime import datetime

from xlrd import xldate_as_tuple

import time

import random

time1 = time.time()

#data= xlrd.open_workbook('11.xlsx') 打开文件

with xlrd.open_workbook('11.xlsx') as data:

print u"读取文件结束,开始导入!"

time2 = time.time()

table = data.sheet_by_index(0) #获取工作表

time3 = time.time()

n=1

x = y = z = 0

WorkList = []

for line in range(n,table.nrows):#nrows = table.nrows #行数 ncols = table.ncols #列数 print sh.row_values(rownum)

row = table.row_values(line)

if row: #查看行值是否为空

for i in [0,1,2,4,28,30,32]:

if type(row[i]) == float:

row[i] = int(row[i])

if D072Qf.objects.filter(acct_month = row[0],serv_id=row[1]).exists():#判断该行值是否在数据库中重复

x = x + 1 #重复值计数

else:

WorkList.append(D072Qf(acct_month=row[0],serv_id=row[1],acc_nbr=row[2],user_name=row[3],acct_code=row[4],

acct_name=row[5],product_name=row[6],current_charge=row[7],one_charge=row[8],

two_charge=row[9],three_charge=row[10],four_charge=row[11],five_charge=row[12],

six_charge=row[13],seven_charge=row[14],eight_charge=row[15],nine_charge=row[16],

ten_charge=row[17],eleven_charge=row[18],twelve_charge=row[19],oneyear_charge=row[20],

threeyear_charge=row[21],upthreeyear_charge=row[22],all_qf=row[23],morethree_qf=row[24],

aging=row[25],serv_state_name=row[26],mkt_chnl_name=row[27],mkt_chnl_id=row[28],

mkt_region_name=row[29],mkt_region_id=row[30],mkt_grid_name=row[31],mkt_grid_id=row[32],

prod_addr=row[33]))

y = y + 1 #非重复计数

else:

z = z + 1 #空行值计数

n = n + 1

if n % 9999 == 0:

D072Qf.objects.bulk_create(WorkList)

WorkList = []

time.sleep(random.random()) #让Cpu随机休息0 <= n <1.0 s

print "导入成功一次!"

print '数据导入成功,导入'+str(y)+'条,重复'+str(x)+'条,有'+str(z)+'行为空!'

time4 = time.time()

print "读取文件耗时"+str(time2-time1)+"秒,导入数据耗时"+str(time4-time3)+"秒!"

48304ba5e6f9fe08f3fa1abda7d326ab.png

这条代码目前未全部将十几万行数据全部导入数据库中,只花了1个小时把5万行数据导入其中后,后面越来越慢,主要慢在excel表到了7万行数据左右后,读取excel中数据很慢了,总体来说影响导入速度有几个原因:

1、一直以来采用xlrd导入xls格式文件,如果文件有十几万行,只是读取文件就会花200秒,若换成csv则几乎不花时间

2、代码中这行语句也会影响速度,特别当数据库中数据很大时:if D072Qf.objects.filter(acct_month = row[0],serv_id=row[1]).exists():#判断该行值是否在数据库中重复

3、若一次性将字典添加十几万行数据,就windows的cpu而已是遭受不住的!所以建议1万条数据导入一次后,清空列表

改善后的代码:

优化部分:采用csv格式取消掉检查重复数据语句每5万导入一次数据

48304ba5e6f9fe08f3fa1abda7d326ab.png

#coding:utf-8

import os

os.environ.setdefault("DJANGO_SETTINGS_MODULE", "www.settings")

'''

Django 版本大于等于1.7的时候，需要加上下面两句

import django

django.setup()

否则会抛出错误 django.core.exceptions.AppRegistryNotReady: Models aren't loaded yet.

'''

import django

if django.VERSION >= (1, 7):#自动判断版本

django.setup()

from arrears.models import D072Qf

import time

import random

time1 = time.time()

f = open('11.csv')

print u"读取文件结束,开始导入!"

time2 = time.time()

WorkList = []

next(f) #将文件标记移到下一行

y = 0

n = 1

for line in f:

row = line.replace('"','') #将字典中的"替换空

row = row.split('') #按对字符串进行切片

y = y + 1