如何使用LOAD DATA有效地将15千万记录dndlist加载到表中 [英] How I can Load 15 Crores record dndlist into a table Effeciently using LOAD DATA
本文介绍了如何使用LOAD DATA有效地将15千万记录dndlist加载到表中的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
大家好,
我在 MYSQL 5.0数据库中有一个表(dndlist),其中具有列(serviceareacode,phone,preferences,ostype,phonetype).
我有16个csv文件,每个文件包含10000000条记录,文件大小为avg(284 MB).
目前,我正在使用MYSQL的"LOAD DATA"实用程序来导入数据.例子是:
加载数据本地文件' E:\\ TRAI \\ trai0.csv'
INTO 表 trai1 FIELDS TERMINATED BY " 已封闭 BY "'终止行 BY \ n'
(serviceareacode,电话,首选项,ostype,phonetype);
上面的代码需要5到6个小时才能上传每个文件.
请任何人建议我如何有效地插入,搜索和更新记录
我正在等待您的宝贵回应.
谢谢大家.
编辑
-------------
仅供参考 15千万= 1.5亿
解决方案
http://dev.mysql.com/doc/refman/5.0/en/insert-speed.html [LOAD DATA LOCAL INFILE 'E:\\TRAI\\trai0.csv' INTO TABLE trai1 FIELDS TERMINATED BY "," ENCLOSED BY '"' LINES TERMINATED BY '\n' (serviceareacode,phone,preferences,ostype,phonetype);
The above code is taking 5- 6 hours for each file to upload.
Please anybody suggest me how I can Insert,search as well as update records efficiently
I am waiting for your valuable response.
Thanks all.
EDIT
-------------
FYI 15 Crore = 150 million解决方案http://dev.mysql.com/doc/refman/5.0/en/insert-speed.html[^] is a useful starting point
这篇关于如何使用LOAD DATA有效地将15千万记录dndlist加载到表中的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文