如何使用LOAD DATA有效地将15千万记录dndlist加载到表中 [英] How I can Load 15 Crores record dndlist into a table Effeciently using LOAD DATA

查看:93
本文介绍了如何使用LOAD DATA有效地将15千万记录dndlist加载到表中的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

大家好,

我在 MYSQL 5.0数据库中有一个表(dndlist),其中具有列(serviceareacode,phone,preferences,ostype,phonetype).

我有16个csv文件,每个文件包含10000000条记录,文件大小为avg(284 MB).

目前,我正在使用MYSQL的"LOAD DATA"实用程序来导入数据.例子是:

 加载数据本地文件'  E:\\ TRAI \\ trai0.csv'
 INTO   trai1 FIELDS TERMINATED  BY  " 已封闭 BY  "'终止行 BY   \ n'
(serviceareacode,电话,首选项,ostype,phonetype); 


上面的代码需要5到6个小时才能上传每个文件.

请任何人建议我如何有效地插入,搜索和更新记录

我正在等待您的宝贵回应.

谢谢大家.

编辑
-------------
仅供参考 15千万= 1.5亿

解决方案

http://dev.mysql.com/doc/refman/5.0/en/insert-speed.html [

LOAD DATA LOCAL INFILE 'E:\\TRAI\\trai0.csv'
INTO TABLE trai1   FIELDS TERMINATED BY "," ENCLOSED BY '"'  LINES  TERMINATED BY '\n'
(serviceareacode,phone,preferences,ostype,phonetype);


The above code is taking 5- 6 hours for each file to upload.

Please anybody suggest me how I can Insert,search as well as update records efficiently

I am waiting for your valuable response.

Thanks all.

EDIT
-------------
FYI 15 Crore = 150 million

解决方案

http://dev.mysql.com/doc/refman/5.0/en/insert-speed.html[^] is a useful starting point


这篇关于如何使用LOAD DATA有效地将15千万记录dndlist加载到表中的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆