百万行超大csv文件如何快速导入mysql
场景:本地将一个几百万数据的csv文件导入测试机房mysql(暂无权限登录机器),直接使用mysql workbench导入功能特别慢
1、首先通过mysql命令行工具执行LOAD DATA LOCAL INFILE导入到一个本地开发环境的mysql库;
命令行登录mysql(由于使用导入文件,所以需要加参数--local-infile=1)
mysql --local-infile=1 -h 127.0.0.1 -P 3306 -u root -p
导入命令
LOAD DATA LOCAL INFILE '~/11-1.csv'
INTO TABLE t_my_table_name
FIELDS TERMINATED BY ','
IGNORE 1 LINES
(field1,field2,field3,field4,field5,field6)
;
执行效果:(命令行工具果然快,之前的导入方式都是按小时计算的)
mysql> LOAD DATA LOCAL INFILE '~/11-1.csv'
-> INTO TABLE t_my_table_name
-> FIELDS TERMINATED BY ','
-> IGNORE 1 LINES
-> (field1,field2,field3,field4,field5,field6)
-> ;
Query OK, 748679 rows affected (9.39 sec)
Records: 748679 Deleted: 0 Skipped: 0 Warnings: 0
mysql官方参考文档:https://dev.mysql.com/doc/refman/5.7/en/load-data.html
2、通过mysql workbench的Migration Wizard工具导入在测试机房的mysql服务器;
本博客(liqipeng)除非已明确说明转载,否则皆为liqipeng原创或者整理,转载请保留此链接:https://www.cnblogs.com/liqipeng/p/14827710.html。
本博客(liqipeng)除非已明确说明转载,否则皆为liqipeng原创或者整理,转载请保留此链接:https://www.cnblogs.com/liqipeng/p/14827710.html。
如果你觉得这篇文章对你有帮助或者使你有所启发,请点击右下角的推荐按钮,谢谢,:)