Mysql加载本地CSV文件

Mysql加载本地CSV文件

1.系统环境

  • 系统版本：Win10 64位
  • Mysql版本： 8.0.15 MySQL Community Server - GPL
  • Mysql Workbench版本：Version 8.0.15 build(64bits) Community

2.准备工作

不管是使用Workbench还是命令行来加载本地数据，都可以先使用Workbench进行数据库、表的创建工作。

3.使用Workbench进行加载

  • 当数据量不是很大时(万级以内）时，可以使用Workbench进行加载，优点是可以根据引导一步一步操作。
  • 操作过程中碰到的问题：进入引导界面并选择待加载的文件后，软件提示Unhandled exception:("Incorrect database name"",1102），直接指示数据库名为空，并且报错。原因是将需要将当前数据库设置为默认数据库(右键当前数据库然后选择Set as Default Scheme)，不然Workbench会找不到默认数据库，从而报一个数据库名为空的错误。
  • 剩下的步骤根据指示完成即可。

4.使用命令行进行加载

4.1 命令语法

LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [FIELDS
        [TERMINATED BY 'string']
        [[OPTIONALLY] ENCLOSED BY 'char']
        [ESCAPED BY 'char' ]
    ]
    [LINES
        [STARTING BY 'string']
        [TERMINATED BY 'string']
    ]
    [IGNORE number LINES]
    [(col_name_or_user_var,...)]
    [SET col_name = expr,...)]

 load data infile语句从一个文本文件中以很高的速度读入一个表中。使用这个命令之前，mysqld进程（服务）必须已经在运行。由于安全原因，当读取位于服务器上的文件时，文件必须处于数据库目录或可被所有人读取。另外，为了对服务器上文件使用load data infile，在服务器主机上必须有file的权限。

  • 如果指定关键词low_priority，那么MySQL将会等到没有其他人读这个表的时候，才把数据插入。可以使用如下的命令：  
    load data  low_priority infile "/home/mark/data sql" into table Orders;
  • 如果指定local关键词，则表明从客户主机读文件。如果local没指定，文件必须位于服务器上。
  • replace和ignore关键词控制对现有的唯一键记录的重复的处理。如果你指定replace，新行将代替有相同的唯一键值的现有行。如果你指定ignore，跳过有唯一键的现有行的重复行的输入。如果你不指定任何一个选项，当找到重复键时，出现一个错误，并且文本文件的余下部分被忽略。例如： 
    load data  low_priority infile "/home/mark/data sql" replace into table Orders;
  • 分隔符：
    • fields关键字指定了文件字段的分割格式，如果用到这个关键字，MySQL剖析器希望看到至少有下面的一个选项：
      • terminated by：以什么字符作为分隔符
      • enclosed by：字段闭合标签
      • escaped by：转义字符
      • terminated by：描述字段的分隔符，默认情况下是tab字符（\t） 
      • enclosed by：描述的是字段的括起字符
      • escaped by：描述的转义字符。默认的是反斜杠（backslash：\ ）
    • lines 关键字指定了每条记录的分隔符默认为'\n'即为换行符：
      • 如果两个字段都指定了，那fields必须在lines之前。如果不指定fields关键字，缺省值与这样写相同：fields terminated by'\t' enclosed by ’ '' ‘ escaped by'\\'
      • 如果你不指定一个lines子句，缺省值与这样写的相同： lines terminated by'\n'
    • [IGNORE number LINES]  忽略特定行数，CSV文件可以忽略掉第一行标题

4.2 操作过程中的问题

运行如下代码：

mysql> LOAD DATA LOCAL INFILE 'D:/XXX.csv' INTO TABLE database.tablename FIELDS TERMINATED BY ',';

出现如下错误：

ERROR 1148 (42000): The used command is not allowed with this MySQL version

原因是服务器端，local_infile默认开启；客户端，local_infile默认关闭，因此用的时候需要打开。

查看local_infile变量的状态：

mysql> show global variables like 'local_infile';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| local_infile  | OFF    |
+---------------+-------+

 显示为关闭状态，使用如下命令打开：

mysql> set global local_infile = 'ON';

并再次查看：

mysql> show global variables like 'local_infile';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| local_infile  | ON    |
+---------------+-------+

然后再进行导入工作：

mysql> LOAD DATA LOCAL INFILE 'D:/XXX.csv' INTO TABLE database.tablename FIELDS TERMINATED BY ',';

仍然报同样的错误：

ERROR 1148 (42000): The used command is not allowed with this MySQL version

退出mysql，用如下命令进行登陆：

$ mysql --local-infile=1 -u root -p

然后就能够正常进行正常加载了：

mysql> load data local infile 'E:/Documents/user_utf.csv' into table data.user fields terminated by ',';
Query OK, 101535 rows affected, 65535 warnings (1.08 sec)
Records: 101535  Deleted: 0  Skipped: 0  Warnings: 69457

 

5.参考资料

 

posted @ 2019-04-19 13:52  StrivePy  阅读(4100)  评论(0)  编辑  收藏  举报