tidb通过dumpling导出csv load导入

环境：centos7、tidb3.0

1、下载dumpling 工具

?

1 2	链接: https://pan.baidu.com/s/1u-UV3MSPGBE2JXnExiKAaQ 提取码: c2jk tar -xvf dumpling-nightly-linux-amd64.tar.gz

2、使用dumpling导出sql查询为csv格式

?

1 2 3 4 5 6 7 8 9 10

./dumpling -h 172.21.136.198 -P 4000 -u root -p"passwd" -o /tmp/test --filetype csv --sql 'select * from rkw_ezc_prod.wpt_dzxx_dzsxb limit 2' --参数解析   -u root \                  --指定用户   -P 4000 \                  --指定端口   -h 127.0.0.1 \             --指定ip   -o /tmp/test \             -- 用于选择存储导出文件的目录   -r 1000                    -- 选项用于指定单个文件的最大记录数（或者说，数据库中的行数）   --filetype csv \           -- 导出格式还可以为filetype sql   -F $(( 1024 * 1024 * 256 ))  --选项用于指定单个文件的最大大小（和 MyDumper 不同，这里的单位是字节）   --sql 'select * from `test`.`sbtest1` where id < 100'

3、导出文件在目录/tmp/test

?

1 2 3 4 5 6 7 8 9 10

[root@tidb-22 test]# ll                               --总共两个文件 total 662172 -rwxr-xr-x 1 root root       140 Aug 18 16:10 metadata -rwxr-xr-x 1 root root 678058615 Aug 18 16:10 result.0.csv [root@tidb-22 test]# more metadata           --导出数据信息 Started dump at: 2020-08-18 16:09:43 SHOW MASTER STATUS:                 Log: tidb-binlog                 Pos: 418837478338461699 Finished dump at: 2020-08-18 16:10:28

4、删除首行的标题行

?

1 2 3

[root@tidb-22 test]# head -n 1 result.0.csv         --首行为标题头进行删除 "DZMC","MLDZID","MPZBX","MPZBY","SFSCFW","XQID","XQMC","JLXDM","JLXMC","ZRQDM","PCSDM","XT_ZXBZ","XT_TIMESTAMP" [root@tidb-22 test]# sed -i '1d'  result.0.csv

5、确定csv是否是需要的导入文件，并使用load导入

?

1 2 3

1、登录数据库 2、导入csv LOAD DATA local infile 'result.0.csv' INTO TABLE rkw_ezc_prod.wpt_dzxx_dzsxb_20200817 FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n' ;