KingbaseES sys_bulkload数据加载工具错误处理

一、关于sys_bulkload数据加载工具

sys_bulkload是KingbaseES提供的快速加载数据的命令行工具。用户使用sys_bulkload工具能够把一定格式的文本数据简单、快速的加载到KingbaseES数据库中，或将KingbaseES数据库中的数据快速导出到CSV文件中。使用前需要用户手动创建sys_bulkload插件，需要说明的是sys_bulkload工具是随数据库版本一同发布的，使用时请使用对应发布的数据库版本，其他数据版本则不保证能正常工作。

sys_bulkload使用请参考：

https://help.kingbase.com.cn/v8/admin/reference/ref-client/bulkload.html?highlight=sys_bulkload

二、使用sys_bulkload加载数据：

1.导入命令：

sys_bulkload -i /home/webuer/F_CM.dat -O wzh.F_CM -l ./test_load.log -o "TYPE=TEXT" -H10.10.10.10 -Uwzh -Wwzh -dwzh

2.错误信息：

sys_bulkload 3.1.15 on 2023-03-09 14:19:21.213938+08
INPUT = /home/webuser/F_CM.dat
LIMIT = INFINITE
PARSE_ERRORS = 0
CHECK_CONSTRAINTS = NO
TYPE = CSV
SKIP = 0
DELIMITER = ,
QUOTE = """
ESCAPE = """
NULL =
SPECIFY_COLUMN =
OUTPUT = wzh.f_cm
ASYNC_WRITE = NO
REINDEX = YES
VERBOSE = NO
WRITE = BUFFERED
DUPLICATE_ERRORS = 0
ON_DUPLICATE_KEEP = NEW
TRUNCATE = NO

Parse eroor Record 1:Input Record 1:Rejected - column 1. missing data for column "farendma"
Maximum parse error count execeded - 1 error(s) found in input file

0 Rows skipped.
0 Rows successfully loaded.
1 Rows not loaded due to parse errors.
0 Rows not loaded due to dulicate errors.
0 Rows replaced with new rows.

Run began on 2023-03-09 14:19:21.213938+08
Run ended on 2023-03-09 14:19:21.215044+08

CPU 0.00s/0.00u sec elapsed 0.00 sec
NOTICE: BULK LOAD END
0 Rows skipped.
0 Rows successfully loaded.
1 Rows not loaded due to parse errors.
0 Rows not loaded due to dulicate errors.
0 Rows replaced with new rows.
log path: /home/webuser/test_load.log
parse srror path: /home/webuser/F_CM.bad
duplicate error path: /home/webuser/F_CM.dupbad
ctrl file path:
data file path: /home/webuser/F_CM.bad
Run began on 2023-03-09 14:19:21.213938+08
Run ended on 2023-03-09 14:19:21.215044+08
WARNING: some rows were not loaded due to errors.

通过错误信息可以看到，在parse阶段就发生错误。

三、原因分析：

在parse节点数据发生解析错误，最大可能是数据分隔符识别有问题：

经沟通，原始数据是通过ociuldr工具进行导出，分隔符使用十六进制（0X03）进行数据分隔。

查看原数据：

1.linux系统：

$ cat F_CM.bad
2020-08-269779WD0005688022200001118022110001支付虚拟柜员666112018051680003509999999990000001200011121100012020051615111590451131
$ more F_CM.bad
2020-08-269779WD0005688022200001118022110001支付虚拟柜员666112018051680003509999999990000001200011121100012020051615111590451131
$ less F_CM.bad
2020-08-26^C9779CWD0005^C688022C200001^C118022C110001^{C支付虚拟柜员}C6^C66C^C1C1^C20180516C^CC^C8C0^CC0^CC^C0C3^C5C0^C999999999C^C0C^CC0^C0C^CC0^C0C^CC0^CC1^CC2^CC0^CC^C001112C110001^C20200516C1511159045113^C1
$ vim F_CM.bad
2020-08-26^C9779CWD0005^C688022C200001^C118022C110001^{C支付虚拟柜员}C6^C66C^C1C1^C20180516C^CC^C8C0^CC0^CC^C0C3^C5C0^C999999999C^C0C^CC0^C0C^CC0^C0C^CC0^CC1^CC2^CC0^CC^C001112C110001^C20200516C1511159045113^C1

在服务器通过cat、more命令查看数据，cat、more命令会自动把乱码部分处理了，数据可以正常显示但是不能识别分隔符。

在服务器使用less、vim命令查看原数据文件，发现部分数据不能正常显示。

2.windows系统：

文本打开：

nodepat++打开：

至此，基本确定sys_bulkload工具不能正确识别分隔符导致解析错误。

四、解决问题：

既然分隔符使用十六进制（0x03）作为分隔符，可以尝试将原数据转换为十六进制查看。

1.将原数据转换为十六进制：

$ hexdump -C F_CM.bad
00000000 ef bb bf 32 30 32 30 2d 30 38 2d 32 36 03 39 37 |...2020-08-26.97|
00000010 37 39 03 57 44 30 30 30 35 03 36 38 38 30 32 32 |79.WD0005.688022|
00000020 03 32 30 30 30 30 31 03 31 31 38 30 32 32 03 31 |.200001.118022.1|
00000030 31 30 30 30 31 03 e6 94 af e4 bb 98 e8 99 9a e6 |10001...........|
00000040 8b 9f e6 9f 9c e5 91 98 03 36 03 36 36 03 03 31 |.........6.66..1|
00000050 03 31 03 32 30 31 38 30 35 31 36 03 03 03 03 38 |.1.20180516....8|
00000060 03 30 03 03 30 03 03 03 30 03 33 03 35 03 30 03 |.0..0...0.3.5.0.|
00000070 39 39 39 39 39 39 39 39 39 03 03 30 03 03 03 30 |999999999..0...0|
00000080 03 30 03 03 03 30 03 30 03 03 03 30 03 03 31 03 |.0...0.0...0..1.|
00000090 03 32 03 03 30 03 03 03 30 30 31 31 31 32 03 31 |.2..0...001112.1|
000000a0 31 30 30 30 31 03 32 30 32 30 30 35 31 36 03 31 |10001.20200516.1|
000000b0 35 31 31 31 35 39 30 34 35 31 31 33 03 31 0a |511159045113.1.|
000000bf

将原数据转换为十六进制后，数据显示正常，分隔符0x03也可以正常显示。

2.替换原数据分隔符（0x03）为0x7c（|）分隔符：

sed替换分隔符：

sed -i 's/\x03/\x7c/g' F_CM.bad

查看文件：

$ cat F_CM.bad
2020-08-26|9779|WD0005|688022|200001|118022|110001|支付虚拟柜员|6|66||1|1|20180516||||8|0||0|||0|3|5|0|999999999||0|||0|0|||0|0|||0||1||2||0|||001112|110001|20200516|1511159045113|1
$ more F_CM.bad
2020-08-26|9779|WD0005|688022|200001|118022|110001|支付虚拟柜员|6|66||1|1|20180516||||8|0||0|||0|3|5|0|999999999||0|||0|0|||0|0|||0||1||2||0|||001112|110001|20200516|1511159045113|1
$ less F_CM.bad
2020-08-26|9779|WD0005|688022|200001|118022|110001|支付虚拟柜员|6|66||1|1|20180516||||8|0||0|||0|3|5|0|999999999||0|||0|0|||0|0|||0||1||2||0|||001112|110001|20200516|1511159045113|1
$ vim F_CM.bad
2020-08-26|9779|WD0005|688022|200001|118022|110001|支付虚拟柜员|6|66||1|1|20180516||||8|0||0|||0|3|5|0|999999999||0|||0|0|||0|0|||0||1||2||0|||001112|110001|20200516|1511159045113|1

替换完成后，数据、分隔符均可以正常显示。

再次使用sys_bulkload工具进行导入，可以正常导入。问题解决。

注意：sys_bulkload数据加载工具目前不支持十六进制分隔符