KingbaseES sys_bulkload数据加载工具错误处理

一、关于sys_bulkload数据加载工具

sys_bulkload是KingbaseES提供的快速加载数据的命令行工具。用户使用sys_bulkload工具能够把一定格式的文本数据简单、快速的加载到KingbaseES数据库中，或将KingbaseES数据库中的数据快速导出到CSV文件中。使用前需要用户手动创建sys_bulkload插件，需要说明的是sys_bulkload工具是随数据库版本一同发布的，使用时请使用对应发布的数据库版本，其他数据版本则不保证能正常工作。

sys_bulkload使用请参考：

https://help.kingbase.com.cn/v8/admin/reference/ref-client/bulkload.html?highlight=sys_bulkload

二、使用sys_bulkload加载数据：

1. 导入命令：

sys_bulkload -i /home/webuer/F_CM.dat -O wzh.F_CM -l ./test_load.log -o "TYPE=TEXT" -H10.10.10.10 -Uwzh -Wwzh -dwzh

2. 错误信息：

sys_bulkload 3.1.15 on 2023-03-09 14:19:21.213938+08
INPUT = /home/webuser/F_CM.dat
LIMIT = INFINITE
PARSE_ERRORS = 0
CHECK_CONSTRAINTS = NO
TYPE = CSV
SKIP = 0 
DELIMITER = ,
QUOTE = "\""
ESCAPE = "\""
NULL =
SPECIFY_COLUMN = 
OUTPUT = wzh.f_cm
ASYNC_WRITE = NO
REINDEX = YES
VERBOSE = NO
WRITE = BUFFERED
DUPLICATE_ERRORS = 0 
ON_DUPLICATE_KEEP = NEW
TRUNCATE = NO

Parse eroor Record 1:Input Record 1:Rejected - column 1. missing data for column "farendma"
Maximum parse error count execeded - 1 error(s) found in input file

	0 Rows skipped.
	0 Rows successfully loaded.
	1 Rows not loaded due to parse errors.
	0 Rows not loaded due to dulicate errors.
	0 Rows replaced with new rows.

Run began on 2023-03-09 14:19:21.213938+08
Run ended on 2023-03-09 14:19:21.215044+08

CPU 0.00s/0.00u sec elapsed 0.00 sec
NOTICE: BULK LOAD END
		0 Rows skipped.
		0 Rows successfully loaded.
		1 Rows not loaded due to parse errors.
		0 Rows not loaded due to dulicate errors.
		0 Rows replaced with new rows.
		log path: /home/webuser/test_load.log
		parse srror path: /home/webuser/F_CM.bad
		duplicate error path: /home/webuser/F_CM.dupbad
		ctrl file path:
		data file path: /home/webuser/F_CM.bad
		Run began on 2023-03-09 14:19:21.213938+08
		Run ended on 2023-03-09 14:19:21.215044+08
WARNING: some rows were not loaded due to errors.

通过错误信息可以看到，在parse阶段就发生错误。

三、原因分析：

在parse节点数据发生解析错误，最大可能是数据分隔符识别有问题：

经沟通，原始数据是通过ociuldr工具进行导出，分隔符使用十六进制（0X03）进行数据分隔。

查看原数据：

1. linux系统：

$ cat F_CM.bad
2020-08-269779WD0005688022200001118022110001支付虚拟柜员666112018051680003509999999990000001200011121100012020051615111590451131
$ more F_CM.bad 
2020-08-269779WD0005688022200001118022110001支付虚拟柜员666112018051680003509999999990000001200011121100012020051615111590451131
$ less F_CM.bad
2020-08-26^C9779^CWD0005^C688022^C200001^C118022^C110001^C支付虚拟柜员^C6^C66^C^C1^C1^C20180516^C^C^C^C8^C0^C^C0^C^C^C0^C3^C5^C0^C999999999^C^C0^C^C^C0^C0^C^C^C0^C0^C^C^C0^C^C1^C^C2^C^C0^C^C^C001112^C110001^C20200516^C1511159045113^C1
$ vim F_CM.bad
2020-08-26^C9779^CWD0005^C688022^C200001^C118022^C110001^C支付虚拟柜员^C6^C66^C^C1^C1^C20180516^C^C^C^C8^C0^C^C0^C^C^C0^C3^C5^C0^C999999999^C^C0^C^C^C0^C0^C^C^C0^C0^C^C^C0^C^C1^C^C2^C^C0^C^C^C001112^C110001^C20200516^C1511159045113^C1

在服务器通过cat、more命令查看数据，cat、more命令会自动把乱码部分处理了，数据可以正常显示但是不能识别分隔符。

在服务器使用less、vim命令查看原数据文件，发现部分数据不能正常显示。

2. windows系统：

文本打开：

nodepat++打开：

至此，基本确定sys_bulkload工具不能正确识别分隔符导致解析错误。

四、解决问题：

既然分隔符使用十六进制（0x03）作为分隔符，可以尝试将原数据转换为十六进制查看。

1. 将原数据转换为十六进制：

$ hexdump -C F_CM.bad
00000000  ef bb bf 32 30 32 30 2d  30 38 2d 32 36 03 39 37  |...2020-08-26.97|
00000010  37 39 03 57 44 30 30 30  35 03 36 38 38 30 32 32  |79.WD0005.688022|
00000020  03 32 30 30 30 30 31 03  31 31 38 30 32 32 03 31  |.200001.118022.1|
00000030  31 30 30 30 31 03 e6 94  af e4 bb 98 e8 99 9a e6  |10001...........|
00000040  8b 9f e6 9f 9c e5 91 98  03 36 03 36 36 03 03 31  |.........6.66..1|
00000050  03 31 03 32 30 31 38 30  35 31 36 03 03 03 03 38  |.1.20180516....8|
00000060  03 30 03 03 30 03 03 03  30 03 33 03 35 03 30 03  |.0..0...0.3.5.0.|
00000070  39 39 39 39 39 39 39 39  39 03 03 30 03 03 03 30  |999999999..0...0|
00000080  03 30 03 03 03 30 03 30  03 03 03 30 03 03 31 03  |.0...0.0...0..1.|
00000090  03 32 03 03 30 03 03 03  30 30 31 31 31 32 03 31  |.2..0...001112.1|
000000a0  31 30 30 30 31 03 32 30  32 30 30 35 31 36 03 31  |10001.20200516.1|
000000b0  35 31 31 31 35 39 30 34  35 31 31 33 03 31 0a     |511159045113.1.|
000000bf

将原数据转换为十六进制后，数据显示正常，分隔符0x03也可以正常显示。

2. 替换原数据分隔符（0x03）为0x7c（|）分隔符：

sed替换分隔符：

sed -i  's/\x03/\x7c/g' F_CM.bad

查看文件：

$ cat F_CM.bad 
2020-08-26|9779|WD0005|688022|200001|118022|110001|支付虚拟柜员|6|66||1|1|20180516||||8|0||0|||0|3|5|0|999999999||0|||0|0|||0|0|||0||1||2||0|||001112|110001|20200516|1511159045113|1
$ more F_CM.bad 
2020-08-26|9779|WD0005|688022|200001|118022|110001|支付虚拟柜员|6|66||1|1|20180516||||8|0||0|||0|3|5|0|999999999||0|||0|0|||0|0|||0||1||2||0|||001112|110001|20200516|1511159045113|1
$ less F_CM.bad
2020-08-26|9779|WD0005|688022|200001|118022|110001|支付虚拟柜员|6|66||1|1|20180516||||8|0||0|||0|3|5|0|999999999||0|||0|0|||0|0|||0||1||2||0|||001112|110001|20200516|1511159045113|1
$ vim F_CM.bad
2020-08-26|9779|WD0005|688022|200001|118022|110001|支付虚拟柜员|6|66||1|1|20180516||||8|0||0|||0|3|5|0|999999999||0|||0|0|||0|0|||0||1||2||0|||001112|110001|20200516|1511159045113|1

替换完成后，数据、分隔符均可以正常显示。

再次使用sys_bulkload工具进行导入，可以正常导入。问题解决。

注意：sys_bulkload数据加载工具目前不支持十六进制分隔符