一.连接数据库
2 启动 gpfdist
启动过程:
把数据文件.dat拖入linux下,存放在 /home/gpadmin/gptestdata / 目录下
创建外部表成功
创建加载目标表:
加载数据:
客户端查看数据:
问题一:
解决办法:错误原因是之前在启动gpfdist的时候已经写了 -d /home/gpadmin了,所以在这里location这里的地址应该是写相对路径了,即:
location('gpfdist://192.168.55.61:8081/gptestdata/customers.dat');
问题二:
错误原因: SEGMENT REJECT LIMIT子句允许隔离外部表中格式错误的数据,并继续装载格式正确的行。使用SEGMENT REJECT LIMIT设置一个错误阈值,指定拒绝的数据行数(缺省)或一个占总行数的百分比(1-100)。
如果错误行数达到了SEGMENT REJECT LIMIT的值,整个外部表操作失败,没有数据行被处理。限制的错误行数是相对于一个虚拟段的,不是整个操作的。如果错误行数没有达到SEGMENT REJECT LIMIT值,操作处理所有正确的行,丢弃错误行,或者可选地将格式错误的行写入日志表。LOG ERRORS子句允许保存错误行以备后续检查。
设置SEGMENT REJECT LIMIT会使HAWQ以单行错误隔离模式扫描外部数据。当外部数据行出现多余属性、缺少属性、数据类型错误、无效的客户端编码序列等格式错误时,单行错误隔离模式将错误行丢弃或写入日志表。HAWQ不检查约束错误,但可以在查询外部表时过滤约束错误。
创建的表结构缺少字段:
删除外部表:
基于copy的数据加载和卸载: