datax从hive向pg同步踩的坑

1. [INFO] 2023-04-21 14:11:00.836 - [taskAppId=TASK-9296114303648_1-2137236-2376388]:[61] - -> 2023-04-21 14:11:00.783 [job-0] ERROR RetryUtil - Exception when calling callable, 即将尝试执行第6次重试.本次重试计划等待[32000]ms,实际等待[32000]ms, 异常Msg:[Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).]. - 具体错误信息为：java.sql.SQLException: No suitable driver found for ["jdbc:postgresql://prod-poi-acmp-pg01.langgesdmap.top:1921,prod-poi-acmp-pg02.langgesdmap.top:1921,prod-poi-acmp-pg03.langgesdmap.top:1921/poi_acmp?targetServerType=primary"]]

解决方法：

mysqlwriter中的jdbcUrl不能使用[]中括号括起来，应该是只能有一个写入的库
"connection": [ { "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/autoee_v3", "table": [ "ac_form_config_copy" ] }

2. com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).]. - 具体错误信息为：org.postgresql.util.PSQLException: The authentication type 10 is not supported. Check that you have configured the pg_hba.conf file to include the client's IP address or subnet, and that it is using an authentication scheme supported by the driver.

解决方法：
pg驱动版本比数据库低，需要升级，最新版下载：https://jdbc.postgresql.org/

 

3. 经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-12], Description:[不支持的数据库类型. 请注意查看 DataX 已经支持的数据库类型以及数据库版本.]. - 您的配置文件中的列配置信息有误. . 请修改表中该字段的类型或者不同步该字段.

解决方法：

datax不支持jsonb, 需要先写到一个临时列，然后再转到，参见:https://senjianlu.com/2021/11/datax-note-02/