2020年2月27日
[大数据技术]Kettle报OPTION SQL_SELECT_LIMIT=DEFAULT错误的解决办法
摘要： 百度得到的解决方式都是说mysql通过jdbc链接的时候会进行测试’SET OPTION SQL_SELECT_LIMIT=DEFAULT’,但是5.6以后的版本弃用了set的方式。 我用的MySQL数据库是5.7.20版本因此对应5.1版本的jdbc， 错误提示：You have an error 阅读全文
posted @ 2020-02-27 22:57 雾霾王者 阅读(1362) 评论(0) 推荐(0) 编辑
[大数据技术]Kettle从CSV文件读取清洗后到MySQL中文乱码问题
摘要： 首先要知道CSV文件的编码格式 然后在文件输入编码选择编码格式， 第二步，在每个转换或者作业的DB连接中选择选项，并添加如下内容： 中文乱码问题得到解决 阅读全文
posted @ 2020-02-27 21:56 雾霾王者 阅读(1092) 评论(0) 推荐(0) 编辑
[大数据技术]Kettle初次连接MySQL数据库 报错问题 错误连接数据库 Error occured while trying to connect to the database Exception while loading class org.gjt.mm.mysql.Driver
摘要： 报错内容如下： 1 错误连接数据库 [foodmartconn] : org.pentaho.di.core.exception.KettleDatabaseException: 2 Error occured while trying to connect to the database 3 4 阅读全文
posted @ 2020-02-27 20:57 雾霾王者 阅读(1206) 评论(0) 推荐(0) 编辑
[大数据技术]datax的安装以及使用
摘要： 1、datax简述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数 阅读全文
posted @ 2020-02-27 20:10 雾霾王者 阅读(2139) 评论(0) 推荐(0) 编辑