2018 年 7月 27 日随笔档案 - 内心独白

2018年7月27日

摘要：不过都是全量的，没有增量的，增量的需要自行写脚本实现 1、mysql-》mysql 2、ftp-》mysql（整个文件夹下面读取） 3、hdfs-》mysql 4、sftp-》mysql 5、mysql-》ftp 6、mysql-》hdfs 7、mysql-》sftp 8、ftp-》ftp 所有场景阅读全文

posted @ 2018-07-27 17:30 内心独白阅读(260) 评论(0) 推荐(0) 编辑

logstash的各个场景应用（配置文件均已实践过）

摘要：场景： 1） datasource->logstash->elasticsearch->kibana 2） datasource->filebeat->logstash-> elasticsearch->kibana 3） datasource->filebeat->logstash->redis/ 阅读全文

posted @ 2018-07-27 16:35 内心独白阅读(26951) 评论(0) 推荐(3) 编辑

kettle添加hadoop cluster时报错Caused by: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: hadoop:password@node56:9000

摘要：完整报错是： Caused by: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: hadoop:password@node56:9000 解决方案：我在添加hadoop clust 阅读全文

posted @ 2018-07-27 16:17 内心独白阅读(484) 评论(0) 推荐(0) 编辑