随笔分类 -  大数据学习之路 / ETL数据集成工具

canal的安装搭建
摘要：canal介绍 主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。 这里我们可以简单地把canal理解为一个用来同步增量数据的一个工具。 canal能做什么 数据库镜像 数据库实时备份 索引构建和实时维护 业务cache(缓存)刷新 带业务逻辑的增量数据处理 首先开启mysql 阅读全文
posted @ 2024-12-02 21:14 w我自横刀向天笑 阅读(300) 评论(0) 推荐(0)
chunjun的安装与使用
摘要：官网地址 https://github.com/DTStack/chunjun 下载解压即可使用 hbase2hive案例 配置文件 { "job": { "content": [ { "reader": { "table" : { "tableName": "students" }, "name" 阅读全文
posted @ 2024-11-28 20:46 w我自横刀向天笑 阅读(79) 评论(0) 推荐(0)
datax MySql --> Hive实现
摘要：配置文件 { "job": { "setting": { "speed": { "channel":3 }, "errorLimit": { "record": 0, "percentage": 0.02 } }, "content": [ { "reader": { "name": "mysqlr 阅读全文
posted @ 2024-11-27 21:10 w我自横刀向天笑 阅读(56) 评论(0) 推荐(0)
sqoop安装与使用
摘要：1、上传解压 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/soft/ 2、修改配置文件 切换到sqoop配置文件目录 cd /usr/local/soft/sqoop-1.4.7/conf 复制配置文件并重命名 cp sq 阅读全文
posted @ 2024-11-27 11:08 w我自横刀向天笑 阅读(43) 评论(0) 推荐(0)
datax的安装与使用
摘要：1、datax简介 概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高 阅读全文
posted @ 2024-11-26 21:22 w我自横刀向天笑 阅读(122) 评论(0) 推荐(0)