随笔分类 - 大数据技术栈 / 工具-数据同步
datax、sqoop、 cancle、 maxwell
摘要：概述 Maxwell是一个能实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指
阅读全文
摘要：MySQL ---> HDFS； HDFS ----> MySQL
Mongodb --> HDFS； Mongodb --> MySQL；
阅读全文
摘要：1.canal数据采集 Canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，Canal主要支持了MySQL的Binlog解析，解析完成后才利用Canal Client 用来处理获得的 相关数据。（数据库同步需要阿里的otter中间件，基于Canal） 同步mys
阅读全文
摘要：1. sqoop概述 Sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数
阅读全文
