MySQL数据导入数据仓库Hadoop有哪几种方式?

MySQL数据导入数据仓库Hadoop有哪几种方式?


    1.传统方式,采用mysqldump等工具将数据文件上传至HDFS。
    2.使用Sqoop Kettle等ETL工具,将数据表对应导入Hive的数据表。
    3.使用kafka+flume方案,将mysql binlog通过流式采集的方式导入Hadoop。
    4.设计实现Hive的快照表、增量表、全量表,实现MySQL到Hive数据的增量导入,并支持分库分表等特性。

 

posted @ 2020-06-18 14:03  捧花大王  阅读(539)  评论(0编辑  收藏  举报