第1章 概述
1.1 什么是DataX
DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
1.2 DataX的设计
为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
1.3 框架设计
Reader：数据采集模块，负责采集数据源的数据，将数据发送给Framework。
Writer：数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
Framework：用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，
流控，并发，数据转换等核心技术问题。
1.4 运行原理
Job：单个作业的管理节点，负责数据清理、子任务划分、TaskGroup监控管理。
Task：由Job切分而来，是DataX作业的最小单元，每个Task负责一部分数据的同步工作。
Schedule：将Task组成TaskGroup，单个TaskGroup的并发数量为5。
TaskGroup：负责启动Task。
第2章 快速入门
2.1 官方地址
下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
源码地址：https://github.com/alibaba/DataX
2.2 前置要求
- Linux
- JDK(1.8以上，推荐1.8)
- Python(推荐Python2.6.X)
2.3 安装
1）将下载好的datax.tar.gz上传到hadoop102的/opt/software
[jason@hadoop102 software]$ ls datax.tar.gz
2）解压datax.tar.gz到/opt/module
[jason@hadoop102 software]$ tar -zxvf datax.tar.gz -C /opt/module/
3）运行自检脚本
[jason@hadoop102 bin]$ cd /opt/module/datax/bin/
[jason@hadoop102 bin]$ python datax.py /opt/module/datax/job/job.json
