大数据-Datax安装部署

环境要求：

Linux

JDK 1.8

Python 3.6.5

一、下载压缩包

方法一：下载页面地址：https://github.com/alibaba/DataX

不要在【Clone or download】处下载，那里下载的是源码；对于Java不是很在行的人来说，自行编译显得有点困难。

而是在：【Quick Start】--->【Download DataX下载地址】进行下载。下载后的包名：datax.tar.gz 解压后{datax}目录下有{bin  conf  job  lib  log  log_perf  plugin  script  tmp}几个目录。

方法二：使用命令：wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

二、安装

1、首先：解压datax.tar.gz到相应的安装目录： $ sudo tar -zxf ~/下载/datax.tar.gz -C /usr/local

2、修改文件权限：$ sudo chmod -R 755 /usr/local/datax

3、由于我的python版本是3以上，官方datax只能使用python2.7版本,是因为语法问题,需要下载相应的文件：https://github.com/365taole/DataX_Python3

解压放置在datax/bin目录,环境切换到py3即可启动,亲测可用

4、进入bin目录 $ cd /usr/local/datax/bin

三、同步作业测试

例一、 hadoop@hadoop-master:/usr/local/datax/bin$ python3 datax.py /usr/local/datax/job/job.json

结果：
2020-02-29 12:29:32.717 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2020-02-29 12:29:22
任务结束时刻                    : 2020-02-29 12:29:32
任务总计耗时                    :                 10s
任务平均流量                    :          253.91KB/s
记录写入速度                    :          10000rec/s
读出记录总数                    :              100000
读写失败总数                    :                   

例二、mysql数据同步到hive中(hive是hadoop内的一个数据仓库，进入hive之前，要先打开hadoop)

hadoop@hadoop-master:/usr/local/hive$ cd /usr/local/hadoop
hadoop@hadoop-master:/usr/local/hadoop$ sbin/start-dfs.sh
*****
hadoop@hadoop-master:/usr/local/hadoop$ cd /usr/local/hive/bin
hadoop@hadoop-master:/usr/local/hive/bin$ ./hive

1.进入mysql--建表--插入数据

进入mysql:mysql -u root -p

查看数据库：show databases;

新建数据库：create database db_name;

进入数据库：use dn_name;

新建表：create table dim_area( id int(20) not null auto_increment primary key, name varchar(32) not null, parent_id int(20) );
插入数据：nsert into dim_area(id,name,parent_id) values (110000,'beijing',null);

查看表数据：select * from dim_area;

查看表结构：desc dim_area;

查看数据库端口：show global variables like 'port';

2.进入hive并建表

查看数据库：show databases;

新建数据库：create database db_name;

进入数据库：use dn_name;

创建表：create table dim_area(id int,name string,parent_id int) row format delimited fields terminated by '/t';

查看数据库基本信息：desc formatted dim_area;

3.编辑.json文件

大多数情况下，mysql的本地ip均为127.0.0.1,端口号为3306

查找hive表的路径：命令：desc formatted dim_area;

{
    "content":[
        {
            "reader":{
                "name":"mysqlreader",
                "parameter":{
                    "connection":[
                        {
                            "jdbcUrl":[
                                "jdbc:mysql://127.0.0.1:3306/db_name"
                            ],
                            "querySql":[
                                "SELECT id, name, parent_id FROM dim_area;"
                            ]
                        }
                    ],
                    "password":"*******",
                    "username":"root"
                }
            },
            "writer":{
                "name":"hdfswriter",
                "parameter":{
                    "column":[
                        {
                            "name":"id",
                            "type":"int"
                        },
                        {
                            "name":"name",
                            "type":"string"
                        },
                        {
                            "name":"parent_id",
                            "type":"int"
                        }
                    ],
                    "compress":"",
                    "defaultFS":"hdfs://192.168.1.100:9000/",
                    "fieldDelimiter":"\t",
                    "fileName":"tmp",
                    "fileType":"text",
                    "path":"/user/hive/warehouse/db_name.db/dim_area",
                    "writeMode":"append"
                }
            }
        }
    ],
    "setting":{
        "speed":{
            "channel":10
        }
    }
}

 

注：一定要注意path属性的路径编写方式

例二结果同例一