dataX大数据同步

安装

下载地址 https://github.com/alibaba/DataX/blob/master/userGuid.md

直接解压就行

 

dataX需要python2.x

我之前已经安装了anaconda3，自带的是python3.7的版本，这边就需要切换

conda create --name python27 python=2.7

创建一个名为python27的环境，指定python版本为python2.7，它会自动下载

安装完后，通过  conda info -e  命令，可以看到当前所有安装的Python环境

之后就可以通过  conda activate python27  切换了

返回之前的环境  conda deactivate 

 

dataX解压后就可以在cmd中测试

这里的   G:\datax\datax\datax  是我datax的安装路径

输出

乱码输入

CHCP 65001

 

数据同步

修改job.json（位于安装目录下job/job.json，或者修改 python bin/datax.py job/job.json 的后一个路径为json路径）

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "txtfilereader", 
                    "parameter": {
                    "path": ["C:/Users/syyzl/Desktop/words.csv"], 
                    "encoding":"utf-8",
                        "column": [
                            {
                                "index": 0,
                                "type": "string"
                            },
                            {
                                "index": 1,
                                "type": "string"
                            },
                            {
                                "index": 2,
                                "type": "string"
                            },
                            {
                                "index": 3,
                                "type": "string"
                            }
                        ],
                    "fieldDelimiter": ","
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": [
                            "Id",
                            "word",
                            "jieshi",
                            "link"
                        ], 
                        "connection": [
                            {
                               "jdbcUrl": "jdbc:mysql://localhost:3306/hotword?useUnicode=true&characterEncoding=utf8", 
                               "table": ["info"]
                            }
                        ], 
                        "password": "963214785", 
                        "username": "root",
                        "preSql":[""],
                        "session":["set session sql_mode='ANSI'"],
                        "writeMode":"insert"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "2"
            }
        }
    }
}

查看数据库，可以看到同步成功

 

出现的问题

获取表字段相关信息失败

去网上查的教程是column的内容不对

原来是我的字段里有一个字段名为explain，把这个改成别的就好了

 

脏数据

把此处的int改成string即可

 

 

 参考

dataX的安装配置 https://blog.csdn.net/yulutian/article/details/80835123

dataX处理csv文件时出现脏数据问题 http://www.mamicode.com/info-detail-2941673.html

 Anaconda不同版本python环境的安装与切换 https://blog.csdn.net/wz947324/article/details/80228679