DataX:json文件编写解读(csv-->mysql)

  一、JSON文件(将csv文本导入MySQL中)

{
    "job": {
        "setting": {
            "speed": {
                "channel": 3
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "txtfilereader",
                    "parameter": {
                    	"path":["D:\\爬虫数据\\百度百科\\catalogue.csv"],
                    	"encode":"gbk",
                        "column" : [
                            {
		                        "index":0,
		                        "type":"string"
                            },{
                            	        "index":1,
		                        "type":"Long"
                            }
                        ],
                        "fieldDelimiter":","
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "xxxxx",
                        "column": [
                            "name",
                            "value"
                        ],
                        "preSql": [
                            "truncate table catalogue"
                        ],
                        "connection": [  
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=utf-8",
                                "table": [
                                    "catalogue"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

  二、JSON文件解读

    DataX的JSON文件主要的两部分:reader和writer两部分。

    1,reader解读

      “name”属性对应着读取对象的类型

      “parameter”中path属性对应读取对象的路径、encode属性对应读取对象的编码、column属性对应读取对象的表头(其中index属性对应表头的字段顺序,type对应字段的类型)、filedDelimiter属性对应读取对象的分隔符。

    2,writer解读

      “name”属性对应着读取对象的类型

      “parameter”中writeMote属性表示操作、username属性对应MySQL的用户名、password对应MySQL的密码、column对应的是表头字段(注:这里的字段顺序需要和读取对象的顺序一样)、preSql属性表示写入前进行的sql语句、connection属性中jdbcUrl表示数据库的连接路径,table表示表名

posted @ 2020-03-03 19:18  余鱼瑜渔  阅读(1515)  评论(0编辑  收藏  举报