使用datax将mysql数据同步到ES 附elasticsearchwriter插件

1、使用datax工具将mysql数据库中的数据同步到elasticsearch中。DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图：

类型	数据源	Reader(读)	Writer(写)	文档
RDBMS 关系型数据库	MySQL	√	√	读 、写
	Oracle	√	√	读 、写
	SQLServer	√	√	读 、写
	PostgreSQL	√	√	读 、写
	DRDS	√	√	读 、写
	通用RDBMS(支持所有关系型数据库)	√	√	读 、写
阿里云数仓数据存储	ODPS	√	√	读 、写
	ADS		√	写
	OSS	√	√	读 、写
	OCS	√	√	读 、写
NoSQL数据存储	OTS	√	√	读 、写
	Hbase0.94	√	√	读 、写
	Hbase1.1	√	√	读 、写
	Phoenix4.x	√	√	读 、写
	Phoenix5.x	√	√	读 、写
	MongoDB	√	√	读 、写
	Hive	√	√	读 、写
	Cassandra	√	√	读 、写
无结构化数据存储	TxtFile	√	√	读 、写
	FTP	√	√	读 、写
	HDFS	√	√	读 、写
	Elasticsearch		√	写
时间序列数据库	OpenTSDB	√		读
	TSDB	√	√	读 、写

可以看到Elasticsearch只支持写，但是不支持读的，如果支持从Elasticsearch读出来，写到mysql也是很好的哦！

2、datax的安装，配置就不写了，之前搞过，现在需要搞一个mysql写到elasticsearch的json。

{
    "job": {
        "setting": {
            "speed": {
                "byte": 8388608,
                "channel": 3
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [{
            "reader": {
                "name": "mysqlreader",
                "parameter": {
                    "username": "账号",
                    "password": "密码",
                    "column": ["appkey"],
                    "connection": [{
                        "table": ["数据表名称"],
                        "jdbcUrl": ["jdbc:mysql://ip地址:端口号/数据库名称"]
                    }]
                }
            },
            "writer": {
                "name": "elasticsearchwriter",
                "parameter": {
                    "endpoint": "http://ip地址:9200",
                    "index": "shared_log", # 索引的名称
                    "type": "doc", # 类型的名称
                    "cleanup": false, #true表示插入前清空，即覆盖同步；false则追加同步
                    "dynamic": true, #这里一定要指定为true，否则使用的是datax的模板，而不会使用es的模板
                    "settings": {
                        "index": {
                            "number_of_shards": 12, # 分片的数量
                            "number_of_replicas": 0 # 副本的数量
                        }
                    },
                    "batchSize": 10000,
                    "splitter": ",",
                    "column": [{
                        "name": "appkey", # 字段名称
                        "type": "keyword" # 字段类型
                    }]
                }
            }
        }]
    }
}

注意，需要搞一个elasticsearchwriter插件，将elasticsearchwriter插件放在datax\datax\plugin\writer。

关于elasticsearchwriter插件的打包方式参数：http://www.bubuko.com/infodetail-3663894.html