datahub初体验_datahub_docker_ingest.md

datahub初体验

看官网：
https://datahubproject.io/

github源码：
https://github.com/datahub-project/datahub

环境要求：

• python > 3.7
• docker:
  2cores
  8G RAM
• windows环境，最好安装个anaconda，新建一个python虚拟环境

1. 初始化

   进入anaconda，进入datahub虚拟环境：
   安装datahub
   datahub docker quickstart

2. 注入测试数据

   datahub docker ingest-sample-data
   1

3. 命令行方式摄取元数据

   pip install 'acryl-datahub[datahub-rest]' # install the required plugin
   pip install 'acryl-datahub[mysql]'
   vim mysql_to_datahub.yml
   source:
   type: mysql
   config: # Coordinates
   host_port: localhost:3306
   database: dbname # Credentials
   username: root
   password: example
   sink:
   type: "datahub-rest"
   config:
   server: "http://localhost:8080"

   datahub ingest -c mysql_to_datahub.yml
   12345678910111213141516

即可以将mysql元数据信息导入到datahub了