使用singer 转换gitbase 数据到postgresql

gitbase 是mysql server 的一个实现（主要是用来分析git仓库代码），但是里面好多功能可能并不是很强大（sql 的限制）
我们可以通过singer 的tap-mysql 将数据抽取到标准的pg 数据库，可以方便的使用pg 的好多函数

参考使用

mysql-postgresql 的可以参考 https://www.cnblogs.com/rongfengliang/p/10239118.html
具体的转换很简单，主要是说明几个gitbase 上的缺陷以及怎么解决
实际的代码可以参考https://github.com/rongfengliang/gitbase2postgresql

同步问题

  • string length
    默认singer 是通过获取数据库表的schema 进行类型长度确定的，但是singer对于gtibase string 显示的是是0.所以进行处理会有问题
  • 解决方法

    属于临时解决了，修改singer 关于string 类型处理

  elif data_type in STRING_TYPES:
        result.type = ['null', 'string'] 
        # result.maxLength = c.character_maximum_length   
git clone https://github.com/rongfengliang/tap-mysql.git
pip install -e  tap-mysql

说明

因为singer 推荐的方式是venv 安装，所以tap 以及target 最好是使用venv 解决，不然会有各种问题（singer 是基于pipe 的处理模型）

参考资料

https://github.com/rongfengliang/tap-mysql
https://github.com/rongfengliang/tap-mysql
https://github.com/rongfengliang/gitbase2postgresql

posted on 2019-05-19 17:05  荣锋亮  阅读(228)  评论(0)  编辑  收藏  举报

导航