rongfengliang-荣锋亮

摘要： 发现模式 发现模式提供了一种描述tap 支持数据流的方式，使用了json schema 做为描述数据的结构以及每个数据流的 类型，发现模式的实现依赖tap 的数据源，有些taps 将硬编码每个流的模式，而其他的将连接到提供可用流的 描述的api，当运行发现模式时，tap 应该写如stdout 流列表 阅读全文

摘要： 版本0.3.0 tap是一个应用程序，需要一个配置文件和可选的状态文件作为输入，并产生有序的流记录， 状态和模式信息作为输出。 一个记录是任何类型的JSON编码的数据。tap 状态消息用于保留一个调用之间的信息。一个模式消息描述stream 中的 数据类型。Tap可以用任何编程语言实现。 tap设计 阅读全文

摘要： 配置和状态文件通过提供身份验证信息，开始时间和有关以前调用的信息，帮助为Taps和Targets提供上下文 配置文件 配置文件包含tap 运行需要的信息，通常包含API，以及数据源的凭据 特殊字段 start_data ,首次同步时候使用，指定数据同步的范围 user_agent 提供方便的问题解决 阅读全文

摘要： sync 模式是属于tap 的操作，同步模式下，tap 需要提交 schema、 record 、state message， singer 指南对于每种 类型有详细的说明 streams 每个stream 的metadata 包含了详细的用来进行sync 操作的控制说明 replication 方 阅读全文

摘要： singer 的target 需要从stdin 的行数据，同时处理schema、record、state 消息 指南 schema 需要进行关联stream records 数据的校验 一旦Target处理了State消息之前流中出现的所有数据，就将状态消息写入stdout。请注意，尽管State消 阅读全文

摘要： 如何没有找到适合的tap，那么我们可以自己开发一个 hello world tap 仅仅是一个程序，我们可以使用任何语言进行编写，根据singer 指南，输出数据到stdout 即可，实际上一个简单的 demo，可以直接使用命令行工具，不需要编写任何代码 内容 printf '{"type":"SC 阅读全文

摘要： 接上文： Singer 学习六 运行&&开发taps、targets (一 taps 运行说明) 说明target 需要tap 进行配合运行，所以需要了解tap 的使用 运行target 创建tap 可以参考上文 (1). 创建一个python3 的虚拟环境，并激活 python3 -m venv 阅读全文

摘要： 文章内容来来自官方github 说明: singer大部分的taps && targets 是用python编写的，所以内容里面的代码也是使用python 编写 使用python运行singer 运行singer 必须安装python 3.5 以及以上的版本，推荐的方式是使用python 的virt 阅读全文

摘要： 介绍过一个工具knots ，方便Singer 可视化开发的工具，但是默认这个工具包含的tap 以及target 比较少（可以自己扩展） 同时这个工具就是基于docker 运行的 docker 运行的几点说明 使用交互模式 开发环境建议使用数据卷挂载的模式 生产环境我们可以直接按照tag 进行打包 d 阅读全文

摘要： knots 是一款基于electron 开发的可视化UI界面，我们可以此工具进行方便的数据处理，注意工具使用了 docker 运行，需要安装docker 下载地址 https://github.com/singer-io/knots/releases https://github.com/singe 阅读全文