streamsets 错误记录处理

我们可以在stage 级别,或者piepline 级别进行error 处理配置

pipeline的错误记录处理

  • discard(丢踢)
  • send response to Origin pipeline传递错误记录回microservice origin ,同时包含了错误的record 个数以及metrics ,只能在microservice pipeline 中使用
  • write to anothoer pipeline 将错误写到其他的sdc rpc pipeline中,同上, 数据包含了错误记录书以及metrics ,你必须创建sdc rpc 目的pipeline 去处理
    错误记录,同时pipeline 必须包含一个从当前pipeline读取错记录的sdc rpc origin 配置
  • write to Azure Event hub 基于云的设置(一般我们用不到)
  • write to Elasticsearch 写到es 中
  • write to file 写到文件中
  • write to google cloud storage 写到google 云存储中
  • write to google pub/sub
  • write to kafka 写到kafka 中
  • write to kinesis
  • write to mapR streams
  • write to mqtt

stage (阶段)错误记录处理

  • discard 丢踢
  • send to error 将错误发送到pipeline
  • stop pipeline 停止pipeline

参考资料

https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Pipeline_Design/ErrorHandling.html#concept_pm4_txm_vq

posted on 2018-08-20 15:16  荣锋亮  阅读(931)  评论(0编辑  收藏  举报

导航