streamsets 错误记录处理
我们可以在stage 级别,或者piepline 级别进行error 处理配置
pipeline的错误记录处理
- discard(丢踢)
- send response to Origin pipeline传递错误记录回microservice origin ,同时包含了错误的record 个数以及metrics ,只能在microservice pipeline 中使用
- write to anothoer pipeline 将错误写到其他的sdc rpc pipeline中,同上, 数据包含了错误记录书以及metrics ,你必须创建sdc rpc 目的pipeline 去处理
错误记录,同时pipeline 必须包含一个从当前pipeline读取错记录的sdc rpc origin 配置 - write to Azure Event hub 基于云的设置(一般我们用不到)
- write to Elasticsearch 写到es 中
- write to file 写到文件中
- write to google cloud storage 写到google 云存储中
- write to google pub/sub
- write to kafka 写到kafka 中
- write to kinesis
- write to mapR streams
- write to mqtt
stage (阶段)错误记录处理
- discard 丢踢
- send to error 将错误发送到pipeline
- stop pipeline 停止pipeline