flume 自定义sink

---

http://flume.apache.org/FlumeDeveloperGuide.html#sink

---

看了 还是比较好上手的，简单翻译一下

---

sink的作用是从 Channel 提取 Event 然后传给流中的下一个 Flume Agent或者把它们存储在外部的仓库中。在Flume的配置文件中，一个 Sink 和一个唯一的 Channel 关联。有一个 SinkRunner 实例与每一个配好的 Sink 关联，当 Flume 框架调用 SinkRunner 的 start() 方法时，就创建一个新的线程来驱动这个 Sink （使用  SinkRunner 的实现Runnable接口的 PollingRunner 内部静态类来运行）。这个线程管理了 Sink 的生命周期。 Sink 需要实现 start() 和 stop() 方法。Sink 的 start() 方法需要初始化 Sink 并使它能够达到向目的地发送 Event 的状态。 Sink 的 process() 方法是处理从 Channel 传过来的 Event 和 发送 Event 的核心方法。 Sink 的 Stop() 方法需要做必要的清理工作（比如释放某些资源）。 Sink 也需要实现 Configurable 接口来处理自己的一些配置。

---

官网也给出了模板类：

public class MySink extends AbstractSink implements Configurable {
    private String myProp;

    @Override
    public void configure(Context context) {
        String myProp = context.getString("myProp", "defaultValue");

        // Process the myProp value (e.g. validation)

        // Store myProp for later retrieval by process() method
        this.myProp = myProp;
    }

    @Override
    public void start() {
        // Initialize the connection to the external repository (e.g. HDFS) that
        // this Sink will forward Events to ..
    }

    @Override
    public void stop() {
        // Disconnect from the external respository and do any
        // additional cleanup (e.g. releasing resources or nulling-out
        // field values) ..
    }

    @Override
    public Status process() throws EventDeliveryException {
        Status status = null;

        // Start transaction
        Channel ch = getChannel();
        Transaction txn = ch.getTransaction();
        txn.begin();

        try {
            // This try clause includes whatever Channel operations you want to do
            Event event = ch.take();

            // Send the Event to the external repository.
            // storeSomeData(e);
            txn.commit();
            status = Status.READY;
        } catch (Throwable t) {
            txn.rollback();

            // Log exception, handle individual exceptions as needed
            status = Status.BACKOFF;

            // re-throw all Errors
            if (t instanceof Error) {
                throw (Error) t;
            }
        } finally {
            txn.close();
        }

        return status;
    }
}

 

---

拿来模板直接填充自己的逻辑代码即可，详细就可以直接参考HDFSSink或者HBaseSink等

---