小计--------flume 自定义kafka source 案例

自定义source

自定义的消息有两种类型的Source,PollableSource （轮训拉取）与EventDrivenSource （事件驱动），两者的区别在于PollableSource是通过线程不断去调用process方法，主动拉取消息，而EventDrivenSource是需要触发一个调用机制，即被动等待。在利用PollableSource实现自定义Source时还需要实现Configurable接口，以便在项目中初始化某些配置用的，定义的Source如下：

 

/**
* EVM告警信息表数据采集
* PollableSource 轮询拉取数据
* 通过线程不断调用process方法，主动拉取消息
*/
public class Ev_alarm_Source extends AbstractSource implements Configurable, PollableSource {
 
 
    private static String topic = "";
    private static String groupId = "";
    private KafkaConsumer<String, String> consumer = null;
    private static SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
    @Override
    public void configure(Context context) {
    }
 
 
    /**
     * 该方法会由PollableSource线程去不断调用执行
     * 执行完后通过getChannelProcess的processEvent方法将kafka数据转换为flume的Event发送到channel
     * @return
     * @throws EventDeliveryException
     */
    @Override
    public Status process() throws EventDeliveryException {
        try{
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records){
 
 
                try {
                    // 存放解析好后的字符串
                    HashMap<String, String> header = new HashMap<String, String>();
                    //解析
                    String value = record.value();
                    // 通过ali的fastJson解析kafka中的json串
                    JSONObject jsonObject = JSONObject.parseObject(value);
 
 
                    String msgid = jsonObject.getString("msgid");
                    String vin = jsonObject.getString("vin");
                    Long tm_c = jsonObject.getString("tm_c") == null ? System.currentTimeMillis()/1000:jsonObject.getLong("tm_c");
                    Long tm_u = jsonObject.getString("tm_u") == null ? System.currentTimeMillis()/1000:jsonObject.getLong("tm_u");
                    String t_flg = jsonObject.getString("t_flg");
                    String ha_level = jsonObject.getString("ha_level");
                    String ca_flg = jsonObject.getString("ca_flg");
                    String sef_va = jsonObject.getString("sef_va");
                    String dmf_va = jsonObject.getString("dmf_va");
                    String egf_va = jsonObject.getString("egf_va");
                    String of_va = jsonObject.getString("of_va");
                    String lng = jsonObject.getString("lng");
                    String lat = jsonObject.getString("lat");
 
 
                    // 拼接字段用#号进行连接不同字段
                    StringBuilder sb = new StringBuilder("");
                    sb.append(msgid);
                    sb.append("#");
                    sb.append(vin);
                    sb.append("#");
                    sb.append(sdf.format(new Date(tm_c*1000)));
                    sb.append("#");
                    sb.append(sdf.format(new Date(tm_u*1000)));
                    sb.append("#");
                    sb.append(t_flg);
                    sb.append("#");
                    sb.append(ha_level);
                    sb.append("#");
                    sb.append(ca_flg);
                    sb.append("#");
                    sb.append(sef_va);
                    sb.append("#");
                    sb.append(dmf_va);
                    sb.append("#");
                    sb.append(egf_va);
                    sb.append("#");
                    sb.append(of_va);
                    sb.append("#");
                    sb.append(lng);
                    sb.append("#");
                    sb.append(lat);
 
 
                    // 封装到hashmap
                    header.put("timestamp", String.valueOf(tm_c * 1000));
                    //将hashMap转换成flume的event发送到channel
                    this.getChannelProcessor().processEvent(EventBuilder.withBody(sb.toString(), Charset.forName("UTF-8"), header));
                } catch (Exception e) {
                    e.printStackTrace();
                }
 
 
            }
        }catch (Exception e){
            e.printStackTrace();
        }
        // 返回Event的状态
        return Status.READY;
    }
 
 
    public long getBackOffSleepIncrement() {
        return 0;
    }
 
 
    public long getMaxBackOffSleepInterval() {
        return 0;
    }
 
 
    /**
     * 释放资源或清空字段
     */
    @Override
    public synchronized void stop() {
        if(consumer != null ){
            consumer.close();//释放资源
        }
    }
 
 
    /**
     * 在执行process() 方法执行会首先执行一次start()
     * 进行初始化配置
     */
    @Override
    public synchronized void start() {
        try{
            // 设置kafka topic
            this.topic = PropertiesUtils.getProperty(Conf.EVM_ALARM_TOPIC);
            // 设置kafka groupID
            this.groupId = PropertiesUtils.getProperty(Conf.EVM_ALARM_GROUPID);
            // 设置kafka broker
            String kafka_broker_list = PropertiesUtils.getProperty(Conf.KAFKA_BROKER_LIST);
            if(consumer == null ){
                this.consumer = new KafkaConsumer<String, String>(KafkaUtils.getKafkaProp(kafka_broker_list,this.groupId));
                this.consumer.subscribe(Arrays.asList(topic));
            }
        }catch (Exception e){
            e.printStackTrace();
        }
    }
 
 
    public static void main(String[] args){
 
 
    }
}

 

配置flume.conf 文件

#登出
a1.sources = r1
a1.sinks = k1
a1.channels = c1
 
# 指定Flume source(要监听的路径)自定义kafka生产者
a1.sources.r1.type = com.sz.ly.bdp.dc.evm.etl.ev_alarm.Ev_alarm_Source
 
# 指定Flume sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.channel = c1
# 输出hdfs路径
a1.sinks.k1.hdfs.path = hdfs://nameservice1:8020/flume/evm/alarm/%Y%m%d
# 文本格式
a1.sinks.k1.hdfs.writeFormat = Text
# 输出文件后缀
a1.sinks.k1.hdfs.fileSuffix = .txt
# DataStream文件不压缩，不需要设置hdfs.codeC
a1.sinks.k1.hdfs.fileType = DataStream
# 每个批次刷新到hdfs上events数量
a1.sinks.k1.hdfs.batchSize = 100
# hdfs sink启动的操作HDFS的线程数
a1.sinks.k1.hdfs.threadsPoolSize = 10
# 默认值为0，当目前被打开的临时文件在该参数指定的时间(秒)内，没有任何数据写入，则将该临时文件关闭并重命名成目标文件
a1.sinks.k1.hdfs.idleTimeout = 0
# 默认值 1024 ， 当临时文件达到多少(单位：bytes)时，滚动成目标文件；如果设置成0，则表示不根据临时文件大小来滚动文件
a1.sinks.k1.hdfs.rollSize = 268435456
# 默认值:10,当events 数据达到该数量时候，将临时文件滚动成目标文件；如果设置成0 ， 则表示不根据events数据来滚动文件
a1.sinks.k1.hdfs.rollCount = 0
# 临时文件 间隔60分钟滚动成最终文件; 单位: s
a1.sinks.k1.hdfs.rollInterval = 3600
# 默认值：HDFS副本数，写入hdfs文件块的最小副本数。该参数会影响文件的滚动配置，一般将该参数配置成1，才可以按照配置正确滚动文件
a1.sinks.k1.hdfs.minBlockReplicas=1
a1.sinks.k1.hdfs.connect-timeout=80000
# 默认值: 10000 ， 执行HDFS操作的超时时间(单位:毫秒)
a1.sinks.k1.hdfs.callTimeout=120000
# 使用本机时间 %Y%m%d ， 在替换转义序列时使用本地时间
a1.sinks.k1.hdfs.useLocalTimeStamp=true
 
 
# 指定Flume channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 200000
a1.channels.c1.transactionCapacity = 20000
a1.channels.c1.byteCapacityBufferPercentage = 20
a1.channels.c1.byteCapacity = 536870912
 
# 绑定source和sink到channel上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

 

 

 

 

部署集群步骤：

1.首先将程序打包、并把jar包放在集群flume-ng下的lib下。

 

2.将conf文件放到一个固定位置，在执行flume-ng命令的时候指定conf文件路径

 

3.执行flume-ng命令

#因为在环境变量中配置了flume环境，故不需要绝对路径

flume-ng agent -c conf -f /root/yzq/bdp-dc-flume/alarm.conf -n a1 -Dflume.root.logger=INFO,console 1 > /root/yzq/bdp-dc-flume/alarm.log 2>&1 &

 

4.启动kafka生产者进行模拟生产数据，查看hdfs是否有输出文件

kafka-console-producer --broker-list ip:端口 —topic 主题名