Flume监控文件实现断点续传
摘要：1、目录配置，实现不了断点续传功能 2、针对采集原始文件实现断点续传（taildir source才有这个断点续传的功能），可以采用多文件进行配置，也可以采用文件通配符进行配置要采集的文件（比如：*.log） 参考： al.sources = r1 a1.channels = c1 a1.sinks
阅读全文
posted @ 2021-02-25 22:43
02 2021 档案
Flume常见拓扑结构
摘要：一.串行模式 Flume Agent之间相互连接 这种模式是将多个 flume 顺序连接起来了，从最初的 source 开始到最终 sink 传送的目的存储系统。此模式不建议桥接过多的 flume 数量，flume 数量过多不仅会影响传输速率，而且一旦传输过程中某个节点 flume 宕机，会影响整个
阅读全文
posted @ 2021-02-25 22:35
Flume的事务性与数据安全性
摘要：在flume中事务是一个重要的概念，事务保证了数据的可靠性。这里的事务性和数据库中的事务性有些区别，flume中的事务在回滚时，可能会造成数据重复，所以flume保证的是每条数据最少发送一次，以此来保证数据不丢失。(比如上传文件的过程中HDFS宕机，则会造成HDFS数据重复) Flume的事务性，主
阅读全文
posted @ 2021-02-25 22:33
Flume常见问题
摘要：问题一：ERROR [PollableSourceRunner-KafkaSource-r2] (org.apache.flume.source.kafka.KafkaSource.doProcess:314) - KafkaSource EXCEPTION, {}org.apache.kafka.
阅读全文
posted @ 2021-02-25 22:30
Flume对接Kafka Source基础配置
摘要：#组件 #a1为定义的namea1.sources=r1a1.channels=c1a1.sinks=k1 #source a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource #定义source类型为Kafka Sourcea
阅读全文
posted @ 2021-02-25 22:29
Flume基础介绍
摘要：官网：https://flume.apache.org 概述 Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输系统。Flume基于流式架构，灵活可靠。Flume最主要的作用就是实时读取服务器本地磁盘数据，将数据写到HDFS。Flume针对特殊场景也具备良好的自定义扩展能力，因此，
阅读全文
posted @ 2021-02-25 22:27
Java中的序列化和反序列化详解
摘要：Java中的序列化和反序列化详解
阅读全文
posted @ 2021-02-23 14:22
ProcessFunction：Flink最底层API使用案例详解
摘要：ProcessFunction：Flink最底层API使用案例详解
阅读全文
posted @ 2021-02-10 14:27
Filebeat多Input配置文件参考
摘要：Filebeat基础参考 （log到kafka，多配置文件参考） input配置 filebeat.config.inputs 参考官网（https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-configuration-rel
阅读全文
posted @ 2021-02-08 14:46
Sqoop的基本使用
摘要：MySQL导入到Hive或者HDFS #!/bin/bash dt=$1 year=$2 sqoop import \ --connect jdbc:mysql://192.168.4.230:3306/database?tinyInt1isBit=false \ --username 123 \
阅读全文
posted @ 2021-02-04 18:46
JAVA String.valueOf()方法的使用
摘要：JAVA String.valueOf()方法的使用 public class Decryptpid extends UDF { public Integer evaluate(String input) throws Exception { Integer result = 0 ; try { r
阅读全文
posted @ 2021-02-03 19:03
查看hdfs目录占用磁盘大小
摘要：1.查看hdfs各个分目录占用大小 hdfs dfs du -h /home/xx/xx 2.查看整个目录的占用大小 hdfs dfs -du -h -s /home/xx/xx
阅读全文
posted @ 2021-02-01 10:24
