摘要:
Tired of Null Pointer Exceptions? Consider Using Java SE 8's Optional! https://www.oracle.com/technical-resources/articles/java/java8-optional.html Ti 阅读全文
摘要:
hadoop不支持传统文件系统的挂载,使得流式数据装进hadoop变得复杂。 hadoo中,文件只是目录项存在;在文件关闭前,其长度一直显示为0:如果在一段时间内将数据写到文件却没有将其关闭,则若网络中断后,则我们得到的仅仅是一个空白文件;故:最好编写小文件,这样能尽快将其关闭 错误。 【mappe 阅读全文
摘要:
3种解决办法 https://tech.meituan.com/mt-log-system-arch.html 基于Flume的美团日志收集系统(一)架构和设计 - https://tech.meituan.com/mt_log_system_arch.html 基于Flume的美团日志收集系统(一 阅读全文
摘要:
https://flume.apache.org/FlumeUserGuide.html 【测试模拟】 a1.sources.r1.type = exec a1.sources.r1.command = tail -F /opt/data/access.log 【生产】 阅读全文
摘要:
https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html Kafka 与 Flume 很多功能确实是重复的。以下是评估两个系统的一些建议: Kafka 是一个通用型系统。你可以有许多的生产者和消费者分享多个主题。相 阅读全文
摘要:
a 翻译 搜索 复制 阅读全文
摘要:
Hadoop文件格式 1-非结构化文本数据 可分片压缩 2-结构化文本数据 3-二进制数据 Flume的接收器 HDFS HBase IRC ElasticSearch 如果希望HDFS接收器写入的是压缩文件,则需要制定压缩方式,其通过设置hdfs.codeC设置 gzip bzip2 lzo sn 阅读全文
摘要:
kill(2) - Linux manual page https://man7.org/linux/man-pages/man2/kill.2.html NAME top kill - send signal to a process SYNOPSIS top #include <signal.h 阅读全文
摘要:
An Overview of Query Optimization in Relational Systems 阅读全文
摘要:
hdfs shortcircuit 阅读全文
摘要:
s3 阅读全文
摘要:
Lowest Common Ancestors 阅读全文
摘要:
Traveling Saleman Problem 阅读全文