摘要: Tired of Null Pointer Exceptions? Consider Using Java SE 8's Optional! https://www.oracle.com/technical-resources/articles/java/java8-optional.html Ti 阅读全文
posted @ 2017-10-26 23:27 papering 阅读(312) 评论(0) 推荐(0) 编辑
摘要: hadoop不支持传统文件系统的挂载,使得流式数据装进hadoop变得复杂。 hadoo中,文件只是目录项存在;在文件关闭前,其长度一直显示为0:如果在一段时间内将数据写到文件却没有将其关闭,则若网络中断后,则我们得到的仅仅是一个空白文件;故:最好编写小文件,这样能尽快将其关闭 错误。 【mappe 阅读全文
posted @ 2017-10-26 20:03 papering 阅读(448) 评论(0) 推荐(0) 编辑
摘要: 3种解决办法 https://tech.meituan.com/mt-log-system-arch.html 基于Flume的美团日志收集系统(一)架构和设计 - https://tech.meituan.com/mt_log_system_arch.html 基于Flume的美团日志收集系统(一 阅读全文
posted @ 2017-10-26 19:02 papering 阅读(384) 评论(0) 推荐(0) 编辑
摘要: https://flume.apache.org/FlumeUserGuide.html 【测试模拟】 a1.sources.r1.type = exec a1.sources.r1.command = tail -F /opt/data/access.log 【生产】 阅读全文
posted @ 2017-10-26 18:29 papering 阅读(327) 评论(0) 推荐(0) 编辑
摘要: https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html Kafka 与 Flume 很多功能确实是重复的。以下是评估两个系统的一些建议: Kafka 是一个通用型系统。你可以有许多的生产者和消费者分享多个主题。相 阅读全文
posted @ 2017-10-26 17:57 papering 阅读(364) 评论(0) 推荐(0) 编辑
摘要: a 翻译 搜索 复制 阅读全文
posted @ 2017-10-26 17:48 papering 阅读(128) 评论(0) 推荐(0) 编辑
摘要: Hadoop文件格式 1-非结构化文本数据 可分片压缩 2-结构化文本数据 3-二进制数据 Flume的接收器 HDFS HBase IRC ElasticSearch 如果希望HDFS接收器写入的是压缩文件,则需要制定压缩方式,其通过设置hdfs.codeC设置 gzip bzip2 lzo sn 阅读全文
posted @ 2017-10-26 16:45 papering 阅读(340) 评论(0) 推荐(0) 编辑
摘要: kill(2) - Linux manual page https://man7.org/linux/man-pages/man2/kill.2.html NAME top kill - send signal to a process SYNOPSIS top #include <signal.h 阅读全文
posted @ 2017-10-26 15:31 papering 阅读(526) 评论(0) 推荐(0) 编辑
摘要: An Overview of Query Optimization in Relational Systems 阅读全文
posted @ 2017-10-26 13:56 papering 阅读(356) 评论(0) 推荐(0) 编辑
摘要: hdfs shortcircuit 阅读全文
posted @ 2017-10-26 08:06 papering 阅读(130) 评论(0) 推荐(0) 编辑
摘要: s3 阅读全文
posted @ 2017-10-26 01:22 papering 阅读(132) 评论(0) 推荐(0) 编辑
摘要: Lowest Common Ancestors 阅读全文
posted @ 2017-10-26 00:27 papering 阅读(130) 评论(0) 推荐(0) 编辑
摘要: Traveling Saleman Problem 阅读全文
posted @ 2017-10-26 00:26 papering 阅读(122) 评论(0) 推荐(0) 编辑