摘要：
/*需求：在指定文件目录下的所有文件中，检索某一特定字符串所出现的行，将这些行的内容输出到本地文件系统的输出文件夹中。这个程序假定只有第一层目录下的文件才有效，而且，假定文件都是文本文件。为了防止单个的输出文件过大，这里还加了一个文件最大行数限制当文件行数达到最大值时，便关闭此文件，创建另外的文件继 阅读全文
摘要：
需求：上线的网站每天都会产生日志数据。假如有这样的需求：要求在凌晨24点开始操作前一天产生的日志文件，准实时上传至HDFS集群上。该如何实现？实现后能否实现周期性上传需求？如何定时？ 分析：HDFS SHELL: hadoop fs –put //满足上传文件，不能满足定时、周期性传入。 Linux 阅读全文
摘要：
1.kafka是一个分布式消息系统，是由scala编写，具有生产者和消费者的功能，生产者将消息推送到Kafka集群，消费者从kafka集群上拉取消息 2.kafka的特性： a.消息持久化：kafka基于文件系统来存储和缓存消息 b.高吞吐量 ：kafka支持数据压缩及批量发送，同时kafka将每个 阅读全文