摘要：
一.运行Jetty 切换到Jetty安装目录（JETTY_HOME），运行： $ java -jar start.jar 2017-09-20 15:45:11.986:INFO::main: Logging initialized @683ms to org.eclipse.jetty.util. 阅读全文
摘要：
拓扑结构 消费者群组 Kafka的消费组从属于消费者群组。一个群组里面的消费者订阅的是同一个主题（topic），每个消费者接收主题一部分分区的消息。 Kafka消费者的横向伸缩： 为每一个需要获取一个或者多个主题全部消息的应用程序创建一个消费者群组，然后往群组里添加消费者来伸缩读取能力和处理能力，群 阅读全文
摘要：
默认分区器 ProducerRecord对象包含了目标主题（topic）、键（key）和值（value）。Kafka的消息是一个个键值对，ProducerRecord对象可以只包含目标主题和值，键可以设置为默认的null，不过大多数应用程序会用到键。键有两个用途：可以作为消息的附加信息，也可以用来决 阅读全文
摘要：
对于需要保证顺序的消息，在Producer发布消息时，需要保证分发到同一Partition，并且设置参数max.in.flight.requests.per.connection=1。同时，每个Partition只会被consumer group中的一个consumer消费。如此便可严格保证Kafk 阅读全文
摘要：
HDFS(Hadoop Distributed FileSystem), 是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的 机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 一、特点及限制 HDFS以流式数据访问模式来存储超大文件 阅读全文
摘要：
以下的安装说明适用于Mac、Hadoop2.9.0 一、安装前提 支持的平台 GNU/Linux可以作为开发、生产运行环境，在GNU/Linux部署的集群可以支持2000+个节点。 也支持windows平台。 依赖的软件 Java，Hadoop2.7以上版本要求Java版本7以上； 安装了ssh，并 阅读全文