03 2018 档案

Kafka系列四 flume-kafka-storm整合
摘要：flume-kafka-storm flume读取日志数据，然后发送至kafka。 1、flume配置文件 2、启动flume 3、需要在flume机器上修改hosts文件，添加上kafka的主机名和ip的映射。 4、在kafka上创建主题 5、模拟生成日志脚本 6、在kafka上开启消费者 至此， 阅读全文
posted @ 2018-03-20 15:01 IT-執念 阅读(1428) 评论(0) 推荐(0)
Kafka系列三 java API操作
摘要：使用java API操作kafka 1.pom.xml 2.producer和consumer配置文件 2.1producer.properties 2.2consumer.properties 3.生产者和消费者代码 3.1 KafkaProducerSimple.java 3.2 KafkaCo 阅读全文
posted @ 2018-03-16 10:33 IT-執念 阅读(3174) 评论(0) 推荐(0)
Kafka系列二 kafka相关问题理解
摘要：1、kafka是什么 类JMS消息队列，结合JMS中的两种模式，可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。 kafka是一个生产-消费模型。 producer:生产者，只负责数据生产，生产者的代码可以集成到任何系统中。数据的分发策略由producer决定，默认是D 阅读全文
posted @ 2018-03-15 23:47 IT-執念 阅读(625) 评论(0) 推荐(0)
Kafka系列一 基本安装
摘要：一 配置文件（下载、解压、跳过） 1 # Licensed to the Apache Software Foundation (ASF) under one or more 2 # contributor license agreements. See the NOTICE file distri 阅读全文
posted @ 2018-03-13 19:06 IT-執念 阅读(382) 评论(0) 推荐(0)
Storm 第四章 Storm常见问题
摘要：1、集群如何启动，任务如何执行？ java -server nimbus,supervisor client >createTopology(序列化) >提交jar到nimbusinbox >nimibus分配任务(task总数/worker数) 写到zk。 启动worker< 识别自己的任务< s 阅读全文
posted @ 2018-03-07 10:09 IT-執念 阅读(428) 评论(0) 推荐(0)