随笔分类 - Kafka

摘要：package com.gm.hive.SparkHive;import java.util.Arrays;import java.util.Collection;import java.util.HashMap;import java.util.List;impor... 阅读全文

posted @ 2018-05-07 14:42 疯狂的小萝卜头阅读(1048) 评论(0) 推荐(0) 编辑

摘要：apache-flume-1.8.0-bin、kafka_2.11-0.10.0.0、spark-2.0.0-bin-hadoop2.7hadoop-2.8.0、hbase-1.2.6、apache-hive-2.1.1-bin、zookeeper-3.4.10、sq... 阅读全文

posted @ 2018-05-04 11:20 疯狂的小萝卜头阅读(222) 评论(0) 推荐(0) 编辑

摘要：package com.test;import java.util.*;import org.apache.spark.SparkConf;import org.apache.spark.TaskContext;import org.apache.spark.api.... 阅读全文

posted @ 2018-05-03 16:39 疯狂的小萝卜头阅读(1501) 评论(0) 推荐(0) 编辑

摘要：前提已完成Kafka的搭建，具体步骤参照CentOS7搭建Kafka单机环境及基础操作Flume安装下载wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin... 阅读全文

posted @ 2018-04-26 10:30 疯狂的小萝卜头阅读(131) 评论(0) 推荐(0) 编辑

摘要：前提安装Kafka前需要先安装zookeeper集群，集体安装方法请参照我的另一篇文档。Kafka安装下载wget https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz 解压tar -... 阅读全文

posted @ 2018-04-25 17:25 疯狂的小萝卜头阅读(501) 评论(0) 推荐(0) 编辑

摘要：问题描述： kafka是之前早就搭建好的，新建的storm集群要消费kafka的主题，由于kafka中已经记录了很多消息，storm消费时从最开始消费问题解决：下面是摘自官网的一段话：How KafkaSpout stores offsets of a Kafk... 阅读全文

posted @ 2018-04-25 17:01 疯狂的小萝卜头阅读(2250) 评论(0) 推荐(0) 编辑

疯狂的小萝卜头