摘要：
对于kafak与sparkstreaming集成后 存在的问题 一。基于receiver的方式在kafka1.0后好像是去取消了 都是高级api 默认是200毫秒接受的数据形成一个block块，设置5s为一个批次 那就是5000/200 为25个分区 1.val kafkaParams = Map( "zookeeper.connect" -> "bigdata.server... 阅读全文
摘要：
redis是一种高级的key:value存储系统，其中value支持五种数据类型： 1.字符串（strings） 2.字符串列表（lists） 3.字符串集合（sets） 4.有序字符串集合（sorted sets） 5.哈希（hashes） 而关于key，有几个点要提醒大家： 1.key不要太长，尽量不要超过1024字节，这不仅消耗内存，而且会降低查找的效率； 2.key也不要太短，太短... 阅读全文
摘要：
import java.util import kafka.common.TopicAndPartition import kafka.message.MessageAndMetadata import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD... 阅读全文