摘要: 如果javaapi长时间消费不到数据,需要在kafka集群中的server.properties配置如下代码: # Hostname the broker will advertise to producers and consumers. If not set, i$ # value for "h 阅读全文
posted @ 2018-11-16 22:50 ~奔跑的蜗牛~ 阅读(193) 评论(0) 推荐(0) 编辑
摘要: RDB:如果我们配置这样的方式,那么它的效率很高,因为不需要每一步都存储,执行效率低,相当于快照一样,但是它有缺点,因为当我们达到配置的要求时,它不会执行存储,那么突然宕机,数据将无法恢复 AOF:如果我们用AOF方式,那么这种方式将保存你的持久化数据完整性,但是效率低,因为每次都会存储,根据你的执 阅读全文
posted @ 2018-11-16 22:48 ~奔跑的蜗牛~ 阅读(193) 评论(0) 推荐(0) 编辑
摘要: SparkStreaming的Receiver方式和直连方式的区别?Receiver接收固定时间间隔的数据(放在内存中的),使用kafka高级API,自动维护偏移量, 达到固定时间才能进行处理,效率低下(),并且容易丢失数据 Direct直连方式,相当于直连连接到Kafka的分区上,使用Kafka底 阅读全文
posted @ 2018-11-16 21:32 ~奔跑的蜗牛~ 阅读(3925) 评论(0) 推荐(0) 编辑