11 2018 档案

Kafka读取本地文件作为生产者
摘要：package com.qf.utils;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;import kafka.seria 阅读全文
posted @ 2018-11-17 13:36 ~奔跑的蜗牛~ 阅读(4489) 评论(1) 推荐(0)
Redis连接池
摘要：package com.qf.spark.scalaimport java.sql.{Connection, DriverManager}import java.util/** * 连接池 */object ConnectionPoolUtil { /** * 需要设置的连接池数据 */ priva 阅读全文
posted @ 2018-11-17 13:34 ~奔跑的蜗牛~ 阅读(672) 评论(0) 推荐(0)
如果javaapi长时间消费不到数据
摘要：如果javaapi长时间消费不到数据，需要在kafka集群中的server.properties配置如下代码： # Hostname the broker will advertise to producers and consumers. If not set, i$ # value for "h 阅读全文
posted @ 2018-11-16 22:50 ~奔跑的蜗牛~ 阅读(202) 评论(0) 推荐(0)
Redis 持久化的两种方式
摘要：RDB:如果我们配置这样的方式，那么它的效率很高，因为不需要每一步都存储，执行效率低，相当于快照一样，但是它有缺点，因为当我们达到配置的要求时，它不会执行存储，那么突然宕机，数据将无法恢复 AOF：如果我们用AOF方式，那么这种方式将保存你的持久化数据完整性，但是效率低，因为每次都会存储，根据你的执 阅读全文
posted @ 2018-11-16 22:48 ~奔跑的蜗牛~ 阅读(201) 评论(0) 推荐(0)
kafka结合streaming的两种方式
摘要：SparkStreaming的Receiver方式和直连方式的区别？Receiver接收固定时间间隔的数据(放在内存中的)，使用kafka高级API，自动维护偏移量， 达到固定时间才能进行处理，效率低下（），并且容易丢失数据 Direct直连方式，相当于直连连接到Kafka的分区上，使用Kafka底 阅读全文
posted @ 2018-11-16 21:32 ~奔跑的蜗牛~ 阅读(3968) 评论(0) 推荐(0)
二分法查找
摘要：/** * 二分法查找 * .二分查找要求：（1）必须采用顺序存储结构 （2）.必须按关键字大小有序排列 * 原理：将数组分为三部分，依次是中值（所谓的中值就是数组中间位置的那个值）前， * 中值，中值后；将要查找的值和数组的中值进行比较，若小于中值则在中值前 面找， * 若大于中值则在中值后面找， 阅读全文
posted @ 2018-11-12 22:39 ~奔跑的蜗牛~ 阅读(154) 评论(0) 推荐(0)