Runner_Jack

摘要： 一、踩坑经历 自定义的accumulator是线程不安全的，会造成累加结果不正确。自定找了很久没想到是线程不安全行成的。 二、解决方法 创建一个线程安全的集合变量（我用的是Java的ConcurrentHashMap),赋好初始值 ，在重写add方法时，将旧的值取出来累加后再放回去(取与放的动作要加 阅读全文

摘要： 答案：保存在driver端。因此需要对收集的信息的规模要加以控制，不宜过大。避免 driver端的outofmemory问题！！！ 阅读全文

摘要： import java.util.Properties;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig; public cla 阅读全文

摘要： 在Scala中存在case class，它其实就是一个普通的class。但是它又和普通的class略有区别，如下： 1、初始化的时候可以不用new，当然你也可以加上，普通类一定需要加new； scala> case class Iteblog(name:String) defined class I 阅读全文

摘要： 1、安装 sudo yum -y install docker 2、加入开机自启systemctl enable docker 阅读全文

摘要： 1、将kafka里lib目录下（除jar包外还有别的东西）所有的jar包导入工程中。 2、代码 public static void main(String[] args) { //声明连接属性 Properties properties = new Properties(); properties 阅读全文

摘要： 1、pom加载jar包 阅读全文

摘要： 1、KafkaUtils.createDstream 构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据，利用的是Kafka高层次的消费者ap 阅读全文

摘要： 1、下载并解压。 tar -xvf kafka_2.12-1.0.0.tgz 2、进入config目录修改server.properties文件。 log.dirs=/tmp/kafka-logs 3、修改zookeeper.properties dataDir=/tmp/zookeeper 4、启 阅读全文

摘要： 阅读全文