随笔分类 - 大数据
摘要:报错信息: ava HotSpot(TM) 64-Bit Server VM warning: Ignoring option MaxPermSize; support was removed in 8.0 SLF4J: Class path contains multiple SLF4J bind
阅读全文
摘要:Kafka消费者 消费者和消费者群组 Kafka消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题,每个消费者接收一部分分区的消息。若分区的数量大于等于消费者的数量,则消费者会消费一个或多个分区的数据。若分区的数量小于消费者的数量就会出现闲置消费者。 上面为1个组群,下面是2个组群的情况,
阅读全文
摘要:Kafka生产者 下面是生产者使用kafka的API发送消息的过程 可以从上面看出,如果发送成功则会返回元数据,否者抛出异常! 创建Kafka生产者 属性介绍 bootstrap.servers:指定broker的地址清单,没有必要填写所有的地址,生产者会根据已有地址找到所有broker地址。 ke
阅读全文
摘要:Mac-Kafka安装 安装kafka brew install kafka 设置单机版本,修改监听端口 vim /usr/local/etc/kafka/server.properties //修改 listeners=PLAINTEXT://localhost:9092 启动服务 brew se
阅读全文
摘要:Kafka学习目录 Mac-Kafka安装 Kafka生产者 Kafka消费者
阅读全文
摘要:Spark学习笔记 连接数据库 大数据中各种框架的连接器(Spark, Flink, MongoDB, Kafka, Hive, Hbase等) Spark-基础 spark DataFrame聚合操作 spark的DataFrame的schema模式:读时模式, 指定模式+ spark读写文件+
阅读全文
摘要:Flink DataStream API 学习笔记 连接数据库 大数据中各种框架的连接器(Spark, Flink, MongoDB, Kafka, Hive, Hbase等)
阅读全文
