随笔分类 -  大数据

摘要:报错信息: ava HotSpot(TM) 64-Bit Server VM warning: Ignoring option MaxPermSize; support was removed in 8.0 SLF4J: Class path contains multiple SLF4J bind 阅读全文
posted @ 2024-10-18 03:55 青山新雨 阅读(15) 评论(0) 推荐(0) 编辑
摘要:Kafka消费者 消费者和消费者群组 Kafka消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题,每个消费者接收一部分分区的消息。若分区的数量大于等于消费者的数量,则消费者会消费一个或多个分区的数据。若分区的数量小于消费者的数量就会出现闲置消费者。 上面为1个组群,下面是2个组群的情况, 阅读全文
posted @ 2023-05-07 13:47 青山新雨 阅读(27) 评论(0) 推荐(0) 编辑
摘要:Kafka生产者 下面是生产者使用kafka的API发送消息的过程 可以从上面看出,如果发送成功则会返回元数据,否者抛出异常! 创建Kafka生产者 属性介绍 bootstrap.servers:指定broker的地址清单,没有必要填写所有的地址,生产者会根据已有地址找到所有broker地址。 ke 阅读全文
posted @ 2023-05-07 13:46 青山新雨 阅读(22) 评论(0) 推荐(0) 编辑
摘要:Mac-Kafka安装 安装kafka brew install kafka 设置单机版本,修改监听端口 vim /usr/local/etc/kafka/server.properties //修改 listeners=PLAINTEXT://localhost:9092 启动服务 brew se 阅读全文
posted @ 2023-05-07 13:44 青山新雨 阅读(455) 评论(0) 推荐(0) 编辑
摘要:Kafka学习目录 Mac-Kafka安装 Kafka生产者 Kafka消费者 阅读全文
posted @ 2023-05-07 13:36 青山新雨 阅读(13) 评论(0) 推荐(0) 编辑
摘要:Spark学习笔记 连接数据库 大数据中各种框架的连接器(Spark, Flink, MongoDB, Kafka, Hive, Hbase等) Spark-基础 spark DataFrame聚合操作 spark的DataFrame的schema模式:读时模式, 指定模式+ spark读写文件+ 阅读全文
posted @ 2023-02-13 22:41 青山新雨 阅读(36) 评论(0) 推荐(0) 编辑
摘要:Flink DataStream API 学习笔记 连接数据库 大数据中各种框架的连接器(Spark, Flink, MongoDB, Kafka, Hive, Hbase等) 阅读全文
posted @ 2023-02-13 22:01 青山新雨 阅读(15) 评论(0) 推荐(0) 编辑
摘要:Hive学习笔记 阅读全文
posted @ 2021-05-11 19:46 青山新雨 阅读(39) 评论(0) 推荐(0) 编辑
摘要:MongoDB学习笔记 阅读全文
posted @ 2021-05-11 19:44 青山新雨 阅读(28) 评论(0) 推荐(0) 编辑
摘要:Hbase学习笔记 阅读全文
posted @ 2021-05-11 19:43 青山新雨 阅读(36) 评论(0) 推荐(0) 编辑
摘要:Hadoop笔记 阅读全文
posted @ 2021-05-11 19:39 青山新雨 阅读(34) 评论(0) 推荐(0) 编辑

more_horiz
keyboard_arrow_up light_mode palette
选择主题
点击右上角即可分享
微信分享提示