// // // //

随笔分类 -  BD大数据-Kafka

 
spark异常篇-集群模式无法打印
摘要:在集群上运行 spark 时候,对 RDD 进行 foreach(print) 并没有打印任何内容,这是怎么回事呢? 这是因为 RDD 运行在各个 worker 上,foreach 是对 各个 worker 上的 RDD partition 进行操作,要打印也是打印在 worker 终端,所以驱动节 阅读全文
posted @ 2019-12-13 16:06 努力的孔子 阅读(931) 评论(0) 推荐(1) 编辑
spark异常篇-关闭程序
摘要:在运行 spark 程序时,出于某种原因,我想停止运行,狂按 ctrl+c 不一定起作用 以下两种情况是不好关闭的 1. cluster 运行模式 2. SparkStreaming 程序 本文旨在收集关闭这些程序的小技巧 1. 在程序中监听某个文件,如果文件存在,即停止运行 如果我们想停止程序,在 阅读全文
posted @ 2019-12-13 16:02 努力的孔子 阅读(878) 评论(0) 推荐(0) 编辑
kafka 教程(四)-原理进阶
摘要:kafka 最初由 Linkedin 公司开发,是一个 分布式、支持分区、多副本的,基于 zookeeper 协调的分布式发布订阅消息系统,该公司在 2010 年将 kafka 贡献给 apache 基金会,1年后升级为顶级项目。 kafka 由 scalar 语言编写, 并提供了多种语言的接口。 阅读全文
posted @ 2019-09-11 16:00 努力的孔子 阅读(785) 评论(0) 推荐(0) 编辑
kafka 教程(三)-远程访问
摘要:远程连接 kafka 配置 默认的 kafka 配置是无法远程访问的,解决该问题有几个方案。 方案1 advertised.listeners=PLAINTEXT://IP:9092 注意必须是 ip,不能是 hostname 方案2 advertised.listeners=PLAINTEXT:/ 阅读全文
posted @ 2019-09-10 17:25 努力的孔子 阅读(11541) 评论(0) 推荐(0) 编辑
kafka 教程(一)-初识kafka
摘要:消息队列 MQ 消息队列就是 消息 message 加 队列 queue,是一种消息传输的容器,提供生产和消费 API 来存储和获取消息。 消息队列分两种:点对点(p2p)、发布订阅(pub/sub) 相同点:生产的消息存入队列,都从队列中获取消息 不同点:p2p 模式是一个消息只能被消费一次,消费 阅读全文
posted @ 2019-09-05 17:43 努力的孔子 阅读(1747) 评论(0) 推荐(0) 编辑
Kafka 教程(二)-安装与基础操作
摘要:单机安装 1. 安装 java 2. 安装 zookeeper 【这一步可以没有,因为 kafka 自带了 zookeeper】 3. 安装 kafka 下载链接 kafka kafka 是 scalar 开发的,解压后的后的文件名 包含两个版本号,第一个是 scalar 版本,第二个是 kafka 阅读全文
posted @ 2019-09-05 17:39 努力的孔子 阅读(520) 评论(0) 推荐(0) 编辑

 

点击右上角即可分享
微信分享提示