随笔分类 - kafka
Connection to node -1 (hdp1/192.168****:9092) could not be established. Broker may not be available.
摘要：WARN [AdminClient clientId=adminclient-1] Connection to node -1 (hdp1/192.168.13.130:9092) could not be established. Broker may not be available. (org
阅读全文
摘要：分析：由于模拟数据条数多，次数多，导致kafka主题接收数据过多，kafka坠机，代码不能获取到数据 解决：删除三台虚拟机的日志文件，为我们自己创建的，下的mete.properties
阅读全文
摘要：启动HDFS，start-all.sh 启动Zookeeper，myzk.sh start /opt/zookeeper-3.4.10/bin/zkServer.sh $1 启动Kafka，mykafka.sh start /opt/kafka_2.11-2.4.1/bin/kafka-server
阅读全文
摘要：数据文件——链接: https://pan.baidu.com/s/1M9M_4eupYEHHfXS0HdiO8g?pwd=p3nx 提取码: p3nx 复制这段内容后打开百度网盘手机App，操作更方便哦 用户行为数据集，保存为 UserBehavior.csv文件。本数据集包含了某宝上某一天随机一
阅读全文
摘要：1、自定义Flink数据源，按照如下要求造数据 数据格式{ "adsId": 1, "userId": 1, "provinceName":"山西" "timestamp": 1636690000 } adsId是广告id，取值范围为1-10 userId是用id，取值1-50000 provinc
阅读全文
摘要：题目一：以下为学生期末考试的部分数据，请按要求完成统计，格式如下{"name":"zhangsan","sex":"m",”kemu”:”yuwen”,"score":66} 1) 创建kafka主题ods_score_topic,要求一个备份，一个分区 2) 创建生产者，往主题里添加15条以上数据
阅读全文
摘要：数据 sensors2,1,1650866635 sensors2,2,1650866636 sensors2,3,1650866633 sensors2,4,1650866641 sensors2,5,1650866642 sensors4,6,1650866634 sensors4,7,1650
阅读全文
摘要：kafka >kafka spark >{ Master 主节点 Woker 副节点 } zookeeper >{ QuorumPeerMain } hadoop >{ NodeManager SecondaryNameNode NameNode //管理 DateNode //存储数据 }
阅读全文
摘要：版本如下： jdk: jdk1.8.0_131 mysql: 5.5.54 hadoop: 2.8.1 zookeeper:3.4.10 kafka: 2.11-2.4.1网盘链接 链接: https://pan.baidu.com/s/1XUhqSbKnzREBOTo5W_gl1Q 提取码: rf
阅读全文
摘要：kafka简介： Kafka 是一种分布式的，基于发布 / 订阅的消息系统。主要设计目标如下： 以时间复杂度为 O(1) 的方式提供消息持久化能力，即使对 TB 级以上数据也能保证常数时间复杂度的访问性能。 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条以上消息的传输。 支持
阅读全文
摘要：redis出现这个错误，让我一顿找啊，三种原因 一：redis没有启动，建议配置redis自启动 Linux下Redis的安装、配置及开机自启动-阿里云开发者社区 (aliyun.com) 二：防火墙没有关闭，或者防火墙的白名单中没有redis的进程号，被拦截 防火墙相关 - 梅老板家的番茄 - 博
阅读全文
摘要：log4j:WARN No appenders could be found for logger (org.springframework.context.support.ClassPathXmlApplicationContext). log4j:WARN Please initialize t
阅读全文
摘要：1.安装 kafka安装包可以通过官网下载：https://kafka.apache.org/downloads 本次案例使用 kafka_2.11-1.0.0.tgz， 把软件上传或下载到/opt/ 下目录 2.解压缩 tar -zxvf kafka_2.11-1.0.0.tgz 3.kafka配
阅读全文
摘要：报错信息：java.io.IOException: Unable to create data directory /opt/kafka/my_zookeeper/version-2 at org.apache.zookeeper.server.persistence.FileTxnSnapLog.
阅读全文
