摘要: 用处:处理流式数据 1.写数据到hive(例如:埋点) 2.转化数据,将二进制转化为客户端可识别的json(例如:业务层面) 3.数据聚合(预警:例如访问次数,错误次数等用于判断风险阈值) 优点: 1.高吞吐、低延迟、高性能兼具实时流式计算框架。 2.支持高度容错的状态管理,防止状态在计算过程中因为 阅读全文
posted @ 2024-04-24 18:02 Alieen617 阅读(5) 评论(0) 推荐(0) 编辑
摘要: kafka是一个分布式发布订阅消息系统 优点:速度快 名词: 生产者(producer)、消费者(consumer)、topic(一个消息又一个topic)、partition(分区) 作用1: 传输数据(ey: 埋点) kafka发送消息失败的可能:1、网络问题导致kafka的服务器无法连接; 2 阅读全文
posted @ 2024-04-24 17:50 Alieen617 阅读(12) 评论(0) 推荐(0) 编辑