Fork me on GitHub

02 2021 档案

摘要:1. 如何选择消息队列 几个比较常见的开源的消息队列中间件,选择消息队列产品的基本标准 首先,必须是开源的产品; 其次,这个产品必须是近年来比较流行并且有一定社区活跃度的产品,流行的产品与周边生态系统会有一个比较好的集成和兼容,比如, Kafka 和 Flink 就有比较好的兼容性,Flink 内置 阅读全文
posted @ 2021-02-10 23:07 kris12 阅读(295) 评论(0) 推荐(0) 编辑
摘要:1. 丢消息 检测消息丢失的方法 一般而言,一个新的系统刚刚上线,各方面都不太稳定,需要一个磨合期,这个时候,特别需要监控到你的系统中是否有消息丢失的情况。 如果是 IT 基础设施比较完善的公司,一般都有分布式链路追踪系统,使用类似的追踪系统可以很方便地追踪每一条消息。 可以利用消息队列的有序性来验 阅读全文
posted @ 2021-02-09 09:20 kris12 阅读(1462) 评论(0) 推荐(0) 编辑
摘要:Kafka的高性能 Kafka 的性能绝对是处于第一梯队的。我曾经在一台配置比较好的服务器上,对 Kafka 做过极限的性能压测,Kafka 单个节点的极限处理能力接近每秒钟 2000 万条消息,吞吐量达到 每秒钟 600MB。你可能会问,Kafka 是如何做到这么高的性能的? 怎么开发一个高性能的 阅读全文
posted @ 2021-02-09 08:09 kris12 阅读(680) 评论(0) 推荐(0) 编辑
摘要:ADS聚合 需求分析 以热门品牌统计为例,将数据写入到ads层,然后根据各种报表及可视化来生成统计数据。通常这些报表及可视化都是基于某些维度的汇总统计。 热门商品统计(作业) 热门品类统计(作业) 交易用户性别对比(作业) 交易用户年龄段对比(作业) 交易额省市分布(作业) 业务流程图 ADS层写入 阅读全文
posted @ 2021-02-03 10:46 kris12 阅读(278) 评论(0) 推荐(0) 编辑
摘要:1. Table API和SQL Flink本身是批流统一的处理框架,所以Table API和SQL,就是批流统一的上层处理API。 目前功能尚未完善,处于活跃的开发阶段。 Table API是一套内嵌在Java和Scala语言中的查询API,它允许我们以非常直观的方式,组合来自一些关系运算符的查询 阅读全文
posted @ 2021-02-02 09:18 kris12 阅读(731) 评论(0) 推荐(0) 编辑
摘要:数据的准备 有直接将日志生成到文件,而是将日志发送给某一个指定的端口 1. 通过SpringBoot进行日志的采集 开发SpringBoot程序gmall-logger,采集日志数据 借助Logbak将采集的日志落盘 (1) 在LoggerController上加@Slf4j注解,并通过log.in 阅读全文
posted @ 2021-02-02 09:16 kris12 阅读(278) 评论(0) 推荐(0) 编辑

levels of contents
点击右上角即可分享
微信分享提示