02 2021 档案
摘要：1. 如何选择消息队列 几个比较常见的开源的消息队列中间件，选择消息队列产品的基本标准 首先，必须是开源的产品； 其次，这个产品必须是近年来比较流行并且有一定社区活跃度的产品，流行的产品与周边生态系统会有一个比较好的集成和兼容，比如， Kafka 和 Flink 就有比较好的兼容性，Flink 内置
阅读全文
摘要：1. 丢消息 检测消息丢失的方法 一般而言，一个新的系统刚刚上线，各方面都不太稳定，需要一个磨合期，这个时候，特别需要监控到你的系统中是否有消息丢失的情况。 如果是 IT 基础设施比较完善的公司，一般都有分布式链路追踪系统，使用类似的追踪系统可以很方便地追踪每一条消息。 可以利用消息队列的有序性来验
阅读全文
摘要：Kafka的高性能 Kafka 的性能绝对是处于第一梯队的。我曾经在一台配置比较好的服务器上，对 Kafka 做过极限的性能压测，Kafka 单个节点的极限处理能力接近每秒钟 2000 万条消息，吞吐量达到 每秒钟 600MB。你可能会问，Kafka 是如何做到这么高的性能的？ 怎么开发一个高性能的
阅读全文
摘要：ADS聚合 需求分析 以热门品牌统计为例,将数据写入到ads层，然后根据各种报表及可视化来生成统计数据。通常这些报表及可视化都是基于某些维度的汇总统计。 热门商品统计（作业） 热门品类统计（作业） 交易用户性别对比（作业） 交易用户年龄段对比（作业） 交易额省市分布（作业） 业务流程图 ADS层写入
阅读全文
摘要：1. Table API和SQL Flink本身是批流统一的处理框架，所以Table API和SQL，就是批流统一的上层处理API。 目前功能尚未完善，处于活跃的开发阶段。 Table API是一套内嵌在Java和Scala语言中的查询API，它允许我们以非常直观的方式，组合来自一些关系运算符的查询
阅读全文
摘要：数据的准备 有直接将日志生成到文件，而是将日志发送给某一个指定的端口 1. 通过SpringBoot进行日志的采集 开发SpringBoot程序gmall-logger，采集日志数据 借助Logbak将采集的日志落盘 (1) 在LoggerController上加@Slf4j注解，并通过log.in
阅读全文
