摘要： 简介 在实时数据开发过程中，大家经常会用 Flink SQL 或者 Flink DataStream API 来做数据加工。通常情况下选用2者都能加工出想要的数据，但是总会有 Flink SQL 覆盖不了的问题，但 SQL 的易用性又难以让人释怀。所以有些场景在使用 FLink SQL 开始就与需要 阅读全文

摘要： 1 目的 稳定可靠，降本增效 前后端数据传输约定旨在提升系统稳定性、可靠性，降低线上线下bug率；并提升研发效率、降低沟通成本、降低延期率。是确保项目前端和后端开发顺利进行的重要规约之一，定义了前端与后端交互的规则和标准。 2 数据传输约定 2.1 数据向后端传递，及在前端流转 1.前端URL传参： 阅读全文

摘要： 非常感谢Kevin和张健对本文提供的建议和指导。 1. 概述 在数字化时代，数据是企业最宝贵的资产之一。随着技术的进步和数据量的爆炸性增长，如何有效地存储、管理和分析这些数据成为每个企业面临的重大挑战。数据库作为数据管理的核心技术，其选型对于系统至关重要。传统的关系型数据库（RDBMS）以其严格的A 阅读全文

摘要： 数据权限控制需要对查询出的数据进行筛选，对业务入侵最少的方式就是利用mybatis或者数据库连接池的切片对已有业务的sql进行修改。切片逻辑完成后，仅需要在业务中加入少量标记代码，就可以实现对数据权限的控制。这种修改方式，对老业务的逻辑没有入侵或只有少量入侵，基本不影响老业务的逻辑和可读性；对新业务 阅读全文

摘要： 概述 在物流系统相关的大屏中，供应链大屏复杂度较高，数据链路较长，稳定性要求较高，当前大屏已经经过2年时间的打磨，整体表现已经相对比较成熟稳定。 本文描述了物流供应链业务较复杂的业务场景下，结合了大数据计算相关技术，总结了实时监控大屏指标建设和服务构建的框架和经验，为后续其他核心大屏的高可用和高实时 阅读全文

摘要： 背景 采购系统（BIP）在经历多年演进后，系统整体复杂度和数据量俨然已经极具规模，本文着重讨论海量数据的治理 存储现状：工程端实时订单库采用MySQL 5.5集群，其中主库配置为32C/48G/6000G，无法归档的订单热数据占磁盘空间85%（5.1T） 痛点：6T磁盘已经单容器最大，无法继续扩容， 阅读全文

摘要： 最近刚刚接手了保险一线之声平台的开发和维护工作，第一个需要修复的问题是：平台的事件导出成excel功能在经过一次上线之后突然不可用了，于是就开始了几轮痛苦的排查以及与源码博弈的过程。 二、问题描述 一线之声在事件查询菜单下支持将结果导出为Excel，程序中使用easypoi+apache-poi实现 阅读全文

摘要： 1、引言 由于目前比较火的chatGPT是预训练模型，而训练一个大模型是需要较长时间（参数越多学习时间越长，保守估计一般是几个月，不差钱的可以多用点GPU缩短这个时间），这就导致了它所学习的知识不会是最新的，最新的chatGPT-4o只能基于2023年6月之前的数据进行回答，距离目前已经快一年的时间 阅读全文

摘要： 前言： 由于最近对spark的运行流程非常感兴趣，所以阅读了《Spark大数据处理：技术、应用与性能优化》一书。通过这本书的学习，了解了spark的核心技术、实际应用场景以及性能优化的方法。本文旨在记录和分享下spark运行的基本流程。 一、spark的基础组件及其概念 1. ClusterMana 阅读全文

摘要： 1. 背景 京东的期中考试：618即将到来，各个团队都在进行期中考试前的模拟考试：军演压测，故障演练，系统的梳理以检测系统的稳定性以应对高可用，高性能，高并发。我们知道系统的稳定性建设是贯穿整个研发流程：需求阶段，研发阶段，测试阶段，上线阶段，运维阶段；整个流程中的所有参与人员：产品，研发，测试，运 阅读全文