01 2024 档案
摘要：1）【莫奈可视化平台】新品上线 京东莫奈可视化平台通过自由拖拽、图形化编辑、所见即所得的方式，快速实现极致酷炫、直观清晰的视觉场景，将海量繁杂数据背后所蕴含的价值更直观、深层、全面的展现出来，辅助决策者合理决策。 2）【移动端应用监控 SGM-mobile】新品上线 移动端监控SGM-Mobile专
阅读全文
摘要：streampark+flink一键整库或多表同步mysql到doris实战，此应用一旦推广起来，那么数据实时异构时，不仅可以减少对数据库的查询压力，还可以减少数据同步时的至少50%的成本，还可以减少30%的存储成本； streampark搭建 二进制包编译构建 编译构建二进制可执行包，使用自己构建
阅读全文
摘要：很多不太了解的人会认为：数据治理就是干数据清洗的。 近两年，在我们公司，数据治理团队在数据降本方面做的比较多，效果还不错，我们很多人可能以为：数据治理就是做数据清理的。 在京东科技集团数据治理工作组第一次全体会议上，我就讲过数据治理和数据清洗之间的关系： 数据清洗只是指通过识别和纠正数据中的错误、缺
阅读全文
摘要：A、Problem Description 1. PageHelper方法使用了静态的ThreadLocal参数，在startPage()调用紧跟MyBatis查询方法后，才会自动清除ThreadLocal存储的对象。 2. 当一个线程先执行了A方法的PageHelper.startPage（int
阅读全文
摘要：1.首页推荐非内积召回现状 非内积召回源是目前首页推荐最重要的召回源之一。同时非内积相比于向量化召回最终仅将user和item匹配程度表征为embeding内积，非内积召回仅保留item embedding，不构造user显式表征，而是通过一个打分网络计算用户-商品匹配程度，极大的提升了模型精准度的
阅读全文
摘要：一、前言 软件在持续的开发和维护过程中，会不断添加新功能和修复旧的缺陷，这往往伴随着代码的快速增长和复杂性的提升。若代码库没有得到良好的管理和重构，就可能积累大量的技术债务，包括不一致的设计、冗余代码、过时的库和框架以及不再使用的功能。这些因素都会导致软件结构的脆弱，增加系统出错的可能性，我们俗称为
阅读全文
摘要：一、内容提要 自知是人外有人，天外有天，相信对于Log4j2的异步日志打印早有老师或者同学已是熟稔于心，优化配置更是信手拈来，为了防止我在这里啰里八嗦的班门弄斧，我先将谜底在此公布：log4j2.asyncQueueFullPolicy=Discard & log4j2.discardThresho
阅读全文
摘要：一、前言 《幻兽帕鲁》是一款备受瞩目的开放世界生存建造游戏，近期火爆全网。玩家可以在游戏世界中收集神奇的生物“帕鲁”，并利用它们进行战斗、建造、农耕、工业生产等各种活动。 《幻兽帕鲁》官方推荐搭建专有服务器，话不多说直接从0到1搭建起来！ •创建主机：在京东云上选择轻量云主机或者云主机，快速创建主机
阅读全文
摘要：一、现状介绍 算法策略在广告行业中起着重要的作用，它可以帮助广告主和广告平台更好地理解用户行为和兴趣，从而优化广告投放策略，提高广告点击率和转化率。模型系统作为承载算法策略的载体，目前承载搜索、推荐、首焦、站外等众多广告业务和全链路的深度学习建模，是广告算法算法创新和业务迭代发展的重要基石。 架构全
阅读全文
摘要：背景 部门内有一些亿级别核心业务表增速非常快，增量日均100W，但线上业务只依赖近一周的数据。随着数据量的迅速增长，慢SQL频发，数据库性能下降，系统稳定性受到严重影响。本篇文章，将分享如何使用MyBatis拦截器低成本的提升数据库稳定性。 业界常见方案 针对冷数据多的大表，常用的策略有以2种： 1
阅读全文
摘要：你曾读spring源码 “不知所云”、“绞尽脑汁”、“不知所措”嘛🤣🤣🤣 那这篇文章可能会对你有所帮助，小编尝试用简单、易懂的例子来模拟spring经典代码👉Spring Bean生命周期及扩展点， 让你能够轻松的读懂Spring Bean的生命周期，更加深入的理解Spring。 那好，下面
阅读全文
摘要：一、热更新解决了什么问题？ 在研发过程中，每个研发同学在联调、自测阶段中总会频繁的去执行编译、构建、打包的动作，遇到比较大的项目，执行一套流程下来，往往需要3-10分钟左右，极大的降低了研发的速度，基于以上痛点，我们基于JAVA Agent技术开发出一套插件【藏经阁热更新插件】，通过热更新方式，实现
阅读全文
摘要：一、背景介绍 CDP系统提供了强大的标签和群体的构建能力，面对海量数据的标签和群体，我们采用了Bitmap+ClickHouse的存储与计算方案。详细内容可以参考之前文章。 有了群体之后，它们被广泛的应用到支付，消金，财富，营销等各种核心业务的用户拉新，交易转化，促活等核心链路中。 而人群应用方式中
阅读全文
摘要：一、背景介绍 CDP系统中目前存在大量由用户ID集合组成的标签和群体，截止当前已有几千+标签，群体2W+。 大量的标签都是亿级别数据量以上，例如性别、职业、学历等均，甚至有群体中的ID数量达到了数十亿+。 并且随着用户ID池的不断增加，标签和群体本身包含的ID数量也随之增加，如何存储如此多的数据，标
阅读全文
摘要：背景 目前大促备战常见备战工作：专项压测（全链路压测、内部压测）、灾备演练、降级演练、限流、巡检（监控、应用健康度）、混沌演练（红蓝对抗），如下图所示。随着平台业务越来越复杂，红蓝对抗的作用愈来愈明显，下面将详细介绍大数据平台在大促备战工作中是如何开展红蓝对抗的。 首先我们先了解一下什么是红蓝对抗，
阅读全文
摘要： 1 前言 Elasticsearch作为一个分布式搜索引擎，自身是高可用的；但也架不住一些特殊情况的发生，如： 集群超过半数的master节点丢失，ES的节点无法形成一个集群，进而导致集群不可用； 索引shard的文件损坏，分片无法被正常恢复，进而导致索引无法正常提供服务 本地盘节点，多数据节点
阅读全文
摘要：前言 随着金融App业务的不断发展，为了满足不同场景下的用户体验及丰富的业务诉求，业务产品层面最直接体现就是大量新功能的上线及老业务的升级，随之也给研发带来了巨大的压力，所以研发效率的提升就是当前亟需解决的问题，今天我们来看下“画眉”平台是如何帮助前端研发同学提效的。 前端开发流程概述 在讨论之前，
阅读全文
摘要：1 前言 在日常开发工作中，我们经常用Mybatis Generator根据表结构生成对应的实体类和Mapper文件。但是Mybatis Generator默认生成的代码中，注释并不是我们想要的，所以一般在Generator配置文件中，会设置不自动生成注释。带来的问题就是自动生成代码之后，我们还要自
阅读全文
摘要：一、项目背景 到店商详是平台为京东到店业务提供的专属商详页面，将传统电商购物路径打造成以LBS+门店属性的本地生活服务交易链路。 二、架构变迁 1、 主站商详扩展点 优点：到店侧仅关注业务，无需过度关注服务部署、性能优化等。 缺点：涉及方较多，需求开发周期长，上线依赖方多；到店侧无法了解到全流程，不
阅读全文
摘要：在现代信息化的市场环境和社会中，标准化已经成为了各种行业的一个重要的标志。标准化不仅可以提升生产效率，减轻质量问题，还可以增加产品的可靠性和互通性。在这篇文章中，我们将探讨如何做标准化，为您提供详细的指导和建议。 一、了解标准化的定义和意义 标准化是一个广泛的概念，可以涉及到各种不同的领域。在商业上
阅读全文
摘要：一、系统介绍和问题描述 如何在Mysql中实现上亿数据的遍历查询？先来介绍一下系统主角：关注系统，主要是维护京东用户和业务对象之前的关注关系；并对外提供各种关系查询，比如查询用户的关注商品或店铺列表，查询用户是否关注了某个商品或店铺等。但是最近接到了一个新需求，要求提供查询关注对象的粉丝列表接口功能
阅读全文
摘要：1 导读 数据的一致性是数据准确的重要指标，那如何实现数据的一致性呢？本文从事务特性和事务级别的角度和大家一起学习如何实现数据的读写一致性。 2 一致性 1.数据的一致性：通常指关联数据之间的逻辑关系是否正确和完整。 举个例子：某系统实现读写分离，读数据库是写数据库的备份库，小李在系统中之前录入的学
阅读全文
摘要：1.前言 程序员间有句名言——“Talk is cheap, show me the code！”源码的确相较于言语更接近程序真实的状态，包含了更多的一手信息。因此，无论是刚开始学习代码的小白还是久经沙场的代码大神，不管是学习优秀的开源项目还是做老项目的重构，代码阅读都是开发者必备的技能之一。但在业
阅读全文
摘要：一. 背景 在一次系统opsreview中，发现了一些服务配置了@Cacheable注解。@cacheable 来源于spring cache框架中，作用是使用aop的方式将数据库中的热数据缓存在redis/本地缓存中，代码如下： @Cacheable(value = { "per" }, key=
阅读全文
摘要： 1 前言 在《ElasticSearch降本增效常见的方法》一文中曾提到过zstd压缩算法[1]，一步一个脚印我们终于在京东ES上线支持了zstd；我觉得促使目标完成主要以下几点原因： Elastic官方原因：zstd压缩算法没有在Elastic官方的开发计划中；Elastic的licenes变
阅读全文
摘要：Elasticsearch在db_ranking 的排名不断上升，其在存储领域已经蔚然成风且占有非常重要的地位。 随着Elasticsearch越来越受欢迎，企业花费在ES建设上的成本自然也不少。那如何减少ES的成本呢？今天我们就特地来聊聊ES降本增效的常见方法： 弹性伸缩 分级存储 其他：（1）数
阅读全文
摘要：1、背景 魔笛活动平台目前在采集每个活动的用户行为数据并进行查询，解决线上问题定位慢，响应不及时的问题，提升客诉的解决效率。目前每天采集的数据量5000万+，一个月的数据总量15亿+，总数据量40亿+，随着接入的活动越来越多，采集上报的数据量也会越来越大。目前采用ClickHouse来存储数据，可以
阅读全文
摘要：引言 在京东家居事业部，线索CRM系统扮演着至关重要的角色，它作为构建家居场景核心解决方案集的首要环节，肩负着获客和拓展业务的重要使命。然而，随着业务的不断扩张和市场需求的日益增长，系统原有的架构开始显露出诸多不适应之处，如架构设计不再清晰，代码存在过量冗余，核心的读写接口响应时间长等问题，这些问题
阅读全文
摘要：1、前言 不要犹豫了，GC最大停顿时间小于1ms，支持16TB内存，这么高的性能提升，也不需要复杂的调优，节省了这个时间，你去陪对象不香嘛。 上篇文章给大家带来了JDK11升级JDK17的最全实践，相信大家阅读后对于升级JDK17有了基本的了解。同时我们也会比较好奇，ZGC的原理是啥样的，怎么做到停
阅读全文
摘要：一、业务背景 系统业务功能：系统内部进行数据处理及整合, 对外部系统提供结果数据的初始化(写)及查询数据结果服务。 系统网络架构: • 部署架构对切量上线的影响 - 内部管理系统上线对其他系统的读业务无影响 •分布式缓存可进行单独扩容, 与存储及查询功能升级无关 •通过缓存层的隔离, 系统扩展期间外
阅读全文
摘要：1 什么是数字化资产 维克托·迈尔·舍恩伯格在《大数据时代》中提到：“虽然数据还没有被列入企业的资产负债表，但这只是一个时间问题。”数据资源将和土地、人力、资金等生产要素一样，成为企业的资产。业界对于数据资产的定义是企业或组织拥有或控制的，能在未来带来经济利益的数据资源。 数字化资产是指由企业拥有或
阅读全文
摘要：一、业务背景 系统业务功能：系统内部进行数据处理及整合, 对外部系统提供结果数据的初始化(写)及查询数据结果服务。 系统网络架构: 部署架构对切量上线的影响 - 内部管理系统上线对其他系统的读业务无影响 分布式缓存可进行单独扩容, 与存储及查询功能升级无关 通过缓存层的隔离, 系统扩展期间外部系统可
阅读全文
摘要： 当项目的SQL查询慢得像蜗牛爬行时，用户的耐心也在一点点被消耗，作为研发，我们可不想看到这样的事。这篇文章将结合行云部署项目的实践经验，带你走进SQL优化的奇妙世界，一起探索如何让那些龟速的查询飞起来！ 序章：EXPLAIN - 揭开查询的神秘面纱 EXPLAIN命令是数据库管理员和SQL开发人
阅读全文
摘要：一、前言 我们经常听到研发人员和测试人员抱怨：“测试环境怎么又不能用了！”、“测试环境现在部署的是master包！”、“测试环境数据又被人改了？”、“测试环境怎么部署的这么慢！”、“测试环境里的公共服务，你用的时候我只能等着？”、“测试环境挂了，我自动化脚本全失败了！”测试环境是是测试实施的基础，测
阅读全文
摘要： 前言 近年来，Rust的受欢迎程度不断上升。首先，在操作系统领域，Rust 已成为 Linux 内核官方认可的开发语言之一，Windows 也宣布将使用 Rust 来重写内核，并重写部分驱动程序。此外，国内手机厂商 Vivo 也宣布使用 Rust 开发了名为“蓝河”的操作系统。除此之外，Rust
阅读全文
摘要：物流的分拣业务在某些分拣场地只有一个数据源，因为数据量比较大，将所有数据存在一张表内查询速度慢，也为了做不同设备数据的分库管理，便在这个数据源内创建了多个不同库名但表完全相同的数据库，如下图所示： 现在需要上线报表服务来查询所有数据库中的数据进行统计，那么现在的问题来了，该如何 满足在配置一个数据源
阅读全文
摘要：一、背景简介 站长工作台，致力于为京东物流所有站长、运营管理人员提供高效工作平台，拥有多元化的业务形态。我们力求提升团队研发效率、实现敏捷业务交付，以打造一支具备灵活性、高度协作和强适应能力的敏捷团队。 二、提效案例描述 2.1、痛点分析 站长工作台的报表页面和任务卡片页面，大多数的UI风格和交互方
阅读全文
摘要：本篇我们讲红黑树的经典实现，Java中对红黑树的实现便采用的是经典红黑树。前一篇文章我们介绍过左倾红黑树，它相对来说比较简单，需要大家看完上篇再来看这一篇，因为旋转等基础知识不会再本篇文章中赘述。本篇的大部分内容参考 《算法导论》和 Java 实现红黑树的源码，希望大家能够有耐心的看完。 在正文开始
阅读全文
摘要：书接上文，前面在 Spring 应用合并之路（一）：摸石头过河 介绍了几种不成功的经验，下面继续折腾… 四、仓库合并，独立容器 在经历了上面的尝试，在同事为啥不搞两个独立的容器提醒下，决定抛开 Spring Boot 内置的父子容器方案，完全自己实现父子容器。 如何加载 web 项目？ 现在的难题只
阅读全文
摘要：本文通过介绍分布式应用下各个场景的全局日志ID透传思路，以及介绍分布式日志追踪ID简单实现原理和实战效果，从而达到通过提高日志查询排查问题的效率。 背景 开发排查系统问题用得最多的手段就是查看系统日志，相信不少人都值过班当过小秘吧：给下接口和出入参吧，麻烦看看日志里的有没有异常信息啊等等，但是在并发
阅读全文
摘要：公司在推进降本增效，在尝多种手段之后，发现应用太多，每个应用都做跨机房容灾部署，则最少需要 4 台机器（称为容器更合适）。那么，将相近应用做一个合并，减少维护项目，提高机器利用率就是一个可选方案。 经过前后三次不同的折腾，最后探索出来一个可行方案。记录一下，分享出来，希望对有相关需求的研发童鞋有所帮
阅读全文
摘要：0.背景 在近期的项目中，系统涉及到针对系统的业务操作日志统计功能，由于本系统位于业务链路的中心环节，负责接收上游系统的数据，并将基于用户操作产生的数据传递至下游系统，鉴于业务链路的复杂性和操作场景的多样性，我们计划通过对核心业务数据进行全生命周期的日志记录来提升问题解决的效率，并为用户提供更多的工
阅读全文
摘要：平衡二叉搜索树 平衡二叉搜索树（Balanced Binary Search Tree）的每个节点的左右子树高度差不超过 1，它可以在 O(logn) 时间复杂度内完成插入、查找和删除操作，最早被提出的自平衡二叉搜索树是 AVL 树。 AVL 树在执行插入或删除操作后，会根据节点的平衡因子来判断是否
阅读全文
摘要：前言 商智C店，是依托移动低码能力搭建的一个应用，产品面向B端商家。随着应用体量持续增大，考虑产品定位及用户体验，我们针对性能较差页面做了一次优化，并取得了不错的效果，用户体验值（UEI）从一般提升到良好。本文详细记录了优化思路及过程，期望给正在或打算做用户体验提升的小伙伴提供一些参考。 一、性能优
阅读全文
摘要：· 2022 年的零售电商迎来了 Ta 的第 14 个双十一大促，在全平台营销活动的助力下，线上流量及销售总额依旧保持平稳增长。在流量增长趋缓的背后，零售电商的生意模式，已经从抢夺增量完全转变为了竞争存量。与此同时，随着音频、短视频等泛创意内容发展，多元化的营销内容在一点点地抢夺着消费者的注意力。
阅读全文
摘要：一、背景 随着越来越多的"新人"在日常工作以及大促备战中担当大任，我们发现仅了解自身系统业务已不能满足日常系统开发运维需求。为此，大数据平台部门组织了一次Bug Bash活动，既能提升自己对兄弟产品的理解和使用，又能促使自家产品功能日趋完善。今天来给大家分享一些实际操作过程和经验总结~ 二、什么是B
阅读全文
摘要：在去年、我整理了一篇名为《如何做架构设计？》的文章，主要探讨了架构设计的目标和过程，然而、那是一篇概括性的文章，用于启发思路，并不是具体的实践指南，因此、我一直期望给出具体参考案例。 我几乎忘了这件事，如今回顾、我发现并没有合适的案例可供参考，现有的案例要么不完整、要么是与业务耦合的特定场景，要么无
阅读全文
摘要：在大数据环境下，通过个人用户网络活动产生的数据，可以清晰地分析出用户的年龄、职业、行为规律和兴趣爱好。特别是随着电子商务和移动网络的应用和普及，个人用户的地址、联系方式和银行账户信息也可以通过大数据挖掘或网络爬虫等手段获取。因此，个人信息安全管理压力增大，用户个人信息泄露事件时有发生。莫名其妙的销售
阅读全文
摘要：一、预案演练 预案演练主要解决的问题是：根据单个系统的应急预案，模拟应用系统的一种或多种故障场景，验证系统的可靠性。 1.1、预案演练形式 预案演练根据应急预案组织相关的应急组织机构和人员，针对事先假设的异常应急场景，通过模拟实际决策、指挥和技术操作，完成应急响应及处置的过程，从而检验和提高相关人员
阅读全文
摘要： 前言 我的优惠券作为营销玩法的一种运营工具，在营销活跃场中起到很至关重要的作用。如何更加高效的赋能业务，助理业务发展，灵活扩展业务，是我们一直追求和思考的方向 一、背景 1.1 现状 营销中台作为券的“供应链端”，控制券的所有类型。 我的优惠券作为工具，提供用户已有优惠券的展示列表，不同类型的券
阅读全文
摘要：一、前言 性能测试之于软件系统，是保障其业务承载能力及稳定性的关键措施。以软件系统的能力建设为主线，系统能力设计工作与性能测试工作，既有先后之顺序，亦有相互之影响。以上，在性能测试的场景决策，架构分析、流量分析、压测实施和剖解调优等主要环节中，引发对于系统能力底盘夯实和测试策略改进的诸多思考。 在性
阅读全文