03 2024 档案
摘要：京东作为openKylin（开放麒麟）社区理事单位，在加入社区后，京东发起成立了SBOM SIG组。SBOM SIG组负责推动和促进软件物料清单（SBOM）的发展和工具建设。近日，SBOM工具已在openKylin社区完成开源，保障openKylin相关软件供应链安全和可追溯性。 SBOM工具能解决
阅读全文
摘要：TL;DR Code Review 速查手册 参考资料 https://composity.com/post/too-busy-to-improve https://commadot.com/wtf-per-minute/ https://dl.acm.org/doi/10.1145/3585004
阅读全文
摘要：背景： 移动端预览PDF文件，通用的解决方案是使用vue-pdf插件，其内置pdf.js，原理是基于 HTML5 的 <pdf> 标签，通过将 PDF 文件转换为图片或<canvas>来实现对 PDF 文件的预览，插件好使没毛病😆，但是如果我们的需求是要在移动端预览内容很密集的文件时，预览效果就不
阅读全文
摘要：1.【言犀模型服务】新品上线 言犀模型服务平台致力于为开发者提供AI原生应用开发的全链路服务，内置丰富的应用插件，提供便捷的集成方式，结合企业专属数据和API，助力企业高效完成大模型应用构建。 2.【数据库管理服务DMS】新品上线 数据库管理服务DMS（Database Management Ser
阅读全文
摘要：问题： 查询大数据量的时候，例如一次返回50w数据量的包，循环去查询发现读取会超时。 解决方案： 经过思考采用多线程去分页查询。使用线程池创建多个线程去查询分页后的数据最后汇总一下，解决了一次查询大量数据返回超时的问题。 一次查询现状： 多线程分页查询改造图： 效果：使用多线程去查询查询时间由原来的
阅读全文
摘要：什么是IO？ IO中的I就是input，O就是output,IO模型即输入输出模型,而比较常听说的便是磁盘IO,网络IO。 什么是操作系统的IO? 我们如果需要对磁盘进行读取或者写入数据的时候必须得有主体去操作，这个主体就是应用程序。 应用程序是不能直接进行一些读写操作(IO)的,因为用户可能会利用
阅读全文
摘要：一、一个线程池中的线程异常了，那么线程池会怎么处理这个线程? 需要说明，本文的线程池都是java.util.concurrent.ExecutorService线程池，本文将围绕验证，阅读源码俩方面来解析这个问题。 二、代码验证 2.1 验证execute提交线程池中 2.1.1 测试代码： pub
阅读全文
摘要：背景 百川专项是指物流统一打造企业级能力平台，战略上聚焦纯配、仓配类业务主线，以提升前台业务整体交付吞吐率为核心目标，支撑物流开放领域解决方案和标准产品的快速交付实施。计划以“百川”专项项目为契机，加速推动BP团队将ECLP中各自业务的单据和履约职能整理下沉到订单中心和各自业务的履约层中，以实现业务
阅读全文
摘要：背景 由于在开发前端项目中，后台管理端和用户端存在多个模块和页面逻辑可以复用，管理模块和用户端渲染模块使用同一套状态管理机制，只是在管理端和用户端的入口和路由模块不同，为了能够在开发时同时修改管理端和用户端共用模块，不用多项目工程修改和发布，我们基于vite多页面的基础上实现了多端同构开发和部署。
阅读全文
摘要：这篇文章是我学习算法的心得，希望它能够给一些将要学习算法且准备要读大部头算法书籍的朋友一些参考，节省一些时间，也为了给经典的“黑皮书”祛魅，我觉得这些书籍在大部分互联网从业者心中已经不再是进步的阶梯，而是恐惧的阴影了，因为当一些学习路线中列出这些书目时，评论区多是调侃少是交流和讨论。在这之前我也这些
阅读全文
摘要：一、方案背景： 在此前的项目中有个需求是用户需要通过前端页面上传大约1.5G的压缩包，存储到OSS，后提供给其他用户下载。于是我开始了大文件上传方案的探索。本文主要探究的是前端技术实现，后端给予相应的支持。 二、 原理探索之路 2.1大文件上传想要实现的目标 在此项目中，我想实现的目标是 能够快速的
阅读全文
摘要：hive 1：hive是怎么产生的？ 2：hive的框架是怎么样的？ 3：hive 执行流程是什么？ 4：hive sql是如何把sql语句一步一步到最后执行的？ 5：hive sql任务常用参数调优做过什么？ spark 6：spark 是怎么产生的？ 7：spark 框架是怎么样的？ 8: sp
阅读全文
摘要：评判一个数仓模型的好处需要考虑以下几个方面： 1：数据准确性： 数仓模型的数据必须准确，能够真实反映业务的情况，否则整个数仓就失去了意义。评判数据准确性的方式是与原始数据进行比对和校验，确保数据的一致性和正确性。 2：数据质量: 数仓模型的数据质量也是评判的重要指标之一。数据质量包括数据完整性、一致
阅读全文
摘要：1. 引言 研究背景 数据库性能的重要性 数据库性能优化对于保证应用的响应速度和处理大量数据的能力至关重要。它可以显著减少查询时间，提高事务处理效率，降低硬件成本，并确保系统稳定性与可扩展性。优化后的数据库能够更好地服务于用户需求，增强客户满意度，对企业的长期发展和竞争力具有深远影响。 连接池在数据
阅读全文
摘要：一、背景介绍 传统的电商平台通常依靠人工拍摄和编辑产品图片，这需要大量的时间和资源。AI数字模特可以根据需要调整模特的外貌、体型和风格。这样，电商平台可以快速、高效地生成大量的产品展示图片，同时可以根据消费者的需求和喜好进行个性化定制。 1.1 初始想法 最初我们主要聚焦到两个具体的业务场景： •人
阅读全文
摘要：背景： 在软件开发过程中，系统稳定性是一个重要的考量因素。它直接影响到软件的性能、可靠性和用户体验。然而，由于各种原因，如需求迭代、架构升级、配置变更、人力变动、系统不熟悉等，系统稳定性可能会受到影响。一直想写一篇风险管理的文章，想着从项目管理的风险维度出发，对系统稳定性进行有效的风险管理，来保证系
阅读全文
摘要：业务系统核心目标是挣钱，系统稳定性建设核心是防止丢钱（丢钱逻辑如下图所示），站在公司的角度看，产品功能建设和系统稳定性是同等重要。 前段时间写了《 稳定性治理框架 》，该文章在稳定性建设的理论和实践基础上，抽象出稳定性治理的框架，希望建立一个稳定性治理的标准动作、最佳实践。但从读者的反馈上看，有过类
阅读全文
摘要：整体优化思路： 1. 按需查询、2. 分小批次游标查询、3. JED场景下按数据库分片分组更新 、4. 精准定位要处理的数据、5.负载均衡 业务背景： 站外广告投放平台在做推广管理状态优化重构的时候，引入了四个定时任务。分别是单元时间段更新更新任务，计划时间段更新任务，单元预算撞线恢复任务，计划预算
阅读全文
摘要：背景 随着分布式微服务的发展，一个普通的应用可能会依赖于许多其他服务，这给系统的限流降级、优化改造等操作带来了困难。在没有明确强弱依赖关系的情况下，我们很难有效地进行这些操作。为了解决这个问题，强弱依赖治理成为了一种科学的手段。通过强弱依赖治理，我们可以持续稳定地获取应用间的依赖关系、流量以及强弱等
阅读全文
摘要：前言 在react中，对一个组件进行点击事件等操作时，该组件以及该组件的子组件都会重新渲染。避免组件的重新渲染一般可以借助 React.memo、useCallback 等来实现。 什么是 memo memo 原理 memo 类似于 class 中 pureComponent 的特性，用于在函数式组
阅读全文
摘要：问题描述 分页返回的记录总数total和每页数量pageSize一致，数据库统计的数量大于当前返回的总记录数total，以下是相关代码 问题分析 sql错误导致返回信息有误？检查结果：经过数据执行日志中生成的sql，sql正常并且数据总条数也正确 PageHelper使用方式错误，导致数据错误检查结
阅读全文
摘要：数据中台 对于大部分人来说，都是使用数据中台，如果让你来搭建一个数据中台，你知道应该搭建什么功能，才算是一个相对合格的数据中台吗？ 数据中台在普通开发者来说，感觉就是有很多功能，那么具体有哪些呢？就算是一名普通开发者，也应该知道数据中台具备哪些功能，里面的具体功能模块也应该熟悉，技术人员的立命之本。
阅读全文
摘要：倒排索引 倒排索引是什么？为什么es、hbase、doris、starrocks都有倒排索引？ 倒排索引（英文：Inverted Index），是一种索引方法，常被用于全文检索系统中的一种单词文档映射结构。现代搜索引擎绝大多数的索引都是基于倒排索引来进行构建的，这源于在实际应用当中，用户在使用搜索引
阅读全文
摘要：导语： 2月14日晚间，Gartner公布了2024年度Gartner Power of the Profession供应链大奖，京东集团荣获供应链技术创新奖，成为获得该奖项的唯一亚洲企业。Gartner Power of the Profession供应链奖项已经举办十年，是衡量企业供应链创新能力
阅读全文
摘要：每年年底或年初都会有各种总结规划，业务部门有业务的规划，研发部门有研发的技术规划，下面分享一下对系统技术规划的几点思路。 研发技术规划重点对所负责系统的技术架构升级、技术债问题以及运维问题进行梳理并根据梳理的问题制定匹配的方案，据此方案提前进行技术储备和资源预留。 业务数据分析 我们在做系统技术规划
阅读全文
摘要：一、前言 在大型软件系统中，随着业务的发展和变迁，部分代码线上已经废弃或者出现冗余，由于种种原因没有被及时删除和治理，随之而来的是代码维护成本提升。 代码精简的价值如上图所示，并由此成为服务治理的一个重要方向，在业界头部企业也有对应的治理项目谷歌【死神】项目，用机器人大规模删除代码：二十多年积累了数
阅读全文
摘要：AI代码辅助工具 尝试各种辅助编程的AI工具 笔者是一个后端Coder~，开发工具使用Idea和VsCode。在过去我一直尝试找到一款适合自己的智能代码辅助工具，来告别繁琐的重复性编码，好提高开发效率。直到AIGC和AI Agent的迅速发展，越来越多的AI编码辅助工具百花齐放。宣告天下-生成式编码
阅读全文
摘要：博弈论是一门很有趣的学科，本文将以博弈问题《三个枪手》为脉络，从零基础开始介绍博弈论，和大家一起博弈论是如何解决实际问题的。希望通过本文，让大家都能听懂博弈论。 题目：《三个枪手》 三个小伙子同时爱上了一个姑娘，为了决定他们谁能娶这个姑娘，他们决定用枪进行一次决斗。A的命中率是30％，B比他好些，命
阅读全文
摘要：AIGC内容生成平台是京东出品的一款基于AI大模型的生成式内容生产工具，它可以帮助用户快速、高效地生成堪比棚拍质感的商品场景图和堪比专业写手的营销文案，让摄影小白1分钟制作百张商品图，百篇营销文案。 1、产品能力介绍 京点点AIGC内容生成平台是京东基于AIGC能力的内容创作平台，帮助京东商家用户提
阅读全文
摘要：导语：没人怀疑，2024 年，AI 依然将是科技界的主角。上个月，OpenAI 推出了可以生成 60 秒高清视频的视频生成模型 Sora，掀起了对多模态模型的进一轮讨论。多模态大模型技术的最新进展如何？这一波新技术，对于行业和消费者的体验会带来哪些变化？面对一波波快速、热闹的突破和变化，技术人员该如
阅读全文
摘要：京东 ES 支持 ZSTD 压缩算法上线了，这是一种高性能、低成本的压缩算法，能够提高数据存储和传输的效率，同时降低存储和带宽成本。ZSTD 算法是一种快速压缩算法，可提供比其他压缩算法更高的压缩比和更快的压缩速度。这意味着，京东 ES 用户可以更高效地存储和传输数据，同时节省存储和带宽成本。此外，
阅读全文
摘要：一、前言 2023年，大语言模型以前所未有的速度和能力改变我们对智能系统的认知，成为技术圈最被热议的话题。但“百模大战”终将走向“落地为王”，如何将大语言模型的强大能力融入实际业务、产生业务价值成为致胜关键。 在零售场，大模型应用面临的核心挑战包括以下三点： （1）模型缺乏零售领域的专业知识，建设业
阅读全文
摘要：开篇 京东自营和商家自运营模式，以及伴随的多种运营视角、多种组合计算、多种销售属性等数据维度，相较于行业同等量级，数据处理的难度与复杂度都显著增加。如何从海量的数据模型与数据指标中提升检索数据的效率，降低数据存算的成本，提供更可信的数据内容和多种应用模式快速支撑业务的数据决策与分析，是数据团队去年聚
阅读全文
摘要：1、前言 推荐领域算法模型的在线推理是一个对高并发、高实时有较强要求的场景。算法最初是基于Wide & Deep相对简单的网络结构进行建模，容易满足高实时、高并发的推理性能要求。但随着广告模型效果优化进入深水区，基于Transformer用户行为序列和Attention的建模逐渐成为主流，这个阶段模
阅读全文
摘要：导语： 2月14日晚间，Gartner公布了2024年度Gartner Power of the Profession供应链大奖，京东集团荣获供应链技术创新奖，成为获得该奖项的唯一亚洲企业。Gartner Power of the Profession供应链奖项已经举办十年，是衡量企业供应链创新能力
阅读全文
摘要：一、HarmonyOS简介 HarmonyOS是一款“面向未来”、面向全场景（移动办公、运动健康、社交通信、媒体娱乐等）的分布式操作系统。在传统的单设备系统能力的基础上，HarmonyOS提出了基于同一套系统能力、适配多种终端形态的分布式理念，能够支持多种终端设备。 2024年开始，更新后的鸿蒙，A
阅读全文
摘要：测试生产监控发现数据库死锁报错：org.springframework.dao.DeadlockLoserDataAccessException: ### Error updating database. Cause: com.mysql.cj.jdbc.exceptions.MySQLTransa
阅读全文
摘要：一、代码精简背景 随着业务需求的不断增加和产品的逐步完善，我们应用对应的代码库也在日益庞大，其中有用的、无用的、低频使用的、灰度验证的等各种类型的代码堆积在一起，给后续接手的同学增加了很多的维护和学习成本。有些代码逻辑缺乏文档说明，无人能看懂，更不敢随意修改。当有新需求需要改动这些代码时，大多数选择
阅读全文
摘要：1.keys命令 keys命令相信大家应该都用过，该命令会遍历整个redis的字典空间，对要查找的key进行匹配并返回。 就像官方文档所说：在生产环境使用该方法的过程中要非常小心，因为redis服务器在执行该命令的时候其他客户端读写命令都会被阻塞。 使用方法： KEYS pattern 示例： 12
阅读全文
摘要：在日常工作中经常会遇到系统应用出现full gc、cpu内存飙高等场景，如果想要快速解决这些线上问题就需要首先能快速定位，最好能定位到具体代码。本文旨在通过一款线上监控诊断产品，阿里巴巴的arthas（阿尔萨斯）内部集成的火焰图工具async-profiler结合自身系统应用中的使用，方便我们能够快
阅读全文
摘要：一、JavaScript 1.JavaScript语言 JavaScript是ECMAScript的实现,由ECMA 39(欧洲计算机制造商协会39号技术委员会)负责制定ECMAScript标准。 ECMAScript发展史: 时间 版本 说明 1997年7月 ES1.0 发布 当年7月，ECMA2
阅读全文
摘要：前言： 当程序员👨🏻💻遇到难以解决的bug时，大家都会说同样的口头禅：真是见了鬼了（建国后不可以） 现象： 手机电池栏左黑右白，如下图 👈🏻左边的时间是黑色的字体，右边的信号和电池是白色的字体👉🏻，这种感觉就像电池栏在呼喊： 我与你之间虽只差一个灵动岛的距离，却已是黑白相隔 心路历程
阅读全文
摘要：一、下载 可通过官网下载： https://developer.harmonyos.com/cn/develop/devevo-studio 二、安装（经过实践了） 三、配置 •nodejs&ohpm配置 •SDK配置 •等待（这块还是稍微有点慢，不要焦急😂） 四、应用（demo） •HelloW
阅读全文
摘要：1 引言 第一次在社区发文聊ADR（架构决策记录）是在2022年8月份，在文章（ 轻量级ADR机制 ）中，详细介绍了以下几个主题： •团队研发面临的主要问题 •ADR的结构剖析 •ADR的存储形式 •ADR在研发流程中所处的位置 •ADR常见的误区与疑问 在实践中发现仍然有一些普遍性问题与挑战可以探
阅读全文
摘要：在如今云原生技术的大环境下，rpc服务作为最重要的互联网技术，蓬勃发展，诞生了许多知名基于rpc协议的框架，其中就有本文的主角gRPC技术。 一款高性能、开源的通用rpc框架 作者作为一名在JD实习的Cpper，经过一段时间的学习和实践，发现了C++与Java之间的种种不同，这也让我产生了一个想法：
阅读全文