07 2024 档案
摘要：“安全产品那么多，我怎么知道防住了？”“大家都说自己是云原生的，我看都是换汤不换药”在与客户沟通云原生安全方案的时候，经常会遇到这样的吐槽。越来越的客户已经开始了云原生化的技术架构改造，也意识到了云原生安全的重要性。但是面对还未像传统安全一样形成格局的云原生安全市场，鱼龙混杂，客户往往花掉了很多的时
阅读全文
摘要：1.HVV行动简介 HVV行动是国家应对网络安全问题所做的重要布局之一。从2016年开始，随着我国对网络安全的重视，演习规模不断扩大，越来越多的单位都加入到HVV行动中，网络安全对抗演练越来越贴近实际情况，各机构对待网络安全需求也从被动构建，升级为业务保障刚需，而2023年的国家HVV目前已经结束。
阅读全文
摘要：云原生安全风险 随着云原生架构的快速发展，核心能力逐渐稳定，安全问题日趋紧急。在云原生安全领域不但有新技术带来的新风险，传统IT基础设施下的安全威胁也依然存在。要想做好云原生安全，就要从这两个方面分别进行分析和解决。 新技术带来新的安全风险 云原生的概念定义本身就比较抽象，从诞生到现在也经历了多次变
阅读全文
摘要：简介 JDK 8 中 CompletableFuture 没有超时中断任务的能力。现有做法强依赖任务自身的超时实现。本文提出一种异步超时实现方案，解决上述问题。 前言 JDK 8 是一次重大的版本升级，新增了非常多的特性，其中之一便是 CompletableFuture。自此从 JDK 层面真正意义
阅读全文
摘要：接触MySQL数据库的小伙伴一定避不开索引，索引的出现是为了提高数据查询的效率，就像书的目录一样。 某一个SQL查询比较慢，你第一时间想到的就是“给某个字段加个索引吧”，那么索引是什么？是如何工作的呢？一起静下心来，耐心看完这篇文章吧，干货不啰嗦，相信你一定会有所收获。 一、索引模型 模型也就是数据
阅读全文
摘要：1. 引言 面对复杂多变的运行环境、不可预测的用户输入以及潜在的编程错误，如何确保软件在遭遇异常情况时依然能够稳定运行，是每位开发者必须面对的挑战。防御性编程（Defensive Programming）正是为解决这一问题而生的一种编程范式，它强调在编程过程中预见并防范潜在的错误和异常情况，从而增强
阅读全文
摘要：本文通过介绍在实际工作中慢SQL治理的经历，来使得读者受到一定的启发，从而迸发出星星点光，扩展出自己独有的思路，进而减少系统中的慢SQL，提升用户的体验，甚至能将一些不可预知的高风险扼杀在摇篮里。 分享工作中的点点滴滴，贯彻千里之行，始于足下，最终以微不足道的量变引起化蝶的质变精神。以自己为例拒绝在
阅读全文
摘要：一、调度系统简介 Buffalo调度是一款京东自主研发的分布式DAG作业调度系统。为京东的数据开发工程师、算法工程师、数据分析师等用户提供了离线作业的编排&调试、监控运维、DAG调度等系统能力，致力于打造行业领先的稳定高效、产品简洁高体验、任务监控全面、资源容器化、系统能力开放化的ETL调度系统。
阅读全文
摘要：背景 我们的很多web应用在持续迭代中功能越来越复杂，参与的人员、团队不断增多，导致项目出现难以维护的问题，这种情况PC端尤其常见，微前端为我们提供了一种高效管理复杂应用的方案。但是在使用微前端的过程中，通常会有一些公共方法或公共组件，本文将对如何实现父子应用以及兄弟应用之间进行方法及组件共享提出几
阅读全文
摘要：分享工作中的点点滴滴，贯彻千里之行，始于足下，最终以微不足道的量变引起化蝶的质变精神。以自己为例拒绝在舒适的中央区域安逸的躺着，以便在不知不觉中被社会所淘汰，也不盲目的直接跃迁进困哪区域，在受挫的同时又跌回原有的舒适区域内，造成这样一个浑浑噩噩的让人无法进步的循环怪圈内，保持在舒适边缘的拉伸区，既跳
阅读全文
摘要：个人经历 大家好，我叫付小波，2017年加入京东，现担任全渠道生态部前端架构师。我负责过ToC和ToB多个业务，近几年主要专注于B端应用开发。以下是我的主要经历： - 2017年：负责主站虚拟交易业务研发，搭建首个虚拟交易类小程序； - 2019年：从C端转向B端系统，负责万家系统； - 2021年
阅读全文
摘要：一、背景简介 1.1、现状 •实际生产环境中，复杂业务系统对分布式服务集群架构的依赖。 •服务集群异质化节点的容器化部署，机器性能超卖现象不可避免、性能不均情况时有发生。 •服务集群各硬件组件出错率不可避免[1]，上层业务相关的应用软件系统需考虑容错设计。 •大促流量分布变化难以准确预见，系统服务稳
阅读全文
摘要：一、背景 部门中一核心应用，因为各种原因其依赖的MySQL数据库一直处于高水位运行，无论是硬件资源，还是磁盘使用率或者QPS等都处于较高水位，急需在大促前完成对应的治理，降低各项指标，以保障在大促期间平稳运行，以期更好的支撑前端业务。 二、基本情况 2.1、数据库 目前该数据库是一主两从，且都是零售
阅读全文
摘要：工作三年以来一直对写出设计优雅且可读性较好的代码抱有执念，最初接触到的关于代码整洁和软件设计的书是《代码整洁之道》，这本书大概在我入职半年时读完，并在很长的一段时间内将其中谈到的“每个方法只做一件事”、“方法长度最多不要超过 5 行”和“优秀的代码都是自解释的，很少会有注释”等等观点奉为圭臬，但是由
阅读全文
摘要：1、RPC（远程过程调用概述） 远程过程调用（RPC, Remote Procedure Call）是一种通过网络从远程计算机程序上请求服务，而无需了解网络细节的通信技术。在分布式系统中，RPC是一种常用的技术，能够简化客户端与服务器之间的交互。本文将介绍如何基于Netty（网络编程框架）实现一个自
阅读全文
摘要：一、引言 2008年，全球移动终端接入互联网的用户数首次超过使用桌面电脑接入互联网的用户数（国际电信联盟统计数据），标志着人类正式进入移动互联网时代。重要推动因素是2007年苹果公司发布的第一代iPhone开启了智能手机大量上市的浪潮，以iPhone为代表的智能手机不仅具有革命性的触屏设计和简单直观
阅读全文
摘要：背景 某天产品要求在项目的某个页面添加一个代码编辑器，包含编辑器常见的功能。看完需求，想到了强大的Monaco Editor。按照官方文档进行配置开发，就在自己觉得大功告成之际，右击编辑框，发现功能菜单是英文状态，然后就开启了我的右键功能菜单汉化之路。 问题剖析 在Monaco Editor的整个使
阅读全文
摘要：数据库问题 案例1 这段 SQL 查询语句是用于获取最近更新的前 10 个销售订单 sales_order 关联的交付信息 sales_order_delivery_info。 SELECT * FROM ( SELECT * FROM sales_order a WHERE trans_type
阅读全文
摘要：1. 引言 Code Review（下文简称CR），即代码审查，是一种通过评审代码以发现并修正错误的实践。它不是一个新概念，但在软件开发中，它的重要性毋庸置疑。首先，它可以显著降低软件中的缺陷比例；其次，它促进了知识共享，通过评审的过程，团队成员可以相互学习，增强对系统的整体理解；最后，CR是一种预
阅读全文
摘要：关于ClickHouse的基础概念这里就不做太多的赘述了，ClickHouse官网都有很详细说明。结合供应链数字化团队在使用ClickHouse时总结出的一些注意事项，尤其在命名方面要求研发严格遵守约定，对日常运维有很大的帮助，也希望对读者有启发。 目前供应链数字化ck集群用来存储实时数据，先通过下
阅读全文
摘要：一、前言 关于MySQL DDL表结构变更，各个工单平台基本上都支持了pt-osc及Online DDL的方式，但是，我相信仍然有一大部分人，不太了解这两种方式各自的优缺点是啥，以至于实际当中，会稀里糊涂的随机选一种去执行，选对了固然好，选错了，自然免不了领导的一顿K，这......当然是开玩笑的哈
阅读全文
摘要：在这背后，京东云作为京东618的技术基石，以技术创新降低数字基础设施成本，将大模型等智能技术贯穿业务全流程，实现自身和伙伴的降本增效，以真降本保障真低价。 京东云言犀大模型助力京东618数字基础设施持续降本，混合多云操作系统云舰、分布式存储平台云海、软硬一体虚拟化引擎京刚全面升级，实现综合成本降低2
阅读全文
摘要：人工智能大模型浪潮迭起，为更好地推广人工智能应用案例，中国通信工业协会及中国通信工业协会人工智能专委会近日发布《CCIA2023年度人工智能优秀案例》，京东云申报的Joycoder智能编程助手入选“AI技术创新应用”，京东云与深圳市信息安全管理中心联合申报的“安全大模型保障大模型应用落地实践”入选“
阅读全文
摘要：7月3日，中国信息通信研究院在全球数字经济大会上发布“2024安全守卫者计划优秀案例”，基于京东云智能编码工具JoyCoder研发的“京东微调大模型驱动漏洞修复”入选优秀案例。 该漏洞修复助手，能够对大模型生成代码进行智能修复，为程序员开启代码漏洞修复的“自动驾驶”模式，不但减少人工接入、提高工作效
阅读全文
摘要：TaD：任务感知解码技术（Task-aware Decoding，简称TaD），京东联合清华大学针对大语言模型幻觉问题提出的一项技术，成果收录于IJCAI2024。 RAG：检索增强生成技术（Retrieval-augmented Generation，简称RAG），是业内解决LLM幻觉问题最有效的
阅读全文
摘要：背景 背景1：作为一名测试，日常工作中必不可少的几个环节是查看需求文档、编写测试用例、处理线上问题、能力提升等，基于集团的https://xxx.jd.com/工具能一次性帮我们把这些事情都做了； 背景2：作为XXX共建项目的成员之一同时也是第一批用户，我用它做了几个测试实践，和大佬们一起探讨交流。
阅读全文
摘要：引言 我在2018年校招进入京东，主要负责广告投放系统的前端工作。在京东，这一路走来，我经历了多种角色转换，我从学生到职场人，从校招生到校招导师，从初级前端开发到前端技术专家，也见证了京东广告业务的蓬勃发展。 回顾过去的成长历程，我心中充满了感慨。首先，我要衷心感谢那些与我并肩作战、共同奋斗的优秀同
阅读全文
摘要：背景 背景1：在日常的工作中，本地磁盘随着工作时间的变长，新建的目录会越来越多存放的文件也越来越多；每次想要找一个文件，确实要浪费一点时间，本着让时间更高效的原则，想着如果借助程序去检索那是不是更快些，于是有了下边的实践。 背景2：保险的销售人员也就是业务老师，由于资料过多，找起来确实不太方便，经常
阅读全文
摘要：作者 吴建超、李卓宇 RaftKeeper是一款高新能分布式共识服务，完全兼容Zookeeper但性能更出色，更多关于RaftKeeer参考Github，我们将RaftKeeper大规模应用到ClickHouse场景中，用于解决ZooKeeper的性能瓶颈问题，同时RaftKeeper也可以用于其它
阅读全文
摘要：引言 在当今快速演变的技术场景中，服务设计不仅仅是遵循通用的设计规范和最佳实践的问题，它更深层次地触及到如何在满足这些标准的同时，确保服务能够灵活适应未来的变化、满足用户的期望。本篇文章旨在探讨在遵循通用设计规范之外，服务设计过程中需要考虑的关键因素。希望经过我们一系列的分享，能和大家一起讨论如何将
阅读全文
摘要：背景 如果数据在同一个服务的同一个数据库，通过SQL即可查询相对比较简单，但当数据被分布到不同服务不同的数据库中时，访问组合数据的操作就变的比较困难。针对这个问题，本文描述了服务读取不同服务的数据库的几种方法：服务间通信模式、数据缓存模式、数据复制模式、数据共享模式 本文的观点源自我在日常学习与实践
阅读全文
摘要：背景 高可用性的文章多如牛毛，看得人眼花缭乱。今天，咱们换个花样，以终为始，来聊聊如何实现系统业务的高可用性这个宏伟目标。本文覆盖高可用架构设计、常见架构模式、高可用开发运维、大促高可用保障、业务高可用、COE复盘等方面的理念和思考。 高可用性是个宏大的主题，覆盖的领域广泛。我们要聊的，都是实实在在
阅读全文
摘要：一、背景 测试小伙伴们在2023年保障了团队线上系统0问题，这简直就是一项了不起的壮举！这得益于咱们测试组同事对工作的细致投入、风险把控、以及严格遵循流程规范进行测试用例评审、自动化建设、联调推动、回归验证、常态化压测、大促高保真压测、引流回放等多重保险策略工作。尤其是测试团队在流量录制回放方面的实
阅读全文
摘要：在当今数字化时代，网络安全已成为企业运营中不可忽视的重要一环。随着技术的不断发展，黑客攻击手段也在不断升级，其中0day漏洞的利用更是让企业防不胜防。0day漏洞是指在厂商尚未发布补丁修复的情况下，黑客已经发现并利用的安全漏洞。这类漏洞的危害极大，往往会给企业带来严重的安全威胁和经济损失。 近日，O
阅读全文
摘要：大模型和开源的发展将带来全球软件研发技术的新变革，AI使代码自动化应用达到新水平，开源工具的云化和应用的AI化将促中国软件迎来新一轮的爆发。开发者正在迎接新一轮的技术浪潮变革。由CSDN和高端IT咨询和教育平台Boolan联合主办的2024年度「全球软件研发技术大会」于7 月4日-5日在北京威斯汀酒
阅读全文
摘要：没错！随着今天Apple Vision Pro国行版的正式发售，京东.Vision也正式和大家见面了！ 京东.Vision是什么？它是一款京东专为Apple Vision Pro用户打造的好玩、好逛、好买的沉浸式体验购物平台。 首期，京东.Vision以“家”场景为核心，覆盖了包括三星电视、哈曼卡顿
阅读全文
摘要：现在各种AI大模型大行其道，前有GhatGPT颠覆了我们对对话型AI的原有印象，后有Sora文生视频，让我们看到了利用AI进行创意创作的无限可能性。如今各大公司和团队都争相提出自己的大模型，各种网页端和软件应用也极大地降低了我们使用AI作为生产力的门槛。 我这次就为大家带来使用AI进行绘图的入门实践
阅读全文
摘要：一、前言 在现代物流场景中，包裹信息的准确性和处理效率至关重要。当前，京东快递在邮寄场景中面临着日益丰富的寄递品类和多样化的个性化需求。本文将深入探讨托寄物智能识别——大模型在京东快递物流场景中的应用与落地，分析其产生背景、应用效果及未来发展方向。 二、背景 随着电子商务的迅猛发展，物流行业面临着前
阅读全文
摘要：简介 在实时数据开发过程中，大家经常会用 Flink SQL 或者 Flink DataStream API 来做数据加工。通常情况下选用2者都能加工出想要的数据，但是总会有 Flink SQL 覆盖不了的问题，但 SQL 的易用性又难以让人释怀。所以有些场景在使用 FLink SQL 开始就与需要
阅读全文
摘要：1 目的 稳定可靠，降本增效 前后端数据传输约定旨在提升系统稳定性、可靠性，降低线上线下bug率；并提升研发效率、降低沟通成本、降低延期率。是确保项目前端和后端开发顺利进行的重要规约之一，定义了前端与后端交互的规则和标准。 2 数据传输约定 2.1 数据向后端传递，及在前端流转 1.前端URL传参：
阅读全文
摘要：非常感谢Kevin和张健对本文提供的建议和指导。 1. 概述 在数字化时代，数据是企业最宝贵的资产之一。随着技术的进步和数据量的爆炸性增长，如何有效地存储、管理和分析这些数据成为每个企业面临的重大挑战。数据库作为数据管理的核心技术，其选型对于系统至关重要。传统的关系型数据库（RDBMS）以其严格的A
阅读全文
摘要：数据权限控制需要对查询出的数据进行筛选，对业务入侵最少的方式就是利用mybatis或者数据库连接池的切片对已有业务的sql进行修改。切片逻辑完成后，仅需要在业务中加入少量标记代码，就可以实现对数据权限的控制。这种修改方式，对老业务的逻辑没有入侵或只有少量入侵，基本不影响老业务的逻辑和可读性；对新业务
阅读全文
摘要：概述 在物流系统相关的大屏中，供应链大屏复杂度较高，数据链路较长，稳定性要求较高，当前大屏已经经过2年时间的打磨，整体表现已经相对比较成熟稳定。 本文描述了物流供应链业务较复杂的业务场景下，结合了大数据计算相关技术，总结了实时监控大屏指标建设和服务构建的框架和经验，为后续其他核心大屏的高可用和高实时
阅读全文
摘要：背景 采购系统（BIP）在经历多年演进后，系统整体复杂度和数据量俨然已经极具规模，本文着重讨论海量数据的治理 存储现状：工程端实时订单库采用MySQL 5.5集群，其中主库配置为32C/48G/6000G，无法归档的订单热数据占磁盘空间85%（5.1T） 痛点：6T磁盘已经单容器最大，无法继续扩容，
阅读全文
摘要：最近刚刚接手了保险一线之声平台的开发和维护工作，第一个需要修复的问题是：平台的事件导出成excel功能在经过一次上线之后突然不可用了，于是就开始了几轮痛苦的排查以及与源码博弈的过程。 二、问题描述 一线之声在事件查询菜单下支持将结果导出为Excel，程序中使用easypoi+apache-poi实现
阅读全文
摘要：1、引言 由于目前比较火的chatGPT是预训练模型，而训练一个大模型是需要较长时间（参数越多学习时间越长，保守估计一般是几个月，不差钱的可以多用点GPU缩短这个时间），这就导致了它所学习的知识不会是最新的，最新的chatGPT-4o只能基于2023年6月之前的数据进行回答，距离目前已经快一年的时间
阅读全文
摘要：前言： 由于最近对spark的运行流程非常感兴趣，所以阅读了《Spark大数据处理：技术、应用与性能优化》一书。通过这本书的学习，了解了spark的核心技术、实际应用场景以及性能优化的方法。本文旨在记录和分享下spark运行的基本流程。 一、spark的基础组件及其概念 1. ClusterMana
阅读全文
摘要：1. 背景 京东的期中考试：618即将到来，各个团队都在进行期中考试前的模拟考试：军演压测，故障演练，系统的梳理以检测系统的稳定性以应对高可用，高性能，高并发。我们知道系统的稳定性建设是贯穿整个研发流程：需求阶段，研发阶段，测试阶段，上线阶段，运维阶段；整个流程中的所有参与人员：产品，研发，测试，运
阅读全文
摘要：一、我们为什么要了解浏览器？ 1. 对于前端开发者 1.浏览器是用户体验的第一线。我们需要了解浏览器的工作原理，才能有效地设计和实现用户界面，确保良好的用户体验。 2.好的产品需要考虑浏览器兼容性。我们需要了解这些差异，以确保网站或应用在不同的浏览器中都能正常工作，因为不同的浏览器对CSS、Java
阅读全文
摘要：导读：✍️ 本文主要介绍：智能聊天、PPT生成、与PDF文件智能对话、数字人创作、艺术创作。 作者：王禹展 部门：京东健康-技术产品部-供应链研发部-B2B研发组 一、大模型应用分享 1 Monica简介 官网： https://monica.im/ 1.1 搜索引擎伴侣 摘取搜索引擎关键词，在右侧
阅读全文
摘要：一、引言 在信息技术飞速发展的今天，运维工作已经从最初的人工操作，逐步演变为自动化、AIOps（人工智能运维）和ChatOps（通过聊天的方式去运维）。这些变革不仅提升了运维效率，还显著保障了系统的稳定性。特别是借助大模型，运维同学能够更加高效地完成工作，并应对复杂的运维挑战。本文将依次介绍这些概念
阅读全文