02 2024 档案

或许我们都被分库分表约束了思维
摘要：概述 这篇文章没什么太多的干货，纯纯是一篇讨论和思考帖。 从业数据库领域三年有余了，从分库分表中间件到数据库团队内核学到了很多东西。也接触了很多项目，包括TiDB、Vitess、Polardb、StarDB等等。 国内的项目好像很多都聚焦于分库分表的概念，包括很多的数据库团队都在尝试这个概念的落地和 阅读全文
posted @ 2024-02-22 14:58 京东云开发者 阅读(31) 评论(0) 推荐(1) 编辑
人人都是架构师-清晰架构 | 京东物流技术团队
摘要：前言 了解清晰架构之前需要大家先熟悉以下常见架构方案： EBI架构(Entity-Boundary-Interactor Architecture)领域驱动设计(Domain-Driven Design)端口与适配器架构(Ports & Adapters Architecture,又称为六边形架构) 阅读全文
posted @ 2024-02-21 12:10 京东云开发者 阅读(97) 评论(0) 推荐(0) 编辑
运维工作新时代：自主编码实现运维自动化的转型之旅
摘要：引言 随着业务系统和底层中间件服务的复杂度不断增加，传统手工运维方式面临着诸多挑战和限制。人工编写运维脚本显得非常低效，同时手动执行运维操作存在着巨大风险。在此情况下，推动运维自动化成为运维人员必须落地实施的工作。运维同学如果可以有地方自主通过编码的方式，实现各种自动化任务和运维功能。不仅可以提高效 阅读全文
posted @ 2024-02-21 11:24 京东云开发者 阅读(106) 评论(0) 推荐(0) 编辑
分布式场景怎么Join | 京东云技术团队
摘要：背景 最近在阅读查询优化器的论文，发现System R中对于Join操作的定义一般分为了两种，即嵌套循环、排序-合并联接。在原文中，更倾向使用排序-合并联接逻辑。 考虑到我的领域是在处理分库分表或者其他的分区模式，这让我开始不由得联想我们怎么在分布式场景应用这个Join逻辑，对于两个不同库里面的不同 阅读全文
posted @ 2024-02-20 16:32 京东云开发者 阅读(19) 评论(0) 推荐(0) 编辑
spark为什么比mapreduce快？
摘要：spark为什么比mapreduce快？ 首先澄清几个误区： 1：两者都是基于内存计算的，任何计算框架都肯定是基于内存的，所以网上说的spark是基于内存计算所以快，显然是错误的 2;DAG计算模型减少的是磁盘I/O次数（相比于mapreduce计算模型而言），而不是shuffle次数，因为shuf 阅读全文
posted @ 2024-02-20 16:03 京东云开发者 阅读(110) 评论(0) 推荐(0) 编辑
当平台工程遇上DevEx：打造卓越的开发者体验
摘要：引言 近期在参与编写平台工程系列标准时，我发现开发者体验 (DevEx) 是一个不可忽视的关键因素，它对于构建一个成功的平台工程起到了重要的作用，DevEx 可以称之为平台工程的基础。基于我最近的学习和思考，我决定写这篇文章，想深入探讨一下 DevEx 对于内部开发平台的重要性，也希望为从事内部开发 阅读全文
posted @ 2024-02-20 15:30 京东云开发者 阅读(38) 评论(0) 推荐(0) 编辑
营销系统黑名单优化：位图的应用解析 | 京东云技术团队
摘要：背景 营销系统中，客户投诉是业务发展的一大阻碍，一般会过滤掉黑名单高风险账号，并配合频控策略，来减少客诉，进而增加营销效率，减少营销成本，提升营销质量。 营销系统一般是通过大数据分析建模，在CDP（客户数据平台，以客户为核心，围绕数据融合、人群圈选、用户洞察等提供产品能力）创建营销目标客户群体，黑名 阅读全文
posted @ 2024-02-19 15:17 京东云开发者 阅读(39) 评论(0) 推荐(0) 编辑
扯淡的DevOps，我们开发根本不想做运维！
摘要：引言 最初考虑引用“ DevOps 已死，平台工程才是未来”作为标题，但这样的表达可能太过于绝对。最终，决定用了“扯淡的”这个词来描述 DevOps，但这并不是一种文明的表达方式。 文章旨在重新审视 DevOps 和平台工程，将分别探讨 DevOps 和平台工程的概念，并重点分析平台工程所倡导的一些 阅读全文
posted @ 2024-02-19 10:14 京东云开发者 阅读(1669) 评论(2) 推荐(8) 编辑
哎呀，当时怎么没有想到 | 京东云技术团队
摘要：在我们的测试工作中，是不是经常遇到这样的情形，发生了线上问题，产品、研发或者测试同学一拍脑袋：当时怎么没有想到，怎么给漏掉了呢？明明是一个非常简单的事情，用大拇指都能想到的验证场景，为何当时就漏测了呢？但实际情况是，逃逸到线上的缺陷，疑难杂症式的极端异常的问题很少，大部分都不复杂且可以在设计和开发中 阅读全文
posted @ 2024-02-18 14:32 京东云开发者 阅读(55) 评论(0) 推荐(0) 编辑
糟糕，被SimpleDateFormat坑到啦！| 京东云技术团队
摘要：1. 问题背景 问题的背景是这样的，在最近需求开发中遇到需要将给定目标数据通过某一固定的计量规则进行过滤并打标生成明细数据，其中发现存在一笔目标数据的时间在不符合现有日期规则的条件下，还是通过了规则引擎的匹配打标操作。故而需要对该错误匹配场景进行排查，定位其根本原因所在。 2. 排查思路 2.1 数 阅读全文
posted @ 2024-02-18 10:34 京东云开发者 阅读(33) 评论(0) 推荐(0) 编辑
代码手术刀-自定义你的代码重构工具
摘要：前言 笔者近日在做代码仓库的存量代码缩减工作，首先考虑的是基于静态扫描的缩减，尝试使用了很多工具来对代码进行优化，例如PMD、IDEA自带的inspect功能、findBugs等。但是无一例外，要么过于“保守”，只给出扫描结果，但是无法实现一键优化，要么直接就是有bug（这里特指IDEA2023.1 阅读全文
posted @ 2024-02-06 11:25 京东云开发者 阅读(57) 评论(0) 推荐(0) 编辑
亿级流量高并发春晚互动前端技术揭秘
摘要：前言 2022年1月，京东成为央视总台2022年春节联欢晚会独家互动合作伙伴，双方在红包互动、电商等方面展开全方位深度合作。在除夕当天产生691亿次互动，送出15亿元红包好物。 如何在这种大规模、高并发的场景下，确保系统的稳定性和性能，为用户提供稳定流畅的互动体验，成为了我们亟待解决的问题。 接下来 阅读全文
posted @ 2024-02-06 11:07 京东云开发者 阅读(1220) 评论(0) 推荐(10) 编辑
打开java语言世界通往字节码世界的大门——ASM字节码操作类库
摘要：一、ASM介绍 1、ASM 是什么 ASM是一个通用的Java字节码操作和分析框架。它可以用于修改现有类或直接以二进制形式动态生成类。ASM提供了一些常见的字节码转换和分析算法，可以从中构建定制的复杂转换和代码分析工具。ASM提供了与其他Java字节码框架类似的功能，但侧重于性能。由于它的设计和实现 阅读全文
posted @ 2024-02-05 17:00 京东云开发者 阅读(157) 评论(0) 推荐(0) 编辑
大文件上传原理及实现方案 | 京东物流技术团队
摘要：​ 一、什么是大文件 一般，我们传送大文件是指传送大于100M的文件，而普通文件是指小于100M，常见的是20M、30M和50M，两者主要的区别在于文件大小上，还有传送速度上。 一般普通“邮件附件”只能发20M、30M，50M的文件，而几百M的照片、文件、设计图等大文件传送起来就不是那么容易了。 二 阅读全文
posted @ 2024-02-05 13:52 京东云开发者 阅读(116) 评论(0) 推荐(0) 编辑
这篇深入浅出贴 助你早日实现Stable diffusion自由
摘要：我也不想标题党，可它们就是好萌啊！看看下面这些你认识多少？ 我是憨憨，一个不会画画的设计师。过去半年里，AI绘画曾经多次引爆公众讨论，网络上那些精致的二次元同人插画、堪比真人的AI穿搭博主、打破次元壁的赛博Coser……背后都有一个“幕后黑手” —— Stable Diffusion，其背后的技术便 阅读全文
posted @ 2024-02-05 11:21 京东云开发者 阅读(69) 评论(0) 推荐(0) 编辑
IT工单治理野史：由每周最高150+治理到20+ | 京东物流技术团队
摘要：背景 相信不少人都值过班当过小秘吧，每天都要在线排查与解答各种各样来自IT或"单聊"的问题，同时还要针对每个问题进行"复盘"分析，在完善系统、提高体验的同时挖掘出其中的雷点，防止某一天突然"爆炸"造成不可控的局面。 我们这边在值班小秘每日进行线上问题排查、解答与跟踪，工单量越大耗费的精力和成本就越高 阅读全文
posted @ 2024-02-05 10:58 京东云开发者 阅读(30) 评论(0) 推荐(0) 编辑
安卓动态链接库文件体积优化探索实践
摘要：背景介绍 应用安装包的体积影响着用户下载量、安装时长、用户磁盘占用量等多个方面，据Google Play统计，应用体积每增加6MB，安装的转化率将下降1%。 安装包的体积受诸多方面影响，针对dex、资源文件、so文件都有不同的优化策略，在此不做一一展开，本文主要记录了在研发时针对动态链接库的文件体积 阅读全文
posted @ 2024-02-05 10:02 京东云开发者 阅读(59) 评论(0) 推荐(0) 编辑
财务数据处理问题及解决方案分享
摘要：一、平台介绍 财务自营计费主要承接京东自营数据在整个供应链中由C端转B端的功能实现，在整个供应链中属于靠后的阶段了，系统主要功能是计费和向B端的汇总。 二、问题描述 近年来自营计费数据量大增，有百亿+的数据量，一天中汇总占据了一半的数据库资源。 1、每天从单表千万W+中定位几万数据执行汇总，即全库全 阅读全文
posted @ 2024-02-04 10:29 京东云开发者 阅读(22) 评论(0) 推荐(0) 编辑
大促削峰实战：评价QPS降低85%的背后逻辑
摘要：一、背景 京东APP商品详情页展示的评价数据通过单独请求评价接口获取，与商详模块流量近乎1:1，需要共同应对秒杀等海量流量的冲击，存在突发流量风险。经过对用户操作行为和评价埋点信息分析，评价调用与商详流量解耦可行，预期收益显著。为此，评价与商详模块研发人员组成虚拟攻坚小组，推进解耦方案实施。 如图所 阅读全文
posted @ 2024-02-04 09:45 京东云开发者 阅读(35) 评论(0) 推荐(0) 编辑
京东广告算法架构体系建设--大规模稀疏场景高性能训练方案演变
摘要：一、前言 京东广告训练框架随着广告算法业务发展的特点也在快速迭代升级，回顾近几年大致经历了两次大版本的方案架构演变。第一阶段，随着2016年Tensorflow训练框架的开源，业界开始基于Tensorflow开源框架训练更复杂的模型。模型对特征规模和参数规模需求不断提升，大规模稀疏模型具有更强的表征 阅读全文
posted @ 2024-02-02 11:27 京东云开发者 阅读(48) 评论(0) 推荐(0) 编辑
Apache Doris 整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询
摘要：1概况 本文展示如何使用 Flink CDC + Iceberg + Doris 构建实时湖仓一体的联邦查询分析，Doris 1.1版本提供了Iceberg的支持，本文主要展示Doris和Iceberg怎么使用，大家按照步骤可以一步步完成。完整体验整个搭建操作的过程。 2系统架构 我们整理架构图如下 阅读全文
posted @ 2024-02-02 10:36 京东云开发者 阅读(71) 评论(0) 推荐(0) 编辑
关于「日志采样」的一些思考及实践
摘要：一、背景： 系统日志可用于追踪用户操作轨迹，异常情况下，合理的日志有助于快速排查、定位问题，毫无疑问，打印日志对于系统是很重要的。 当业务规模较小时，大家都倾向于享受日志带来的便利，从而忽略日志带来的潜在的负面影响，缺乏对日志的管控。在JD当前用户量、业务规模下，绝大多数C端系统、甚至B端系统都是高 阅读全文
posted @ 2024-02-02 10:12 京东云开发者 阅读(23) 评论(0) 推荐(0) 编辑
聊聊ClickHouse MergeTree引擎的固定/自适应索引粒度
摘要：​ 前言 我们在刚开始学习ClickHouse的MergeTree引擎时，就会发现建表语句的末尾总会有SETTINGS index_granularity = 8192这句话（其实不写也可以），表示索引粒度为8192。在每个data part中，索引粒度参数的含义有二： 每隔index_granul 阅读全文
posted @ 2024-02-01 13:49 京东云开发者 阅读(36) 评论(0) 推荐(0) 编辑
简易异步任务中心&批量导入技术处理方案
摘要：一、解决什么问题 一个任务中心技术实现的参考案例，可以快速部署实现且仅需关注业务个性落库逻辑实现，其他如任务状态维护、数据解析及异常包装、结果导出均由工具自动实现。 二、基本原理 图1 请求示意图 异步任务中心共分三个模块： 1）任务初始化, 将目标导入文件上传至云存储后得到目标文件url按任务类型 阅读全文
posted @ 2024-02-01 11:11 京东云开发者 阅读(33) 评论(0) 推荐(0) 编辑