摘要： 一、背景： 系统日志可用于追踪用户操作轨迹，异常情况下，合理的日志有助于快速排查、定位问题，毫无疑问，打印日志对于系统是很重要的。 当业务规模较小时，大家都倾向于享受日志带来的便利，从而忽略日志带来的潜在的负面影响，缺乏对日志的管控。在JD当前用户量、业务规模下，绝大多数C端系统、甚至B端系统都是高 阅读全文

摘要： ​ 前言 我们在刚开始学习ClickHouse的MergeTree引擎时，就会发现建表语句的末尾总会有SETTINGS index_granularity = 8192这句话（其实不写也可以），表示索引粒度为8192。在每个data part中，索引粒度参数的含义有二： 每隔index_granul 阅读全文

摘要： 一、解决什么问题 一个任务中心技术实现的参考案例，可以快速部署实现且仅需关注业务个性落库逻辑实现，其他如任务状态维护、数据解析及异常包装、结果导出均由工具自动实现。 二、基本原理 图1 请求示意图 异步任务中心共分三个模块： 1）任务初始化, 将目标导入文件上传至云存储后得到目标文件url按任务类型 阅读全文

摘要： 1）【莫奈可视化平台】新品上线 京东莫奈可视化平台通过自由拖拽、图形化编辑、所见即所得的方式，快速实现极致酷炫、直观清晰的视觉场景，将海量繁杂数据背后所蕴含的价值更直观、深层、全面的展现出来，辅助决策者合理决策。 2）【移动端应用监控 SGM-mobile】新品上线 移动端监控SGM-Mobile专 阅读全文

摘要： streampark+flink一键整库或多表同步mysql到doris实战，此应用一旦推广起来，那么数据实时异构时，不仅可以减少对数据库的查询压力，还可以减少数据同步时的至少50%的成本，还可以减少30%的存储成本； streampark搭建 二进制包编译构建 编译构建二进制可执行包，使用自己构建 阅读全文

摘要： 很多不太了解的人会认为：数据治理就是干数据清洗的。 近两年，在我们公司，数据治理团队在数据降本方面做的比较多，效果还不错，我们很多人可能以为：数据治理就是做数据清理的。 在京东科技集团数据治理工作组第一次全体会议上，我就讲过数据治理和数据清洗之间的关系： 数据清洗只是指通过识别和纠正数据中的错误、缺 阅读全文

摘要： A、Problem Description 1. PageHelper方法使用了静态的ThreadLocal参数，在startPage()调用紧跟MyBatis查询方法后，才会自动清除ThreadLocal存储的对象。 2. 当一个线程先执行了A方法的PageHelper.startPage（int 阅读全文

摘要： 1.首页推荐非内积召回现状 非内积召回源是目前首页推荐最重要的召回源之一。同时非内积相比于向量化召回最终仅将user和item匹配程度表征为embeding内积，非内积召回仅保留item embedding，不构造user显式表征，而是通过一个打分网络计算用户-商品匹配程度，极大的提升了模型精准度的 阅读全文

摘要： 一、前言 软件在持续的开发和维护过程中，会不断添加新功能和修复旧的缺陷，这往往伴随着代码的快速增长和复杂性的提升。若代码库没有得到良好的管理和重构，就可能积累大量的技术债务，包括不一致的设计、冗余代码、过时的库和框架以及不再使用的功能。这些因素都会导致软件结构的脆弱，增加系统出错的可能性，我们俗称为 阅读全文

摘要： 一、内容提要 自知是人外有人，天外有天，相信对于Log4j2的异步日志打印早有老师或者同学已是熟稔于心，优化配置更是信手拈来，为了防止我在这里啰里八嗦的班门弄斧，我先将谜底在此公布：log4j2.asyncQueueFullPolicy=Discard & log4j2.discardThresho 阅读全文