摘要： 一、前言 京东广告训练框架随着广告算法业务发展的特点也在快速迭代升级，回顾近几年大致经历了两次大版本的方案架构演变。第一阶段，随着2016年Tensorflow训练框架的开源，业界开始基于Tensorflow开源框架训练更复杂的模型。模型对特征规模和参数规模需求不断提升，大规模稀疏模型具有更强的表征 阅读全文

摘要： 1概况 本文展示如何使用 Flink CDC + Iceberg + Doris 构建实时湖仓一体的联邦查询分析，Doris 1.1版本提供了Iceberg的支持，本文主要展示Doris和Iceberg怎么使用，大家按照步骤可以一步步完成。完整体验整个搭建操作的过程。 2系统架构 我们整理架构图如下 阅读全文

摘要： 一、背景： 系统日志可用于追踪用户操作轨迹，异常情况下，合理的日志有助于快速排查、定位问题，毫无疑问，打印日志对于系统是很重要的。 当业务规模较小时，大家都倾向于享受日志带来的便利，从而忽略日志带来的潜在的负面影响，缺乏对日志的管控。在JD当前用户量、业务规模下，绝大多数C端系统、甚至B端系统都是高 阅读全文

摘要： ​ 前言 我们在刚开始学习ClickHouse的MergeTree引擎时，就会发现建表语句的末尾总会有SETTINGS index_granularity = 8192这句话（其实不写也可以），表示索引粒度为8192。在每个data part中，索引粒度参数的含义有二： 每隔index_granul 阅读全文

摘要： 一、解决什么问题 一个任务中心技术实现的参考案例，可以快速部署实现且仅需关注业务个性落库逻辑实现，其他如任务状态维护、数据解析及异常包装、结果导出均由工具自动实现。 二、基本原理 图1 请求示意图 异步任务中心共分三个模块： 1）任务初始化, 将目标导入文件上传至云存储后得到目标文件url按任务类型 阅读全文

摘要： 1）【莫奈可视化平台】新品上线 京东莫奈可视化平台通过自由拖拽、图形化编辑、所见即所得的方式，快速实现极致酷炫、直观清晰的视觉场景，将海量繁杂数据背后所蕴含的价值更直观、深层、全面的展现出来，辅助决策者合理决策。 2）【移动端应用监控 SGM-mobile】新品上线 移动端监控SGM-Mobile专 阅读全文

摘要： streampark+flink一键整库或多表同步mysql到doris实战，此应用一旦推广起来，那么数据实时异构时，不仅可以减少对数据库的查询压力，还可以减少数据同步时的至少50%的成本，还可以减少30%的存储成本； streampark搭建 二进制包编译构建 编译构建二进制可执行包，使用自己构建 阅读全文

摘要： 很多不太了解的人会认为：数据治理就是干数据清洗的。 近两年，在我们公司，数据治理团队在数据降本方面做的比较多，效果还不错，我们很多人可能以为：数据治理就是做数据清理的。 在京东科技集团数据治理工作组第一次全体会议上，我就讲过数据治理和数据清洗之间的关系： 数据清洗只是指通过识别和纠正数据中的错误、缺 阅读全文

摘要： A、Problem Description 1. PageHelper方法使用了静态的ThreadLocal参数，在startPage()调用紧跟MyBatis查询方法后，才会自动清除ThreadLocal存储的对象。 2. 当一个线程先执行了A方法的PageHelper.startPage（int 阅读全文

摘要： 1.首页推荐非内积召回现状 非内积召回源是目前首页推荐最重要的召回源之一。同时非内积相比于向量化召回最终仅将user和item匹配程度表征为embeding内积，非内积召回仅保留item embedding，不构造user显式表征，而是通过一个打分网络计算用户-商品匹配程度，极大的提升了模型精准度的 阅读全文