05 2024 档案
摘要:一 用例生成实践效果 在组内的日常工作安排中,持续优化测试技术、提高测试效率始终是重点任务。近期,我们在探索实践使用大模型生成测试用例,期望能够借助其强大的自然语言处理能力,自动化地生成更全面和高质量的测试用例。 当前,公司已经普及使用JoyCoder,我们可以拷贝相关需求及设计文档的信息给到Joy
阅读全文
摘要:五月的北京,春深半夏,花开满城。由全国云计算技术行业产教融合共同体牵头,携手工业和信息化部电子第五研究所、E³CI软件研发效能度量工作委员会以及京东云共同主办的“走进京东——卓越研效架构师”研习营,于5月17-18日和24-26日在北京京东总部成功举行。此次活动,汇聚了业界多家知名金融、制造等企业研
阅读全文
摘要:最近因需求改动新增了一些数据库表,但是在定义表结构时,具体列属性的选择有些不知其所以然,索引的添加也有遗漏和不规范的地方,所以我打算为创建一个高性能表的过程以实战的形式写一个专题,以此来学习和巩固这些知识。 1. 实战 我使用的 MySQL 版本是 5.7,建表 DDL 语句如下所示:根据需求创建
阅读全文
摘要:本文从个人阅读的书籍当中,挑选了以下主题相关书籍以供探索:书籍选择的艺术、高效阅读策略、时间与精力管理的智慧、思维模式、提升工作技能的诀窍,以及引人入胜的小说人物传记。希望能够激发你的思考,助力你的工作成长旅程。 本文最初撰写于2021年1月份,本周进行了大纲整理和调整。旨在为您呈现一个宏观的推荐概
阅读全文
摘要:背景 这两年来大模型及其热门,不仅各大厂家的模型层出不穷,各类RGA、Agent应用也花样繁多。这也带火了一批基础设施,比如Langchain、向量数据库(也叫矢量数据库-Vector Database)等。现在市场上的向量库种类特别繁多,但主要还是分为两类,一类是在原有数据库基础上增加了向量相似性
阅读全文
摘要:在日常项目中,经常能遇到多维度、多指标自由组合分析的OLAP系统建设场景,这类需求往往具有分析关系复杂、开发周期长和数据量大等特点,需要研发投入比较大的精力进行建设。 针对OLAP的场景,目前开源界大部分项目都是针对存储层的实现,如ClickHouse、Doris等OLAP数据库。很少针对应用层进行
阅读全文
摘要:1.【智算服务】新品上线 智算平台GCS是面向AI创业公司和AI从业者的AI算力生命周期管理和AI应用生命周期管理平台。平台提供高性价比算力资源,以及基于大模型的AI应用生态市场。提供全网低价算力、帮您快速上手AIGC应用。 2.【节能宝PUE】新品上线 节能宝(PUE优化),是一款京东云面向数据中
阅读全文
摘要:一、引言 大家好,在日常开发过程中,Java 注解(Annotation)是开发中经常使用的一个手段,用于给代码添加元数据的标记。它们可以提供代码额外的信息,这些信息可以在编译时或运行时被访问。注解不会改变代码的执行逻辑,但可以被编译器、JVM 或框架等工具用于生成额外的代码、提供警告或执行其他操作
阅读全文
摘要:如果想要阅读源码,首先要选择版本,然后将源代码下载到本地,导入idea中,话不多说,直接看步骤吧 这里我选择5版本, 下载源码 默认是main分支,看想学习的分支,比如我切换到5版本,截图如下: 2.安装gradle 3.转换源码进idea 下载完成后可以看到有个文档叫import-into-ide
阅读全文
摘要:1. 前言 正则表达式是一种用来匹配字符串的强有力工具。设计思想是用一种描述性的语言来给字符串定义一个规则,凡是符合规则的字符串我们就认为它“匹配”了,否则该字符串就是不合法的。 日常开发中常常会使用正则表达式,例如:对数据格式进行校验(判断一个字符串是否是合法的Email格式、合法的IP格式或是否
阅读全文
摘要:根据自己多年的B端/G端数据可视化项目设计经验,总结了这篇数据可视化项目如何做设计评审的文章。内容侧重于数据可视化项目,但对于非可视化项目的设计评审也是通用的。文中介绍的流程和方法,尤其是通过STAR法则来阐述自己设计思路的创意,是我在实际工作中一直使用、并受益良多的技巧;文章中也提到了很多只有经过
阅读全文
摘要:电商助手是一款集合了多种电商经营决策功能的工具软件,旨在帮助电商从业者完成从商品发布到订单管理、客服沟通、数据分析等一系列电商运营任务。 京东零售基于 Multi-Agents 理念搭建了商家助手大模型在线推理服务架构,这一系统的核心是算法层基于 ReAct 范式定制多个 LLM AI Agents
阅读全文
摘要:前言 在无线网络技术不断发展的今天,Wi-Fi已经成为了我们日常生活中不可或缺的一部分。无论是家庭娱乐、办公还是在线游戏,Wi-Fi都在提供着便捷的互联网接入服务。然而,在安卓8.1后,为了进一步延长安卓设备的待机时间。原生安卓(AOSP等)默认开启了全局省电(低功耗模式),该模式下WIFI芯片通过
阅读全文
摘要:国内开源代码大模型 4月9日aiXcoder宣布正式开源其7B模型Base版,仅仅过去一个礼拜,aiXcoder-7B在软件源代码托管服务平台GitHub上的Star数已超过2k。同时跻身HuggingFace趋势榜单TOP30,令全球开发者瞩目。 背后团队 aiXcoder 团队来自北京大学软件工
阅读全文
摘要:1. 背景介绍 1.1. 业务介绍 A平台与B平台同属于同一系统链路上,前者主要致力于为用户提供注册入驻服务,后者则专注于提供具体业务操作服务。两者皆为运营人员所依赖的在线管理工具。 1.2. 现状分析 目前这两个平台服务于同一业务方,且B应用的页面已经100%嵌入到了A应用的平台上,除此以外目前存
阅读全文
摘要:最近在做大模型相关的项目,其中有个模块需要提取在线视频语音为文本并输出给用户。作为一个纯后端Jave工程师,搞这个确实是初次尝试。 二、 调研 基于上述功能模块,主要有三大任务:1、 提取网页中的视频 2、 视频转语音 3、 语音转文本。 首先是第一项:尝试了jsoup,webmagic等工具,最终
阅读全文
摘要:在这个由数据编织、由算法驱动的时代,AI大模型正成为推动社会进步的重要力量。我们不仅是变革的见证者,更是推动者和塑造者。感谢零售UP技术人栏目的邀请,本文借此机会回顾一下自己的算法之路上的一些故事和思考,希望能带给读者一些帮助。 介绍自己 我是2020届校招生,INFJ提倡者,毕业于上海交通大学,入
阅读全文
摘要:1. 前言 前文实现“代码可视化”需要了解的前置知识-编译器前端介绍了编译器前端知识并附带了小练习,本文将继续介绍编译器中端相关的知识,还是概念+练习的学习方式。中间代码是用来进行程序分析和实现代码可视化的关键数据,了解其生成和优化方式能更好的帮助我们理解程序的执行逻辑,希望大家阅读本文后有所收获。
阅读全文
摘要:在过去的大半年中,我一直投身于一个跨端自渲染项目的研发工作中,负责其中的渲染模块。现在通过这篇文章,我想记录并分享我们在这个项目中的经验和挑战,希望能为大家日常开发中的涉及到渲染相关的工作带来一些启发和帮助。 跨端自渲染的初衷 跨端自渲染项目的愿景在于构建一个后端渲染容器,旨在提供一个针对遵循W3C
阅读全文
摘要:背景 在高并发的系统中,通常不会打印除参数校验失败或捕获异常之外的日志,防止对接口的性能产生影响。 那对于请求不符合预期的情况,我们如何快速找到是哪块逻辑影响的至关重要。 Pfinder提供的链路监控,更多的是性能层面的监控,无法满足我们上述的诉求。 下面我将通过自定义通用上下文,添加日志埋点,解决
阅读全文
摘要:一、背景 上周小组有个需求上线牵扯9个应用(小组目前维护了26个服务,由于团队系统业务属性特征基于高可用、高性能原则拆分,有些是合理的,有些不是很合理的),同时上周OpsReview的一个微服务滥用典范案例(Promise服务A调用服务B,服务B只是读个配置数据返回,无具体业务逻辑),OpsRevi
阅读全文
摘要:上篇从服务粒度角度进行了探讨,本文继续从服务内的分层角度探讨。 本文的观点源自我在学习与实践过程中的深思熟虑,尚处于不断探索和验证的阶段。希望能“抛砖引玉”,激发更多的讨论与交流。让我们共同进步,在探讨与实证中寻求真知。 一、背景 应用分层看似直观,但实践中常见误区:开放接口Api层(或contro
阅读全文
摘要:JSON简介: JSON(Java Script Object Notation)是一种轻量级的数据交换格式,通常用于在不同系统之间传输数据。它基于 JavaScript 对象语法,但已成为一种独立于语言的格式。JSON 数据以键值对的形式组织,易于阅读和编写。 为什么要使用 JSON? 1.简单易
阅读全文
摘要:引言 随着计算机和网络技术的飞速发展,信息的安全保护问题日益突出。数字图像、音频和视频等多媒体数字产品愈来愈需要一种有效的版权保护方法——水印技术,通常用于保护知识产权、防止未经授权的访问、作弊等。 广义上可以把水印技术划分为四大类:图像水印、视频水印、音频水印和文本水印。这些水印技术都有其独特的特
阅读全文
摘要:1. 背景 随着京东各业务板块国际化进程的不断推进,诸多业务已经融入了多元文化中,一个一体化的多语言系统解决方案成为各个技术团队讨论的焦点。国际物流系统凭借在国际化领域多年的经验,特别是在系统多语言处理上长期的经验积累,总结了一套标准的系统多语言框架,旨在为大家提供帮助,避免各系统在国际化进程中重复
阅读全文
摘要:一、简单介绍: CaffeineCache和Guava的Cache是应用广泛的本地缓存。 在开发中,为了达到降低依赖、提高访问速度的目的。会使用它存储一些维表接口的返回值和数据库查询结果,在有些场景下也会在分布式缓存上再加上一层本地缓存,用来减少对远程服务和数据库的请求次数。 CaffeineCac
阅读全文
摘要:Vite 预构建的核心原理 1. 兼容性与性能的双重目标 Vite 的预构建旨在解决两个主要问题:兼容性和性能。对于兼容性,由于 Vite 在开发阶段将所有代码视为原生 ES 模块,因此需要将 CommonJS 或 UMD 格式的依赖转换为 ESM 格式。对于性能,Vite 通过预构建将多个内部模块
阅读全文
摘要:OpenAI的每次发布,感觉都会干翻一个行业。昨晚GPT-4o的发布,情感陪伴这个赛道像是又要掀起一番惊天巨变。各位创业老板们摩拳擦掌,无数创意精英又要踏入新的征程。 开源社区一定也异常兴奋,相信Huggingface和Github马上又会孕育出新宠,大家都期待做出AI时代的Super App,至少
阅读全文
摘要:一、重构背景 1.1、退款 京东秒送秒送退款有2套结构,代码逻辑混乱; 其中秒送、天选部分售后单是和平生pop交互退款,部分是和售后中台交互退款;并且兼容3套逻辑; 痛点:代码繁重,缺乏合理性的设计,后续迭代开发以及维护成本高,同时增加了系统的风险和不稳定性 1.2、金额计算 京东秒送两套独立的逻辑
阅读全文
摘要:导读 本文主要讲解了MVEL表达式和责任链设计模式相结合一起的消息处理解决方案设计、解耦消息处理节点以及方便代码维护扩展。通过“订单拆单消息”的接入作为具体实践案例,简要阐述了MVEL表达式和Apache Chain职责链设计模式应用场景。希望通过本文,读者可以对MVEL表达式和责任链模式相关概念有
阅读全文
摘要:引言 随着计算机和网络技术的飞速发展,信息的安全保护问题日益突出。数字图像、音频和视频等多媒体数字产品愈来愈需要一种有效的版权保护方法——水印技术,通常用于保护知识产权、防止未经授权的访问、作弊等。 广义上可以把水印技术划分为四大类:图像水印、视频水印、音频水印和文本水印。这些水印技术都有其独特的特
阅读全文
摘要:一、背景知识 在ChatGPT引发全球关注之后,学习和运用大型语言模型迅速成为了热门趋势。作为程序员,我们不仅要理解其表象,更要探究其背后的原理。究竟是什么使得ChatGPT能够实现如此卓越的问答性能?自注意力机制的巧妙融入无疑是关键因素之一。那么,自注意力机制究竟是什么,它是如何创造出如此惊人的效
阅读全文
摘要:一、画像系统命中接口相关简介 什么是画像系统 标签画像系统是一种数据管理和分析工具,它通过整合和分析用户的行为数据、交易数据、社交数据等多维度信息,构建出用户的详细画像,帮助咱们运营人员更好地理解目标用户群体,从而实现精准营销和精细化运营。 提供了那些能力:标签注册,标签沉淀,标签取值;群体圈选;群
阅读全文
摘要:一、背景 需求迭代过程中产研漏评估业务影响点是bug漏到生产环境的主要原因之一。减少漏评估问题的发生是提升交付质量的重要方向,精准测试是除依赖产研人员能力及经验外的另一种分析业务影响点的方式。 二、实践方案 1.方案简介 下面介绍针对java单应用的代码改动影响自动分析方案。 1)原理介绍 基于代码
阅读全文
摘要:4月19日,Meta发布了最新的大语言模型LLaMA3,具体包括一个 8B 模型和一个 70 B 模型,上下文长度支持8K, 被誉为史上最强开源大语言模型,开源社区的“重磅炸弹”,效果直指GTP4。在诸多评测任务上,LLaMA3都有非常炸裂的效果。 8B模型在多项指标中超越了Gemma 7B和Mis
阅读全文
摘要:入门开源大语言模型,最好的工具就是ollama,这是一款简单的大模型本地部署框架,支持基于命令行的方式运行多种大语言模型,并提供了相应的Python和JS SDK,可以基于此方便实现Chatbot UI。这篇文章就以京东云智算平台为例(其他平台也是类似,甚至可以在本地电脑运行),分享如何一键安装ol
阅读全文
摘要:文盘rust 好久没有更新了。这段时间笔者用rust写了个小东西,跟各位分享一下 背景 随着业务的发展,文件数量和文件大小会急剧增加,文件迁移的数量和难度不断攀升。oss_pipe 是rust编写的文件迁移工具,旨在支撑大规模的文件迁移场景。 编写 oss_pipe 的初衷 •同类产品面临的问题 •
阅读全文
摘要:京东云4月产品动态:1.【言犀AI虚拟主播】"采销东哥"数字人是怎样练成的?“大家好,好久不见,我是你们的老朋友东哥……”面对众网友喊话开直播,刘强东以新的形式与大家见面。4月16日下午6点18分,由京东云言犀打造的“采销东哥”AI数字人开启直播首秀,同时亮相京东家电家居、京东超市采销直播间。2.【
阅读全文
摘要:一.背景 性能优化是一场永无止境的旅程。 到家门店系统,作为到家核心基础服务之一,门店C端接口有着调用量高,性能要求高的特点。 C端服务经过演进,核心接口先查询本地缓存,如果本地缓存没有命中,再查询Redis。本地缓存命中率99%,服务性能比较平稳。 随着门店数据越来越多,本地缓存容量逐渐增大到3G
阅读全文
摘要:背景 在 MySQL 中,当我们为表创建了一个或多个索引后,通常需要在索引定义完成后,根据具体的数据情况执行 EXPLAIN 命令,才能观察到数据库实际使用哪个索引、是否使用索引。这使得我们在添加新索引之前,无法提前预知数据库是否能使用期望的索引。更为糟糕的是,有时甚至在添加新的索引后,数据库在某些
阅读全文
摘要:前言 在单机环境中,我们主要通过线程间的加锁机制来确保同一时间只有一个线程能够访问某个共享资源或执行某个关键代码块,从而防止各种并发修改异常。例如,在Java中提供了synchronized/Lock。但是在分布式环境中,这种线程间的锁机制已经不起作用了,因为系统会被部署在不同机器上,这些资源已经不
阅读全文
摘要:前言 本文主要提供了一种单元测试方法,力求0基础人员可以从本文中受到启发,可以搭建一套好用的单元测试环境,并能切实的提高交付代码的质量。极简体现在除了POM依赖和单元测试类之外,其他什么都不需要引入,只需要一个本地能启动的springboot项目。 目录 1.POM依赖 2.单元测试类示例及注解释义
阅读全文
摘要:因为最近项目中经常有java反射的使用,而其中的IOC、动态代理用到了反射,因此趁这个机会来总结一下关于Java反射的一些知识,复习一下。本篇基于JDK 1.8。 java反射机制是什么 反射原理 Java反射机制(Java Reflection) 是 Java 的特征之一,是Java语言中一种动态
阅读全文
摘要:4月19日,Meta发布了最新的大语言模型LLaMA3,具体包括一个 8B 模型和一个 70 B 模型,上下文长度支持8K, 被誉为史上最强开源大语言模型,开源社区的“重磅炸弹”,效果直指GTP4。在诸多评测任务上,LLaMA3都有非常炸裂的效果。 8B模型在多项指标中超越了Gemma 7B和Mis
阅读全文
摘要:一、什么是架构和治理 1.1 架构的起源 开篇还是要说说大家理解的架构,何为架构,架构跟我们的工作和生活有什么关系。 英文Architecture本源来自于拉丁语,最早起源于建筑领域,建筑是文明社会一个重要的标志,同时也是人类社会最早形成完善理论和经验的领域。人民在长期的生产生活中,乐于将经验进行总
阅读全文
摘要:1.导读 在当今数字化时代,全球互联网用户已超过50亿人,中国的互联网用户数量更是达到10.5亿,这为企业提供了巨大的市场机遇和挑战。根据市场研究公司的最新报告,全球数字营销费用支出预计将在未来五年内进一步大幅增加,这表明数字化营销已成为企业获得竞争优势的关键战略。依托于京东科技的业务发展,结合业务
阅读全文
摘要:一、引言 在当前快速发展的互联网环境中,许多企业和服务都面临着高并发场景的挑战。随着用户规模不断增长,对于同一时间内大量用户请求的处理能力、系统性能、稳定性和容错性的要求也日益提高。高并发场景对系统架构设计、数据库设计、缓存策略、自动化运维、安全防护、成本、效率等方面提出了重大挑战,需要综合考虑各项
阅读全文
摘要:一、我们是谁?科技产品中心是什么? 1、我们是谁 我们:本文所提到的我们,是指由京东科技产品中心,包括大麦系统、山海产品系统和产品库系统。 2、科技产品中心 2.1、定位 打造科技统一的内外部产品供应链管理系统,支持业务发展及对外输出;核心职责包括建立产品管理标准、统一产品管理和提升产品管理效率。
阅读全文
摘要:一、背景 随着公司和业务的不断发展,百舸平台也从单一内容投放转向了以流量和数据为基础的流量运营模式。在这个转变过程中,数据深度治理与应用的重要性尤为凸显,在数据深度治理过程中,需要将用户行为数据、投放素材以及投放效果三者紧密的串联起来。数据深度治理和应用,一方面满足了当前精细化运营的需求,另一方面实
阅读全文
摘要:一:平台定位和优势(为什么建) 1.1、平台定位 由京东科技业务中台主导发起,联合法律部、安全部共建,旨在为业务提供电子合同管理的中台化能力,当前已形成一套成熟的“全线上、全生命周期电子合同管理系统”,可提供包括合同模板创建、模板预览、合同生成、合同预览、合同签署、合同记录查询等产品能力。并在京东集
阅读全文