06 2024 档案
摘要：随着 AI 技术的飞速发展，特别是大模型的出现，传统的程序员角色正在经历深刻的变革，我们不得不重新对自己进行审视和思考。 通用领域大模型的“泛化能力” 在过去的二十年内，AI 领域的大部分研究和应用都集中在完成一项特定的任务中，例如：分类图片、总结文章、多语言翻译等，然而随着模型参数的增加， Cha
阅读全文
摘要：开篇 我是孙林，2021-京东集团-博士管培生，清华大学软件学院博士，工作期间提交专利5篇，获得北京亦麒麟优秀人才称号。目前，我担任算法中台研发部数据开发工程师，围绕检索增强生成应用领域开展研究工作。 本文将从背景、核心工作、业务实践与反馈以及未来展望等几个方向进行介绍。 背景介绍 大语言模型（LL
阅读全文
摘要：LMM将会全面替代语言大模型？AI新里程碑GPT4V美国预先公测，医疗领域/OCR实践+166页GPTV试用报告首发解读 ChatGPT Vision，亦被广泛称为GPT-V或GPT-4V，代表了人工智能技术的新里程碑。作为LMM (Large Multimodal Model) 的代表，它不仅继承
阅读全文
摘要：最近在开发 延保服务 频道页时，为了提高查询效率，使用到了多线程技术。为了对多线程方案设计有更加充分的了解，在业余时间读完了《图解 Java 多线程设计模式》这本书，觉得收获良多。本篇文章将介绍其中提到的 Future 模式，以及在实际业务开发中对该模式的应用，而这些内容对于本书来说只是冰山一角，还
阅读全文
摘要：背景： 近期在跟进业务中发生了一些问题，并从中学习了一些避免问题产生的经验。通过这些问题也引发了我的一个疑问：“不存在的场景真的不存在吗？”，本篇文章将探讨这一问题，并尝试分析问题产生的原因。 场景举例： 在项目研发和测试过程中，常常会出现以下几种场景： 场景一： 测试人员：有一个数据为空的场景还没
阅读全文
摘要：前言 为什么我们使用chatgpt问一个问题,回答时,他是一个字或者一个词一个词的蹦出来,感觉是有个人在输入,显得很高级,其实这这一个词一个词蹦不是为了高级感,而是他的实现原理决定的,下面我们看下为什么是一个一个蹦出来的 大模型的本质 特斯拉前AI总监Andrej Karpathy将大语言模型简单的
阅读全文
摘要：1、前言 截至目前（2023年），Java8发布至今已有9年，2018年9月25日，Oracle发布了Java11，这是Java8之后的首个LTS版本。那么从JDK8到JDK11，到底带来了哪些特性呢？值得我们升级吗？而且升级过程会遇到哪些问题呢？带着这些问题，本篇文章将带来完整的JDK8升级JDK
阅读全文
摘要：1、前言 如果你仍在使用JDK8，那你是否曾经遇到过OutOfMemoryError的问题？你是否曾经为JVM的调优问题感到困扰？本篇文章将为你介绍一种能够提供百倍性能提升的垃圾回收器，也许能够解决你的问题。 上篇文章给大家带来了JDK8升级JDK11的最全实践，相信大家阅读后已经对JDK11有了比
阅读全文
摘要：1 问题域 业务发展的初期，我们的数据库架构往往是单库单表，外加读写分离来快速的支撑业务，随着用户量和订单量的增加，数据库的计算和存储往往会成为我们系统的瓶颈，业界的实践多数采用分而治之的思想：分库分表，通过分库分表应对存系统读写性能瓶颈和存储瓶颈；分库分表帮我们解决问题的同时，也带来了复杂性；比如
阅读全文
摘要：虚拟线程的引入与优势 在Loom项目之前，Java虚拟机（JVM）中的线程是通过java.lang.Thread类型来实现的，这些线程被称为平台线程。 然而，平台线程的创建和维护在资源使用上存在显著的开销。首先，创建成本不菲，因为每当操作系统需要创建一个新的平台线程时，它必须分配大量的内存（通常以兆
阅读全文
摘要：说起Spring状态机，大家很容易联想到这个状态机和设计模式中状态模式的区别是啥呢？没错，Spring状态机就是状态模式的一种实现，在介绍Spring状态机之前，让我们来看看设计模式中的状态模式。 1. 状态模式 状态模式的定义如下： 状态模式（State Pattern）是一种行为型设计模式，它允
阅读全文
摘要：一、问题描述 在一次上线后，日志中出现空指针的报错，但是报错代码位置以及相应工具类未进行过修改，接下来进一步分析。 以下为报错堆栈信息： java.lang.NullPointerException: null at net.sf.cglib.core.ReflectUtils.getMethodI
阅读全文
摘要：本篇文章旨在希望大家对大模型的本质、技术和发展趋势有简单的了解。由于近期大模型技术发展很快，这里对大模型的技术、本质及未来趋势进行总结和探讨时，因为水平有限，疏漏在所难免。请大家谅解。 引言 大模型将成为通用人工智能的重要途径。在这个由0和1编织的数字时代，人工智能的腾飞已不是科技梦想，而是日益切实
阅读全文
摘要：一、背景 从 Web 诞生之日起，UI 自动化就成了测试的难点，到现在近 30 年，一直没有有效的手段解决Web UI测试的问题，尽管发展了很多的 webdriver 驱动，图片 diff 驱动的工具，但是这些工具的投入产出比一直被质疑，自动化率越多维护成本越高，大部分都做着就放弃了，还有一部分在做
阅读全文
摘要：1. 前言 统一返回值封装、统一异常处理和异常错误码体系的意义在于提高代码的可维护性和可读性，使得代码更加健壮和稳定。统一返回值封装可以避免每一个接口都需要手工拼装响应报文；统一异常处理可以将异常处理的逻辑集中到一个地方，避免代码中出现大量的try-catch语句，降低了代码的复杂度，提高了代码的可
阅读全文
摘要：什么是短网址？ 短网址，是在长度上比较短的网址。简单来说就是帮您把冗长的URL地址缩短成8个字符以内的短网址。 当我们在腾讯、新浪发微博时，有时发很长的网址连接，但由于微博只限制140个字，所以微博就自动把您发的长网址给转换成短网址了。在微博和手机短信提醒等限制字数的地方来使用短网址，的确是一个不错
阅读全文
摘要：在AI的大变革时代，AIGC作为一匹腾空而出的黑马，为我们的创意设计工作带来了革命性的变化。 以下为京东保险UED团队目前在AIGC领域的探索与成果总结，希望可以再接再厉，推动更多的AIGC工具在更多的设计领域的应用与革新。
阅读全文
摘要：粉丝 9 背景： 最近系统内缓存CPU使用率一直报警，超过设置的70%报警阀值，针对此场景，需要对应解决缓存是否有大key使用问题，扫描缓存集群的大key，针对每个key做优化处理。 以下是扫描出来的大key，此处只放置了有效关键信息。 图1 大key介绍: 想要解决大key，首先我们得知道什么定义
阅读全文
摘要：针对老项目，去年做了许多降本增效的事情，其中发现最多的就是接口耗时过长的问题，就集中搞了一次接口性能优化。本文将给小伙伴们分享一下接口优化的通用方案。 一、接口优化方案总结 1.批处理 批量思想：批量操作数据库，这个很好理解，我们在循环插入场景的接口中，可以在批处理执行完成后一次性插入或更新数据库，
阅读全文
摘要：RAG通常指的是"Retrieval-Augmented Generation"，即“检索增强的生成”。这是一种结合了检索（Retrieval）和生成（Generation）的机器学习模型，通常用于自然语言处理任务，如文本生成、问答系统等。 我们通过一下几个步骤来完成一个基于京东云官网文档的RAG系
阅读全文
摘要：一、小哥作业+大模型 2022年OpenAI基于GPT推出了聊天机器人ChatGPT，带来了非常惊艳的语言理解、内容生成、知识推理等能力，能够准确理解人的语言、意图，并能够回答出清晰、完整的内容，让人很难分辨出沟通交流的是人类还是机器人。 大模型会尝试基于已有的内容，生成内容的延续。基于预训练阶段加
阅读全文
摘要：1、问题背景： 应用在配合R2m升级redis版本的过程中，上游反馈调用接口报错，RpcException：[Biz thread pool of provider has been exhausted]，通过监控系统和日志系统定位到现象只出现在一两个节点，并持续出现。第一时间通过JSF将有问题的节
阅读全文
摘要：大模型在人工智能领域的应用正迅速扩展，从最初的提示词（Prompt）工程到追求通用人工智能（AGI）的宏伟目标，这一旅程充满了挑战与创新。本文将探索大模型在实际应用中的进展，以及它们如何为实现AGI铺平道路。 基于AI大模型的推理功能，结合了RAG（检索增强生成）、智能体（Agent）、知识库、向量
阅读全文
摘要：1 主流方案及尝试 现在浏览器插件中，大多采用直接调用远程代码的方式进行热更新，由于安全策略逐步增强，越来越不支持热更新了；chrome在新v3版本插件中直接给禁止了；对于v2版本则即将废弃使用。 或者要FQ到google应用商店提交审核，才能热更新。 2 当前问题 1、由于安全策略逐步增强，越来越
阅读全文
摘要：大型语言模型（LLM）正在深刻地影响自然语言处理（NLP）领域，其强大的处理各种任务的能力也为其他领域的从业者带来了新的探索路径。推荐系统（RS）作为解决信息过载的有效手段，已经紧密融入我们的日常生活，如何用LLM有效重塑RS是一个有前景的研究问题[20, 25]。 这篇文章从生成式推荐系统与京东联
阅读全文
摘要：相关文档 美团线程池实践：https://tech.meituan.com/2020/04/02/java-pooling-pratice-in-meituan.html 线程池思想解析：https://www.javadoop.com/post/java-thread-pool 引言 在后台项目开
阅读全文
摘要：为什么写本文 评审中发现很多研发都不会画设计图，有的画的非常复杂但没有要点，听的人不知道要表达的是什么；有的图画的非常简单，也没有要点。如果设计图只有在讲解的时候通过别人长时间的询问才能明白，那么设计图还有什么价值？大部分研发内心想提升设计能力，但有一些错误的观念可能会阻碍设计的成长。比如“参考一个
阅读全文
摘要：引言 在Android开发中，debug包和release包的行为差异可能导致release包在运行时出现问题，而这些问题在debug包中不会出现。 本文主要介绍debug包和release包的差异，导致此问题出现的可能原因及解决办法。 一、Debug与Release编译的基本差异 1. 编译配置
阅读全文
摘要：一、背景 订单本地化系统目前一个月的订单的读写已经切至jimkv存储，对应的HBase集群已下线。但存储全量数据的HBase集群仍在使用，计划将这个HBase集群中的数据全部迁到jimkv，彻底下线这个HBase集群。由于这个集群目前仍在线上读写，本文从原理和实践的角度探索对HBase集群数据的在线
阅读全文
摘要：1.项目描述 领航者卡片样式较多，有些卡片比较近似；可以用嵌套方案，实现一个卡片，多个子单元 可拔插组件式卡片。 2.逻辑设计 2.1卡片示例-聊天框提示 3 通用提示卡片 设计 通用卡片中加载 // 卡片组件unit加载 ... if(!options?.dataType){ if(options
阅读全文
摘要：作者 吴建超 ClickHouse索引采用唯一聚簇索引的方式，即Part内数据按照order by keys有序，在整个查询计划中，如果算子能够有效利用输入数据的有序性，对算子的执行性能将有巨大的提升。本文讨论ClickHouse基于索引的查询算子优化方式。 在整个查询计划中Sort、Distinc
阅读全文
摘要：1. 前言 提问：技术人的精神食粮是什么❓ AI给出的第一条是“知识与学习”。学习的方式有很多种，对笔者而言了解新技术和新热点是保持职业热爱很重要的方式。完成日常工作是保证物质基础，人终究还是想追求一些精神价值😂。 但日常工作已经占用了大量的时间，此外还有生活琐事需要对线，根本就没有时间搜集并学习
阅读全文
摘要：1. 问题回顾 问题背景是在进行中台应用中间件迁移过程中，发现存在项目启动失败或者项目正常启动（jsf正常挂载并正常运行，mq正常发送和消费）但是无任何日志打印现象。更奇怪的是不打印日志竟然是偶发的，在测试环境中多次部署都未出现项目启动但无日志打印情况，而且玄学的是生产环境两台机器，其中一台正常日志
阅读全文
摘要：作者 吴建超 ClickHouse以性能好被大家所熟知，而一个数据库的性能优化是一个庞大的系统性工程。本文着眼于ClickHouse内部的基础数据结构，以揭露ClickHouse性能优化的冰山一角。 在软件工程中并不是所有的执行路径都需要优化，只有关键执行路径才需要花费大力气进行优化。对于数据库领域
阅读全文
摘要：作者 吴建超 本文主要讲述ClickHouse中的数据存储结构，包括文件组织结构和索引结构，以及建立在其基础上的数据过滤机制，从Part裁剪到Mark裁剪，最后到基于SIMD的行过滤机制。 数据过滤机制实质上是构建在数据存储格式之上的算法，所以在介绍过滤机制前先介绍下ClickHouse中数据存储格
阅读全文
摘要：1.背景： 最近一段时间研发大佬们在积极的治理告警，经过一段时间的治理，现在告警情况已经有了很大的改观，但难免还有漏网之鱼；具体我们可以以下边一个例子来看： 这是一个生产的UMP告警，通过这个告警我们发现XXX这个应用的堆内存使用率为90.18%，超过了设置的告警阈值85%，所以产生了这样的一个告警
阅读全文
摘要：一 用例生成实践效果 在组内的日常工作安排中，持续优化测试技术、提高测试效率始终是重点任务。近期，我们在探索实践使用大模型生成测试用例，期望能够借助其强大的自然语言处理能力，自动化地生成更全面和高质量的测试用例。 当前，公司已经普及使用JoyCoder，我们可以拷贝相关需求及设计文档的信息给到Joy
阅读全文
摘要：引言 推荐系统在现代互联网应用中占据了极其重要的位置。无论是电商平台、社交媒体、音乐和视频流媒体服务，还是新闻和内容推荐系统，推荐系统都在提高用户体验和平台收益方面发挥着关键作用。近年来，随着人工智能和机器学习技术的迅猛发展，大模型（如GPT-4、BERT等）因其强大的特征表示和推理能力，逐渐在推荐
阅读全文
摘要：这是一篇适合Java工程师体质的AI开发教程。 本教程会教你写一个简单的junit4的Rule，该Rule在基于junit4的测试方法失败后，自动向GPT发送错误信息并通过GPT分析得出代码修改建议。 首先向AI问好 简单的通过AI，让它基于json格式生成相应的类文件，这样方便我们在代码中使用，而
阅读全文
摘要：一. 现状问题 代码评审 Code Review 是提高代码质量、促进团队合作、知识间共享的关键环节，对于系统代码质量和稳定性都至关重要。 时间消耗大：代码评审是一个耗时的过程，特别对于大型项目和复杂的代码更是如此。 无档期：评审者无时间会造成研发卡点。 一致性缺乏：不同的审查者可能会有不同的编码标
阅读全文
摘要：一、背景 在日常部门OpsReview过程中，部门内多次遇到应用容器所在的宿主机磁盘繁忙导致的接口响应缓慢，TP99增高等影响服务性能的问题，其中比较有效的解决方案是开启日志的异步打印，可以有效避免同步日志打印在磁盘IO高起的情况下拖慢业务线程的执行效率。 部门内的jimkv应用为了配合仓做切量，在
阅读全文
摘要：随着计算机和网络技术的飞速发展，信息的安全保护问题日益突出。数字图像、音频和视频等多媒体数字产品愈来愈需要一种有效的版权保护方法——水印技术，通常用于保护知识产权、防止未经授权的访问、作弊等。 广义上可以把水印技术划分为四大类：图像水印、视频水印、音频水印和文本水印。这些水印技术都有其独特的特点和应
阅读全文
摘要：大家好，我是每天分享AI应用的萤火君！ 今天继续给大家分享ComfyUI的入门必备技能：ControlNet。 ControlNet 提供了十几种生成图片的控制方式，有的可以控制画面的结构，有的可以控制人物的姿势，还有的可以控制图片的画风，这对于提高AI绘画的质量特别有用；基于 ControlNet
阅读全文
摘要：1 前言 前文 《深入跨域 - 从初识到入门》 中，大家已经对同源与跨域的产生历史与重要性等有了一个初步的了解了，那么我们应该如何解决在日常开发中遇到的跨域引起的问题呢？ 2 一览图 我们将日常开发中的跨域解决方案大体分为两类：iframe跨域 与 API跨域: 3 iframe跨域 3.1 oth
阅读全文
摘要：1.引言 在现代软件开发过程中，性能优化和故障排查是保证应用稳定运行的关键任务之一。Java作为一种广泛使用的编程语言，其生态中涌现出了许多优秀的监控和诊断工具，诸如：SkyWalking、Zipkin等，它们帮助开发者和运维人员深入了解应用的运行状态，快速定位和解决问题。在京东内部，则使用的是自研
阅读全文