背景 梳理tensorflow serving的项目主要模块及其功能 梳理tensorflow serving的请求调用链路和生命周期 主要模块及其功能 apis/ 包含服务API定义和接口规范 定义了模型服务的gRPC和REST API 负责处理预测请求和响应的数据结构 core/ 项目的核心实现 ...

Puzzles 8: Long softmax puzzles8是计算batch的softmax，题目如下： Softmax of a batch of logits. Uses one program block axis. Block size B0 represents the batch o ...

背景 笔者最近在工作中需要用到一些高性能计算的优化，于是准备着手系统性进行学习。有大佬建议先从triton学起，并且推荐了triton puzzles和triton的tutorial作为入门资料。以下是我练习triton puzzles时对一些解法的分析，记录一下作为心得。 练习题库git http ...

5 月 23 日，Claude 官方宣布推出下一代 Claude 模型：Claude Sonnet 4 和 Claude Opus 4，直接 在全世界的 AI 圈掀起了新的风暴！ 据官方称，Claude Opus 4 是 世界上最好的编程模型，在复杂、长期运行的任务和智能体工作流程中具有持续性能，能 ...

前言 随着大型语言模型 (LLM) 的飞速发展，将其集成到各类应用中以提升智能化水平已成为一种趋势。Saga Reader 作为一款现代化的 RSS 阅读器，在 LLM 集成方面做出了前瞻性的设计，不仅支持通过 Ollama 实现本地化 LLM 功能，还具备了接入多种在线 LLM 服务（如智谱 GL ...

背景 生成式排序作为生成式模型在推荐系统中的重要应用方向，旨在通过生成式模型对用户行为序列进行建模，从而实现对用户兴趣的动态捕捉和对未来行为的准确预测。与传统基于特征工程的推荐方法相比，生成式排序模型能够更自然地处理序列数据，捕捉用户行为的长期依赖关系，并且可以自适应地更新用户兴趣表示，以适应用户兴 ...

1️⃣ Nvidia与瑞典企业共建AI工厂 时间： 2025-05-24 摘要： Nvidia与瑞典瓦伦堡家族支持的企业集团合作，在瑞典建立AI基础设施，旨在推动欧洲的AI发展。该项目预计将增强瑞典在AI领域的竞争力，促进技术创新和经济增长。 解读： 此举显示了Nvidia在全球范 ...

1️⃣ 马斯克AI扩展引发利益冲突担忧 时间： 2025-05-23 摘要： 埃隆·马斯克的DOGE团队正在将其人工智能聊天机器人Grok推广至美国联邦机构的内部使用，引发了潜在利益冲突的担忧。Grok由马斯克的公司xAI开发，已在国土安全部等敏感部门未经正式批准的情况下使用，可能违反保 ...

1️⃣ 英伟达CEO批评美国出口管制 时间： 2025-05-22 摘要： 英伟达首席执行官黄仁勋公开批评美国对华AI芯片出口管制，称其为“失败的政策”，未能阻止中国发展高端AI，反而促使中国加速自主研发。黄仁勋强调，全球合作才是推动AI安全与发展的关键。 解读： 此番言论凸显出全 ...

今天给大家分享一个教学的 AI 使用场景，主要用来解决课堂老师实时讲解的内容如何让学生快速了解学习。 一、教学场景说明： 课堂上老师上完课后，课堂实时讲解的内容，部分与教材或者课件有偏差（临场发挥），希望通过AI小助手将这部分知识沉淀总结下来。方便学生了解回顾。 二、AI 流程设计说明： 该 AI ...

最终目标 创建类似360、腾讯电脑管家的气泡悬浮球，并且实现拖动，点击气泡框显示AI聊天对话框，可以和AI进行通话。并创建系统托盘应用图标，实现应用显示、隐藏，退出功能。 使用工具 1、electron-vite脚手架 2、MaxKB 3、Tray 实现过程 1、使用electron-vite脚手架 ...

AI 如火如荼，尤其是最近半年，发展的速度超出想象。DeepSeek的出现，对于整个世界AI 界带来深渊影响。 AI是当前“技术找技术”的极致产物， 它大幅提升了流程效率，但没有带来新的需求，没有带来类似PC或移动互联网时代那样的爆炸性新需求。 那么AI带来了什么？是的， 在有限的新需求下，AI让更 ...

超级文档正式接入DeepSeek AI，带来革命性的AI写作与AI修改功能，让您的创作更智能、更流畅！无论是移动端还是桌面端，都能随时随地体验AI带来的便捷与高效。 ...

1️⃣ 谷歌 I/O 发布 AI 升级 时间： 2025-05-21 摘要： 在 2025 年 Google I/O 开发者大会上，谷歌推出了 Gemini 1.5 Pro 和 Gemini 1.5 Flash 两款模型。Gemini 1.5 Pro 强化了长文本和代码处理能力，适用于复 ...

在自然语言处理（NLP）领域，Hugging Face 是不可或缺的处理库，而 Spark 则是大数据处理的必备工具。将两者的优势结合起来，可以实现高效的 NLP 大数据处理。以下是结合 Hugging Face 和 Spark 的两种方法，基于 Spark & PySpark 3.3.1 版本进行 ...

在大数据场景下，高效地进行近似最近邻搜索（Approximate Nearest Neighbors, ANN）是许多应用的关键，如推荐系统、图像检索等。传统的单机版 HNSWlib 在处理大规模数据时速度较慢，因此我们尝试采用分布式解决方案 HNSWlib-PySpark 进行召回实验。 背景 H ...

TensorRT是英伟达推出的部署框架，我的工作经常需要封装我的AI算法和模型给到桌面软件使用，那么tensorRT对我来说就是不二之选。TensorRT和cuda深度绑定，在c++版本的推理教程中需要使用cuda进行数据的显存绑定，由于10之前的写法比较固定，我自己基于tensorRT和cuda写 ...

科技圈爆火的MCP是一种专为 AI 应用设计的通信协议，华为云 CSE 通过创新性地结合 MCP 协议和微服务体系，可以帮助企业解决传统微服务适配 AI 系统的多重痛点 ...

深度学习神经网络中，卷积层和池化层是很经典且有效的操作，尤其在视觉领域，到现在为止也是很多SOTA模型中无法去除的模块，很多经典的模块，比如残差、dense、CSP、SE等等都是在这两个基础算子上展开的，可以说对于深度学习而已，卷积和池化就像0和1一样重要。在这里笔者分享一下自己对这两个算子的学习和 ...

你是否也有这样的困扰？ 问大模型一个很具体的问题：“请告诉我A软件的安装方法。” 结果它却信誓旦旦地告诉了你B软件的安装步骤。 在这个过程中，你可能已经花了大量时间解析和清洗上千份文档，接入RAG，但结果仍然不理想。 为什么会这样？ 其中一个很重要的原因是，我们花了很多时间构建知识库，却忽略了一个看 ...