Groot_Liu

摘要： vLLM 启动流程 以下面离线推理的简单例子作为代表，简要梳理一下 vLLM 的启动流程： from vllm import LLM, SamplingParams def main(): # Define a list of input prompts prompts = [ "你好" ] # D 阅读全文

摘要： vLLM 入口（Entrypoints） vLLM 主要提供两种推理模式，分别针对高吞吐量的离线批处理和高并发的在线服务： 离线推理模式 (Offline Inference)： 核心接口：直接使用 vllm.LLM 类。 工作方式：用户在 Python 脚本中实例化 LLM 类，通过 llm.ge 阅读全文

摘要： 在 “Attention Is All You Need” 这篇论文中，我们了解了注意力机制的三个关键矩阵：Q (Query)、K (Key) 和 V (Value)。 在标准的注意力计算流程中，核心步骤包括计算注意力得分矩阵 \(S=QK^T\) 以及 Softmax 后的概率矩阵 \(P\)。当 阅读全文

摘要： 前面的文章主要介绍了如何在 Python 中调用简单的 C++ 函数，而本篇文章将进一步探讨如何在 Python 中使用 C++ 定义的类及其成员函数。本文将分别在 C++ 和 Python 中实现一个矩阵类，并为其编写矩阵乘法的成员函数。最后，我们将把两种实现与 NumPy 的矩阵乘法进行性能对比 阅读全文

摘要： pybind11 的作用 鉴于 Python 脚本的运行速度相对较慢，而 C++ 具有显著的性能优势，Pybind11 成为了解决 Python 性能瓶颈的关键工具。它允许 Python 代码无缝调用高性能的 C++ 程序，从而大幅提升脚本的执行效率。此外，Pybind11 还提供了双向互操作性，支 阅读全文

摘要： 数据集选择 想要微调模型，首先就需要有合适的数据。本次微调模型的目标是训练出一个适合本地部署的翻译模型，因此我选用这个数据集： WMT-Chinese-to-English-Machine-Translation-Training-Corpus 但是因为使用的微调工具是 LLaMA-Factory， 阅读全文

摘要： 什么是 Ollama? Ollama 是一款开源工具，能够帮助非技术用户以最便捷的方式在本地运行大语言模型（Large Language Model, LLM）。它具有系统资源占用少、API 设计简洁易用的优点。此外，Ollama 官方还提供了一系列预训练好的大模型，这些模型已进行适当量化，用户可直 阅读全文

摘要： 角色 MCP Server：轻量级程序，通过标准的 Model Context Protocol 提供特定能力 是执行具体操作的工具。 例如：天气爬虫、数据库查询工具、文件读写工具、计算器等等。 它不知道也不关心大模型的存在，它只负责接收标准的 MCP 请求并返回结果。 MCP Client：维护与 阅读全文

摘要： 小数在计算机系统中的表示 在计算机发展的过程中出现了两种小数的表示形式：定点数与浮点数，但是这两种表示形式并不能与数学里的实数划等号，实数的范围是无限的，而作为计算机对数值的存储格式，定点数和浮点数是有限的，二者都是对实数集有限并且离散的近似。 定点格式通过固定小数点的预设位置来定义数值，而浮点格式 阅读全文

摘要： 六、virtio后端硬件化加速框架vDPA 参考文档： Achieving network wirespeed in an open standard manner: introducing vDPA vDPA - virtio Data Path Acceleration vDPA support 阅读全文