LangServe如何革新LLM应用部署？
0 前言
随LLM技术演进，AI应用开发部署越来越复杂。LangServe应运而生，旨在简化AI服务部署和运维的框架。专为LLM部署和管理而设计；本文旨在讲解LangServe的功能特点和实践运用。
1 概述
LangServe 提供一整套将LLM部署成产品服务的解决方案。可将LLM应用链接入常见Python Web框架（如FastAPI、Pydantic、uvloop、asyncio），进而生成一套RESTful API。LangServe减少开发人员的运维部署任务，使他们可以更专注于LLM应用开发。不仅简化从开发到生产的过渡，还确保服务的高性能和安全性。它提供了包括模型管理器、请求处理器、推理引擎、结果缓存、监控与日志记录以及API网关等各类组件。LangServe的目标是让开发者能够轻松集成、部署和管理AI模型，从零到一无缝地实现LLM应用从原型到产品的过渡。
仓库地址：https://github.com/langchain-ai/langserve
2 功能
多模型支持
LangServe支持部署多种类型的AI模型，包括文本生成、图像识别、语音处理等，开发人员能够按需切换。
高效推理缓存
为了提高响应速度和节省计算资源，LangServe包含了一个高效的结果缓存系统，可以智能地存储和管理热点数据。
安全访问控制
通过角色和策略的管理，LangServe提供了灵活的访问控制机制，确保了服务的安全性和数据的隐私性。
实时监控与日志
内置的监控系统可以实时跟踪服务的运行状态，详尽的日志记录有助于问题的调试和分析。
简洁易用的API接口
LangServe的API设计简洁直观，易于理解和使用，大大减少了开发者的学习成本。
3 REST API 开发
1 环境准备
安装依赖：
pip install "langserve[all]"
该命令包含了服务端和客户端的安装。
设置环境变量：OPENAI_API_KEY=<your valid openai api key>
2 代码开发
简单的翻译接口。除了LangServe，还引入Web框架FastAPI和Web服务器uvicorn：
from fastapi import FastAPI
from langchain.prompts.chat import (
ChatPromptTemplate,
SystemMessagePromptTemplate,
HumanMessagePromptTemplate,
)
from langchain_openai import ChatOpenAI
from langserve import add_routes
# FastAPI是一个基于Python的Web框架，用于构建高性能、可扩展的API
app = FastAPI(
title="LangChain Server",
version="1.0",
description="A simple API server using Langchain's Runnable interfaces",
)
# 接口1
add_routes(
app,
ChatOpenAI(),
path="/openai",
)
# 接口2
system_message_prompt = SystemMessagePromptTemplate.from_template("""
You are a helpful assistant that translates {input_language} to {output_language}.
""")
human_message_prompt = HumanMessagePromptTemplate.from_template("{text}")
chat_prompt = ChatPromptTemplate.from_messages([system_message_prompt, human_message_prompt])
add_routes(
app,
chat_prompt | ChatOpenAI(),
path="/translate",
)
if __name__ == "__main__":
import uvicorn
# Python的Web服务器
uvicorn.run(app, host="localhost", port=9999)
3 启动
python app.py
4 Postman调用测试
通常可直接访问 http://localhost:9999/docs，在浏览器在线的接口文档中找到对应的接口，并直接在网页上进行测试。目前由于新的Pydantic版本存在兼容性问题，无法生成OpenAPI文档，因此暂用Postman进行接口测试。
5 客户端调用测试
在后台开发LangServe客户端，进行远程调用REST API。
from langchain.prompts.chat import ChatPromptTemplate
from langserve import RemoteRunnable
# 配置远程接口
openai_llm = RemoteRunnable("http://localhost:9999/openai/")
# 创建提示词
prompt = ChatPromptTemplate.from_messages(
[
("system", "你是一名资深的AI大模型专家"),
("human", "请帮忙讲解一下，有哪些常用的通用开源大模型，中外各自罗列5个"),
]
).format_messages()
# LLM接口调用
openai_llm.invoke(prompt)
# 输出：
# AIMessage(content='当谈论通用开源大模型时，常常会提到自然语言处理（NLP）领域中的预训练模型。以下是中外各自常用的5个通用开源大模型：
# **国外：**
# 1. BERT（Bidirectional Encoder Representations from Transformers）：由Google开发，是一种基于Transformer架构的预训练模型，用于各种NLP任务。
# 2. GPT-3（Generative Pre-trained Transformer 3）：由OpenAI发布，是一个非常大的语言生成模型，可以用于文本生成等任务。
# 3. RoBERTa（A Robustly Optimized BERT Approach）：由Facebook发布的预训练模型，基于BERT进行了一些优化，用于提高性能。
# 4. T5（Text-to-Text Transfer Transformer）：由Google发布，是一个通用的文本生成模型，可以应用于多种NLP任务。
# 5. XLNet：由谷歌Brain团队发布，是一种自回归预训练模型，结合Transformer-XL和自回归方法。
# **国内：**
# 6. ERNIE（Enhanced Representation through kNowledge Integration）：由百度发布，是一种基于Transformer架构的多语言预训练模型，融合了知识融合的方法。
# 7. GPT-2（Generative Pre-trained Transformer 2）：由哈工大讯飞联合实验室发布，是一个类似于GPT-3的语言生成模型，用于文本生成等任务。
# 8. HFL/THU Bert：由清华大学自然语言处理与社会人文计算实验室发布，是一个BERT的中文预训练模型，适用于中文NLP任务。
# 9. RoFormer：由华为发布，是一种优化的中文预训练模型，用于中文NLP任务。
# 10. PaddleNLP：由百度发布，是一个NLP模型库，提供了多种预训练模型，包括BERT、ERNIE等，适用于各种NLP任务。')
总结
LangServe作为一款专注于AI模型部署和运维的平台，通过其精心设计的架构和丰富的功能集合，显著降低了AI项目的门槛，提升了开发效率和服务稳定性。无论是初创公司还是大型企业，LangServe都提供了一个可靠的解决方案，以应对AI领域中的挑战和机遇。随着AI技术的不断进步，LangServe将继续在AI服务的革新和发展中扮演关键角色。
关注我，紧跟本系列专栏文章，咱们下篇再续！
作者简介：魔都架构师，多家大厂后端一线研发经验，在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。
各大技术社区头部专家博主。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。
负责：
- 中央/分销预订系统性能优化
- 活动&券等营销中台建设
- 交易平台及数据中台等架构和开发设计
- 车联网核心平台-物联网连接平台、大数据平台架构设计及优化
- LLM Agent应用开发
- 区块链应用开发
- 大数据开发挖掘经验
- 推荐系统项目
目前主攻市级软件项目设计、构建服务全社会的应用系统。
参考：
本文由博客一文多发平台 OpenWrite 发布！
