随笔分类 - python-fastapi

LitServe fastapi endpoint注册简单说明

摘要：LitServe 是基于fastapi 开发的，因为服务ai 模型的特殊性（一般都比较耗时，运行时间会比较长），LitServe 对于api endpoint 的注册并不是简单的处理，而是包含了一个自己的spec，基于此spec 实现灵活的定义（比如支持openai 兼容模式）参考注册 spec 阅读全文

posted @ 2024-11-13 08:00 荣锋亮阅读(29) 评论(0) 推荐(0) 编辑

fastapi uvicorn 多进程处理

摘要：uvicorn 对于多进程的支持可以通过配置wokers 参数，但是一般我们都使用的是模块类模式，并不是字符串（只有字符串模式才能生效）以下是基于multiprocessing 如何实现类似的功能（机制上实际与uvicorn 的多worker是类似的）参考代码 import multiproce 阅读全文

posted @ 2024-11-11 08:00 荣锋亮阅读(511) 评论(0) 推荐(0) 编辑

LitServe 服务多worker启动简单说明

摘要：LitServe 是一个基于fastapi 包装的快速推理api 服务，以下只简单说明下关于server 启动部分的处理参考使用我们可以通过配置devices 以及每个device 对应的worker 数执行以那种模式进行server 的启动（多线程还是多进程）参考使用 if __name__ 阅读全文

posted @ 2024-11-09 08:00 荣锋亮阅读(70) 评论(0) 推荐(0) 编辑

fastapi 通过依赖注入模式使用apscheduler

摘要：就是一个简单记录，方便后续使用参考代码 api 服务 import uuid from fastapi import FastAPI,Header,Depends,HTTPException from typing import Annotated async def tenant_id(x_te 阅读全文

posted @ 2024-10-10 06:42 荣锋亮阅读(58) 评论(0) 推荐(0) 编辑

fastapi apscheduler 通过函数引用添加job

摘要：主要是一个简单测试，同时集成fastapi，包含了简单参数传递参考代码 import logging import uuid from fastapi import FastAPI from pytz import utc from apscheduler.schedulers.backgroun 阅读全文

posted @ 2024-10-09 06:35 荣锋亮阅读(21) 评论(0) 推荐(0) 编辑

python 几个IOC 框架

摘要：整理几个不错的python ioc 框架，方便学习使用 python-dependency-injector 功能很全，很强大，支持的特性比较多，属于比较全面的ioc 框架了 lagom 一个轻量的ioc 框架，常见玩法够用 FastDepends 这个实际上是来自fastapi 提取的一个ioc 阅读全文

posted @ 2024-10-08 06:47 荣锋亮阅读(151) 评论(0) 推荐(0) 编辑

litellm proxy ui 的处理

摘要：litellm proxy ui 关于static 的处理是基于了fastapi 的StaticFiles，使用了绝对路径配置的，以下是一个简单说明参考代码 litellm/proxy/proxy_server.py current_dir = os.path.dirname(os.path.ab 阅读全文

posted @ 2024-09-09 00:03 荣锋亮阅读(42) 评论(0) 推荐(0) 编辑

fastapi 使用package 提供web 静态资源

摘要：日常开发中对于静态资源的处理方法很多，但是如果静态资源也可以像包一样集成发布就会比较方便对于我们实际软件部署就会比较方便以下是关于fastapi 通过package 提供静态资源参考代码安装静态资源我们使用了bootstrap4，基于这个包提供 app.py from fastapi imp 阅读全文

posted @ 2024-09-08 00:01 荣锋亮阅读(78) 评论(0) 推荐(0) 编辑

chainlit stream 模式简单说明

摘要：chatapp stream 模式还是很重要的，现在的llm api 基本都支持stream模式了chainlit 也提供了stream 模式的支持参考处理 import chainlit as cl from openai import AsyncOpenAI client = AsyncOpe 阅读全文

posted @ 2024-08-12 00:06 荣锋亮阅读(73) 评论(0) 推荐(0) 编辑

fastapi socketio 简单使用

摘要：fastapi 集成python-socketio的简单说明参考使用安装依赖 pip install fastapi uvicorn python-socketio backend 代码 from fastapi import FastAPI,Body from fastapi.middlewa 阅读全文

posted @ 2024-08-08 00:13 荣锋亮阅读(108) 评论(0) 推荐(0) 编辑

PyNest基于fastapi 类似nestjs 的python 框架

摘要：PyNest基于fastapi 类似nestjs 的python 框架支持的特性依赖注入类型注解装饰器代码生成参考使用安装cli pip install pynest-api 创建项目 pynest create-nest-app -n my_app_name 添加模块 pynest 阅读全文

posted @ 2024-04-02 08:00 荣锋亮阅读(58) 评论(0) 推荐(0) 编辑

使用py-spy 分析python 应用的性能问题

摘要：py-spy 是使用rust 开发的基于采样的profiler ，可以方便的用来分析python 应用的性能，同时还能生成火焰图（很强大）以下是fastapi 的学习以及一个基于py-spy 的火焰图生成 fastapi 环境准备推荐基于venv 安装运行 pip install fastapi 阅读全文

posted @ 2020-03-22 21:38 荣锋亮阅读(1626) 评论(0) 推荐(0) 编辑