08 2023 档案

[trt-hackthon2023]ControlNet-trt优化总结

摘要：# trt-hackthon2023 ControlNet-trt优化总结 ## 题目简介本届赛题是模型优化赛，和上届的hackthon一样，也是借助于TensorRT工具，实现对深度模型的加速，本届赛题要优化的模型为controlNet，即为类SD的图像生成模型。比赛地址： https://t 阅读全文

posted @ 2023-08-31 00:49 wildkid1024 阅读(474) 评论(0) 推荐(0) 编辑

[fastllm]多线程下动态组batch实现解析

摘要：# [fastllm]多线程下动态组batch实现解析 ## 需求分析新版本的fastllm中添加了ForwardBatch的功能，用于处理批量推理请求，单次推理请求会被视为batch为1的批量请求，这样做似乎没什么问题。然而在具体实践中，用户的请求往往是一个一个来的，每来一个请求都要等上一个请阅读全文

posted @ 2023-08-26 15:19 wildkid1024 阅读(455) 评论(0) 推荐(0) 编辑

[fastllm]cuda-kernels源码解析

摘要：接着前面第一篇架构的分析，这篇文章主要分析fastllm中使用cuda-kernels的写法，在fastllm中主要有以下几种使用频率较高的kernel：gemv_int4, gemv_int8, gemm_int8, RMSNorm, softmax，RotatePosition2D，swiglu 阅读全文

posted @ 2023-08-23 19:34 wildkid1024 阅读(207) 评论(0) 推荐(0) 编辑

[cuda]RMSNorm核函数解析

摘要：### 计算原理

R M S N o r m = x * (s q r t (1 / n * (x_{i})^{2} + e p s)) * g

$RMSNorm = x * (sqrt(1/n * (x_i)^2 + eps)) * g$ ### torch实现 ```python class RMSNorm(torch.nn.Module): def __init__(self, dim: int, eps: float 阅读全文

posted @ 2023-08-20 11:12 wildkid1024 阅读(962) 评论(0) 推荐(0) 编辑

fastllm源码解析

摘要：# fastllm源码解析 ## 文件结构 1. include: 头文件，包含utils, basellm，chatglm， factoryllm, fastllm, fastllm-cuda, moss, vicuna 2. src: 源码文件，包含chatglm, fastllm， fast 阅读全文

posted @ 2023-08-19 11:53 wildkid1024 阅读(385) 评论(0) 推荐(0) 编辑

Inferllm源码解析

摘要：# Inferllm源码解析 ## 文件结构 1. application: 放置几个不同模型的参数配置和后处理 2. include: 包含抽象model类的头文件 3. src/core: 核心组件，包括tensor、算法等基础算子的抽象和KV文件系统的实现 4. src/graph: 包含了几阅读全文

posted @ 2023-08-06 10:32 wildkid1024 阅读(221) 评论(0) 推荐(0) 编辑