08 2024 档案
摘要：具体流程为 1. 创建本地项目目录 mkdir my_project cd my_project 2. 初始化git仓库 git init 指令会在当前目录中创建一个 ” .git ”文件夹，用于存储版本控制信息3. 添加文件到仓库 echo "# My Project" >> README.md
阅读全文
摘要：AirLLM是一种针对LLM的轻量级推理框架，通常用于优化和加速大模型的推理过程，可以允许70B的LLM在单个4GB的GPU上运行，无需量化、蒸馏、剪枝。 AirLLM是通过分层推理实现的上述功能，本质上是将LLM的每一层拆分出来，分别加载权重进行推理，在推理较大的LLM时会很慢。 环境配置 使用p
阅读全文
摘要：LLaMA-Factory是一个整合了主流的各种高效训练微调技术、适配主流开源模型、功能丰富、适配性好的训练框架。 安装LLaMA Factory conda create -n llamafactory python=3.8.0 conda activate llamafactory git cl
阅读全文
摘要：vLLM是一个快速且易于使用的LLM推理和服务库 vLLM的快速性体现在： 最先进的服务吞吐量 通过PagedAttention有效管理注意力机制KV的内存 连续的批次处理请求 使用CUDA/HIP图快速执行模型 量化：GPTQ、AWQ、INT4、INT8、FP8 CUDA内核优化，包括FlashA
阅读全文
摘要：MONAI Label 是一款智能开源图像标记和学习工具，使用户能够创建带注释的数据集并构建用于临床人员评估的AI注释模型。 MONAL Label 可以通过 MONAI Label Server作为服务端构建标签应用程序，服务端和客户端可在同一个计算机上运行。 定位：AI辅助标注插件 Step1
阅读全文
摘要：python中的 r 指的是raw，即raw string 原始字符串，会忽略字符串中的所有转义字符。 !r 是一种字符串格式化方式，可以将任意对象转换成它的 repr() 表达形式，并将其嵌入到字符串中。 s1 = 'this is a string' print(s1) >> this is a
阅读全文
