Liang-ml

摘要： LLaMA-Factory是一个整合了主流的各种高效训练微调技术、适配主流开源模型、功能丰富、适配性好的训练框架。 安装LLaMA Factory conda create -n llamafactory python=3.8.0 conda activate llamafactory git cl 阅读全文

摘要： vLLM是一个快速且易于使用的LLM推理和服务库 vLLM的快速性体现在： 最先进的服务吞吐量 通过PagedAttention有效管理注意力机制KV的内存 连续的批次处理请求 使用CUDA/HIP图快速执行模型 量化：GPTQ、AWQ、INT4、INT8、FP8 CUDA内核优化，包括FlashA 阅读全文

摘要： MONAI Label 是一款智能开源图像标记和学习工具，使用户能够创建带注释的数据集并构建用于临床人员评估的AI注释模型。 MONAL Label 可以通过 MONAI Label Server作为服务端构建标签应用程序，服务端和客户端可在同一个计算机上运行。 定位：AI辅助标注插件 Step1  阅读全文

摘要： python中的 r 指的是raw，即raw string 原始字符串，会忽略字符串中的所有转义字符。 !r 是一种字符串格式化方式，可以将任意对象转换成它的 repr() 表达形式，并将其嵌入到字符串中。 s1 = 'this is a string' print(s1) >> this is a 阅读全文

摘要： 详见 https://github.com/ggerganov/llama.cpp LLM部署工具llama.cpp llama.cpp 旨在使用最少的硬件资源实现在本地或云端上的最优性能的LLM推理部署，其具有以下特点 纯C/C++实现，无任何依赖项 支持x86架构的AVX、AVX2和AVX512 阅读全文

摘要： 常用的数据类型有FP64、FP32、FP16、BFLOAT16等，以及LLM量化用到的INT4、NF4、INT8、FP8 指数位长度提供范围，尾数位长度决定精度 TF32剩余的13位填充或未使用 FP64 FP64表示64位浮点数，通常为IEEE 754定义的双精度二进制浮点格式，由1位符号位、11 阅读全文

摘要： https://download.pytorch.org/whl/torch_stable.html 阅读全文

摘要： 链接地址： github: https://github.com/meta-llama/llama3 huggingface: https://huggingface.co/meta-llama metaAI: https://llama.meta.com/ Llama3是Meta于2024年4月1 阅读全文

摘要： 矩特征(Moments Features) : 矩特征是图像分析和模式识别的一种特征表示方法，用于描述图像的形状、几何特征和统计信息。可用于识别图像中的对象、检测形状及进行图像分类等。 常见的矩特征： 1. 零阶矩(Zeroth-Order Moments)：用于描述图像的总体亮度或面积。 2. 一 阅读全文

摘要： 问题：配置detectron2的时候报错，Microsoft Visual C++ 14.0 is required. 解决：按照上面的网址去下载 Microsoft C++ Bulid Tools这个工具，安装对应的包即可 阅读全文