随笔分类 - AI
摘要：企业大语言模型落地的困难可能包括以下几个方面： 技术难度：企业大语言模型需要处理大量的数据和复杂的算法，需要具备深厚的技术积累和研发能力。同时，企业还需要考虑模型的可扩展性和可维护性，以应对不断变化的业务需求。 数据难题：企业大语言模型需要大量的高质量数据进行训练，但数据的获取和处理往往非常困难。企
阅读全文
摘要：不久前Flash-attention 2.3.2 终于支持了 Windows，推荐直接使用大神编译好的whl安装 github.com/bdashore3/flash-attention/releasesstable diffusion webui flash-attention2性能测试 安装环境
阅读全文
摘要：问题： 2023-11-26 07:45:38 | ERROR | stderr | raise HFValidationError(2023-11-26 07:45:38 | ERROR | stderr | huggingface_hub.utils._validators.HFValidati
阅读全文
摘要：llama.cpp 在ubuntu环境下编译： 1. 下载好模型文件，如 llama-2-7b-chat-hf； Mistral-7B-Instruct-v0.1/ggml-model-f16-q8_0.gguf2. 建立conda环境 conda create -n llamacpp python
阅读全文
摘要：一、推理：显存计算 推理的显存大头就是：参数量，参数类型版本一般有以下四种： float 32位 浮点数 4 字节 half / BF16 16位 浮点数 2 字节 int8 8位 整数 1 字节 int4 4位 整数 0.5 字节 以 7B-BF16 版本为例，需要显存 = 数量 * 类型大小 =
阅读全文
摘要：LangChains 是一个用于开发由语言模型驱动的应用程序的框架。他主要拥有 2 个能力：可以将 LLM 模型与外部数据源进行连接&允许与 LLM 模型进行交互。这个库目前非常活跃，每天都在迭代，已经有 22k 的 star，更新速度飞快。 基础功能 LLM 调用 支持多种模型接口，比如 Open
阅读全文
