摘要：
Ollama 默认直接支持很多模型，只需要简单的使用 ollama run命令，示例如下： ollama run gemma:2b 就可安装、启动、使用对应模型。 通过这样方式直接支持的模型我们可以通过https://ollama.com/library 找到。 在https://huggingfa 阅读全文
posted @ 2024-03-10 10:02 蝈蝈俊 阅读(10207) 评论(1) 推荐(4) 编辑
摘要：
在HuggingFace上，我们时不时就会看到GGUF后缀的模型文件，它是如何来的？有啥特点？ https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF GGUF 由来 Georgi Gerganov（https://github.com/ggerga 阅读全文
posted @ 2024-03-09 21:41 蝈蝈俊 阅读(2229) 评论(0) 推荐(0) 编辑
摘要：
在深度学习和Transformer模型的上下文中，d_model中的“d”通常代表“dimension”，即“维度”的简写。因此，d_model指的是模型中向量的维度大小，这是一个关键的参数，影响着模型的性能和计算复杂度。在Transformer架构中，d_model特别指向嵌入向量的维度，以及模型 阅读全文
posted @ 2024-03-03 13:42 蝈蝈俊 阅读(1220) 评论(0) 推荐(0) 编辑
摘要：
QLoRa的核心思想是首先使用低秩分解技术降低参数的数量，然后对这些低秩表示的参数应用量化技术，进一步减少所需的存储空间和计算量。 低秩分解 低秩分解（Low-Rank Factorization）：通过将模型中的权重矩阵分解为更小的矩阵乘积，减少模型中的参数数量。 参看：LoRA 微调和低秩矩阵 阅读全文
posted @ 2024-02-27 09:29 蝈蝈俊 阅读(117) 评论(0) 推荐(0) 编辑
摘要：
Faster-Whisper https://github.com/SYSTRAN/faster-whisper 是一个使用 CTranslate2 重新实现的 OpenAI Whisper 模型，旨在提高转录速度和效率。 它显著提高了处理速度，与原始 Whisper 模型相比，保持了相同的准确性的 阅读全文
posted @ 2024-02-26 13:51 蝈蝈俊 阅读(608) 评论(0) 推荐(0) 编辑
摘要：
LoRA（Low-Rank Adaptation）是一种技术，旨在有效调整大型语言模型，以适应特定任务，而无需重新训练整个模型。在论文《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGEMODELS》（https://arxiv.org/abs/2106.0968 阅读全文
posted @ 2024-02-25 20:10 蝈蝈俊 阅读(877) 评论(0) 推荐(0) 编辑
摘要：
今天看到这段话： 你以为的新能源：电力驱动 真正的新能源：人工智能 Sam Altman 在英特尔的活动上也提到了这一点，如果非要类比，把现在当做交流直流大战的阶段是个恰当的比喻。 在电力技术初期，人们对于电力的本质、产生方式以及它如何转化和利用其他自然资源有很多探索和质疑。电力的产生确实需 阅读全文
posted @ 2024-02-23 20:36 蝈蝈俊 阅读(33) 评论(0) 推荐(0) 编辑
摘要：
Ollama (https://ollama.com/) 是一款命令行工具，可在 macOS 、 Linux 、Windows 上本地运行 Llama 2、Code Llama 、Gemma 等模型。 Ollama 目前支持近二十多个语言模型系列（https://ollama.com/library 阅读全文
posted @ 2024-02-22 16:59 蝈蝈俊 阅读(4141) 评论(1) 推荐(0) 编辑
摘要：
在与语言模型（LLM）的交流中，明确指导（告诉它做什么）往往比单纯指出禁止行为（告诉它不做什么）更加有效。 这种方法的优点在于能够更直接、更精确地引导模型的回答方向，减少模型需要考虑的可能性范围，从而提高获取期望答案的几率。 OpenAI 的官方文档 https://help.openai.com/ 阅读全文
posted @ 2024-02-08 10:21 蝈蝈俊 阅读(92) 评论(0) 推荐(0) 编辑