09 2024 档案
摘要:
随着大语言模型 (LLMs) 规模和复杂性的增长,寻找减少它们的计算和能耗的方法已成为一个关键挑战。一种流行的解决方案是量化,其中参数的精度从标准的 16 位浮点 (FP16) 或 32 位浮点 (FP32) 降低到 8 位或 4 位等低位格式。虽然这种方法显著减少了内存使用量并加快了计算速度,但往
阅读全文
![将 LLMs 精调至 1.58 比特: 使极端量化变简单](https://img2024.cnblogs.com/blog/3075972/202409/3075972-20240928093322291-804752428.png)
摘要:
Hugging Face 的开源聊天应用程序 Hugging Chat,现已推出适用于 macOS 的版本。 主要特点 Hugging Chat macOS 版本具有以下亮点: 强大的模型支持: 用户可以一键访问多个顶尖的开源大语言模型,包括 Qwen 2.5 72B、Command R+、Phi
阅读全文
![HuggingChat macOS 版现已发布](https://img2024.cnblogs.com/blog/3075972/202409/3075972-20240926202058690-1792459751.png)
摘要:
我们为 LLM 确立了一个跨模型的 统一工具调用 API。有了它,你就可以在不同的模型上使用相同的代码,在 Mistral、Cohere、NousResearch 或 Llama 等模型间自由切换,而无需或很少需要根据模型更改工具调用相关的代码。此外,我们还在 transformers 中新增了一些
阅读全文
![对 LLM 工具使用进行统一](https://img2024.cnblogs.com/blog/3075972/202409/3075972-20240926100459903-1176982661.png)
摘要:
Accelerate 发展概况 在三年半以前、项目发起之初时,Accelerate 的目标还只是制作一个简单框架,通过一个低层的抽象来简化多 GPU 或 TPU 训练,以此替代原生的 PyTorch 训练流程: 自此,Accelerate 开始不断扩展,逐渐成为一个有多方面能力的代码库。当前,像 L
阅读全文
![Accelerate 1.0.0](https://img2024.cnblogs.com/blog/3075972/202409/3075972-20240924134501881-693243641.png)
摘要:
文/ Adeena, 在快速发展的研究领域,保持对最新进展的关注至关重要。为了帮助开发者和研究人员跟踪 AI 领域的前沿动态,Hugging Face 推出了 Daily Papers 页面。自发布以来,Daily Papers 已展示了由 AK 和社区研究人员精心挑选的高质量研究。在过去一年里,已
阅读全文
![Hugging Face 论文平台 Daily Papers 功能全解析](https://img2024.cnblogs.com/blog/3075972/202409/3075972-20240924133359196-1472291639.png)
摘要:简单概述 现在,在 Hugging Face 中,使用打包的指令调整示例 (无需填充) 进行训练已与 Flash Attention 2 兼容,这要归功于一个 最近的 PR 以及新的 DataCollatorWithFlattening。 它可以在保持收敛质量的同时,将训练吞吐量提高多达 2 倍。继
阅读全文
摘要:Falcon Mamba 是由阿布扎比的 Technology Innovation Institute (TII) 开发并基于 TII Falcon Mamba 7B License 1.0 的开放获取模型。该模型是开放获取的,所以任何人都可以在 Hugging Face 生态系统中 这里 使用它
阅读全文
摘要:
在开发 Docmatix 时,我们发现经其微调的 Florence-2 在 DocVQA 任务上表现出色,但在基准测试中得分仍比较低。为了提高基准测试得分,我们必须在 DocVQA 数据集上进一步对模型进行微调,以学习该基准测试的语法风格。有意思的是,人类评估者认为经额外微调后,模型的表现似乎反而不
阅读全文
![LAVE: 使用 LLM 对 Docmatix 进行零样本 VQA 评估 - 我们还需要微调吗?](https://img2024.cnblogs.com/blog/3075972/202409/3075972-20240905103635267-1354952876.png)
摘要:我们花了一笔巨款收购了 .com 域名,恭喜我们,也恭喜过去的这位域名持有者 🫴 接住了这泼天的富贵 🤗
阅读全文