随笔 - 934, 文章 - 0, 评论 - 247, 阅读 - 344万

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

Faster-Whisper

Posted on   蝈蝈俊  阅读(849)  评论(0编辑  收藏  举报

Faster-Whisper https://github.com/SYSTRAN/faster-whisper 是一个使用 CTranslate2 重新实现的 OpenAI Whisper 模型,旨在提高转录速度和效率。

它显著提高了处理速度,与原始 Whisper 模型相比,保持了相同的准确性的同时,速度提升了最多 4 倍,并且降低了内存使用量。

此外,它支持 CPU 和 GPU 上的 8 位量化,进一步优化效率。

安装

pip install faster-whisper

# 更新
pip install -U faster-whisper

CUDA 的安装

我试过直接下载https://developer.nvidia.com/cuda-downloads

或者

https://github.com/Purfview/whisper-standalone-win/releases/tag/libs 解压存档并将对应库放在 PATH 目录中。

都没成功,报:

cublas64_12.dll is not found

RuntimeError: Library cublas64_12.dll is not found or cannot be loaded

最后解决方案是通过下面命令安装的:

conda install cuda -c nvidia

相关文档参看: https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/index.html

模型安装目录

默认情况下,它自动下载的对应模型文件在local cached 目录下。

比如,我这里配置的使用 large-v3 模型(即 https://huggingface.co/Systran/faster-whisper-large-v3

model = WhisperModel("large-v3", device="cuda", compute_type="float16")

对应模型文件被下载在下面地址:

# mac
/Users/ghj1976/.cache/huggingface/hub/models--Systran--faster-whisper-large-v3

# win
C:\Users\Administrator.SY-202304151755\.cache\huggingface\hub\models--Systran--faster-whisper-large-v3

要升级模型也是升级对应的文件。

相关博文:
阅读排行:
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 【全网最全教程】使用最强DeepSeekR1+联网的火山引擎,没有生成长度限制,DeepSeek本体
历史上的今天:
2023-02-26 注意力机制
2016-02-26 gomobile 真机 log 打出的日志跟踪
点击右上角即可分享
微信分享提示