faster whisper部署

 我下载的模型是Systran/faster-whisper-large-v3

 

 

BTW ：V3在huggingface上托管者是systran，而前面的都是Guillaume Klein

然后我看了下这个大佬的github，是苹果法国巴黎工程师，同时是systran的成员，主要贡献是开发了CTranslate2 ，一个用于加速transformers模型推理的组件

以下为模型性能信息，

Large-v2 model on GPU

Implementation	Precision	Beam size	Time	Max. GPU memory	Max. CPU memory
openai/whisper	fp16	5	4m30s	11325MB	9439MB
faster-whisper	fp16	5	54s	4755MB	3244MB
faster-whisper	int8	5	59s	3091MB	3117MB

Executed with CUDA 11.7.1 on a NVIDIA Tesla V100S.

参考资料

【1】SYSTRAN/faster-whisper: Faster Whisper transcription with CTranslate2 (github.com)

【2】开源语音识别faster-whisper部署教程_faster-whisper-large-v2-CSDN博客

【3】持续进化，快速转录，Faster-Whisper对视频进行双语字幕转录实践(Python3.10) - 刘悦的技术博客 - 博客园 (cnblogs.com)