python系列&deep_study系列：【MacOS】openai 语音识别模型 whisper 本地部署教程（cpu+mps方案）

【MacOS】openai 语音识别模型 whisper 本地部署教程（cpu+mps方案）

• 【MacOS】openai 语音识别模型 whisper 本地部署教程（cpu+mps方案）
• • 1. whisper 安装
  • • openai-whisper
    • 参考视频链接与安装过程
    • • 1. 安装homebrew
      • 2. 安装Python （不要超过3.10）
      • 3. 安装Pytorch
      • 4. 安装ffmpeg
      • 5. 安装rust
      • 6. 安装whisper
    • 注意事项
    • 可能报错问题
  • 2. 无法使用mac gpu 👉 使用whisper.cpp
  • • ​​​​​​​操作步骤
    • • 1. 安装whisper.cpp
      • 2. 打开网站，下载模型和对应.mlmodelc，放入whisper.cpp/model 文件夹中
      • 3. 把文件转换成wav文件（视频文件需要先事先提取音频）
      • 4. 输入命令，并生成srt文件
    • 可能报错问题
  • 3. 生成翻译字幕
  • • 1. 生成英文字幕
    • 2. 翻译成中文字幕

---

【MacOS】openai 语音识别模型 whisper 本地部署教程（cpu+mps方案）

系统环境：M1pro macOS 13.6

1. whisper 安装

openai-whisper

以下的语言全部支持识别，数字越小的识别越准确

GitHub - openai/whisper: Robust Speech Recognition via Large-Scale
Weak Supervision Robust Speech Recognition via Large-Scale Weak
Supervision - openai/whisper
https://github.com/openai/whisper

参考视频链接与安装过程

MACOS本地部署whisper ai, 一键生成中英文视频字幕_哔哩哔哩_bilibili
https://www.bilibili.com/video/BV1GL411m7mv/?vd_source=c73b771a66067f7c5859120eb61e27aa

1. 安装homebrew

Homebrew
https://brew.sh/

2. 安装Python （不要超过3.10）

3. 安装Pytorch

在官网按照以下方式选择以后，在终端输入下面的命令 安装pytorch
vvhttps://pytorch.org/get-started/locally/https://pytorch.org/get-started/locally/
https://pytorch.org/get-started/locally/

4. 安装ffmpeg

brew install ffmpeg

5. 安装rust

pip install rust

6. 安装whisper

pip install -U openai-whisper

注意事项

1. python版本不要超过3.10

2. 在Jupyter notebook使用 最好使用 homebrew 安装 ffmpeg

可能报错问题

homebrew安装报错 👉 使用命令2安装

2. 无法使用mac gpu 👉 使用whisper.cpp

GitHub - ggerganov/whisper.cpp: Port of OpenAI’s Whisper model in
C/C++ Port of OpenAI’s Whisper model in C/C++. Contribute to
ggerganov/whisper.cpp development by creating an account on GitHub.
https://github.com/ggerganov/whisper.cpp

前面的whisper.ai我自己测试下来只能用cpu跑，命令行加上--device mps会报错，大家可以试一下，如果没问题的话可以继续用whisper.ai。

github上很多也反馈存在上述问题，无法使用mps。用cpu的处理速度比较慢，下面用whisper.cpp解决这个问题。测试下来速度有明显提升，大约3min可以用medium模型处理15min的日语视频。

​​​​​​​操作步骤

1. 安装whisper.cpp

git clone <https://github.com/ggerganov/whisper.cpp.git>

2. 打开网站，下载模型和对应.mlmodelc，放入whisper.cpp/model 文件夹中

ggerganov/whisper.cpp at main
https://huggingface.co/ggerganov/whisper.cpp/tree/main

3. 把文件转换成wav文件（视频文件需要先事先提取音频）

ffmpeg -i ./xxxx.mp3 -ar 16000 -ac 1 -c:a pcm_s16le ./xxxx.wav

4. 输入命令，并生成srt文件

./main -m models/ggml-medium.bin -f samples/xxxx.wav -l ja -osrt

可能报错问题

输入指令后一直卡死，把下面的进程kill掉

3. 生成翻译字幕

1. 生成英文字幕

./main -m models/ggml-medium.bin -f samples/test1.wav -l ja -osrt -tr

2. 翻译成中文字幕

神经网络实用工具（整活）系列—使用OpenAI的翻译模型whisper实现语音（中、日、英等等）转中字，从此生肉变熟肉—基础篇_whisper模型翻译成中文-CSDN博客
https://blog.csdn.net/weixinhum/article/details/130998668

Google翻译方案成功，但是准确率一般

---

ranzi-yi

【MacOS】openai 语音识别模型 whisper 本地部署教程（cpu+mps方案）