python系列&deep_study系列：神经网络实用工具（整活）系列---使用OpenAI的翻译模型whisper实现语音（中、日、英等等）转中字，从此生肉变熟肉---基础篇

神经网络实用工具（整活）系列---使用OpenAI的翻译模型whisper实现语音（中、日、英等等）转中字，从此生肉变熟肉---基础篇

• 神经网络实用工具（整活）系列---使用OpenAI的翻译模型whisper实现语音（中、日、英等等）转中字，从此生肉变熟肉---基础篇
• • 软件环境的搭建
  • • 1. 安装conda
    • 2. 创建虚拟环境
    • 3. 在虚拟环境中安装最新版本的pytorch
    • 4. 安装OpenAI语音转文字模型
    • 5. 安装ffmpeg（用来提取视频中的语音和转换语音的格式）
  • 各部分代码编写和整合
  • • 1. 使用whisper和翻译引擎将视频中的语音转成简体中文
    • • 为此，我们只能分两步走：
      • • 先用`whisper`将语音转成对应的英语：
        • 再通过谷歌或者微软翻译将其转成中文，操作如下：
    • 2. 使用ffmpeg将视频和生成的字幕合在一起
    • 3. 制作软件界面整合所有功能（整合为负责界面及英文转中文的两个文件）
  • 还需改进的问题
  • • 1. 语音转字幕的速度还有待提高
    • • 2. 翻译中存在很多重复和幻听的现象
  • 参考资料
  • • whisper本体
  • 参考文章

---

神经网络实用工具（整活）系列—使用OpenAI的翻译模型whisper实现语音（中、日、英等等）转中字，从此生肉变熟肉—基础篇

最近在做神经网络的研究，偶然间看到OpenAI开源出了一个多国语音转文字的模型，脑海里突然想到余大嘴在华为发布会发布实时语音翻译时满屏弹幕的“？？？”和“！！！”，于是决定做一个多国语音转简体中文字幕的软件来玩一玩。

想法是这样的：通过OpenAI最新发布的翻译模型whisper（可以翻译200多种语言，且其中部分语言的翻译效果已然接近甚至超过人类的神器）加上自己写的一点点程序，做一个傻瓜化的多国语言转中文字幕的软件。完成操作后，只需要通过简单的点击就可实现字幕的生成，从此告别生肉，不用苦等美剧、日剧字幕组的解救，或者毅然决然去学习该国语言。

PS：后续如果有空会出一个提高篇，直接将所有东西整合在一起，打包成大部分Windows电脑可直接双击运行的软件。

废话不多说，下面是计划的实施细节。

软件环