谷歌AudioLM :通过歌曲片段生成后续的音乐

AudioLM 是 Google 的新模型，能够生成与提示风格相同的音乐。该模型还能够生成复杂的声音，例如钢琴音乐或人的对话。结果是它似乎与原版没有区别，这是十分让人惊讶的。

为什么生成音乐如此困难?

创作音乐并不是一件容易的事。生成音频信号（音乐、环境声音、人的讲话）需要多尺度的抽象。例如，音乐的结构必须经过长时间的分析，并且音乐是由许多相互作用的信号组成的。而人类的语言就个人言语来说本身就由很多不同的层次无论是简单的声音信号还是语音，也可以是韵律、句法、语法或语义等等。

生成音频的第一次尝试的重点是生成 MIDI 文件（在 2018 年使用transformer创建了一个有趣的项目，他们为钢琴生成 MIDI 音乐）。而另外一些研究则侧重于诸如文本到语音的任务，这类任务的研究表明了在人类交流中，停顿和变化以及其他信号是极其重要的。

比如现在的Alexa 或其他的语音机器人声音听起来依然不自然。尤其是早期，无论发音多么正确，听起来都不自然，给人一种诡异的感觉。

 

完整文章：

https://avoid.overfit.cn/post/62705af556bd4b3489e0753693bd1fe2