音乐生成模型 Music generation
目录
- CoCoNet(2017)
- XiaoIce Band(2018)
- Music Transformer(2019)
- Jukebox(2020)
- Pop Music Transformer(2020)
- Symbolic music generation with diffusion models(2021)
- Compound Word Transformer (2021)
- MusicBERT(2021)【Paper】
- MuseFormer(2022)【Paper】
- Perceiver AR (2022) 【Paper】
CoCoNet(2017)
模型特点:
- 使用卷积
- Orderless NADE (Neural Autoregressive Distribution Estimators)
- 吉布斯采样(Gibbs Sampling)
XiaoIce Band(2018)
A Melody and Arrangement Generation Framework for Pop Music
https://ldzhangyx.github.io/2018/09/26/xiaoice-band/
Music Transformer(2019)
- Transformer的长期一致性(coherence)在生成任务效果好。
- 相对时间(relative timing)重要,但基于距离的算法复杂度太高
Applications:
- 生成长为一分钟的具有出色结构的音乐
- 根据给定主题续写音乐
- 在seq2seq情境下根据给定旋律生成伴奏
Contribution
- 将需要的存储空间缩小到序列长度的数量级
- 更具有结构一致性
Method
- 相对位置自注意力机制:其中R为包含所有Query与Key的相对距离嵌入的中间张量
- 节省存储空间:中间张量R节省计算
- 长序列处理:将一个音乐事件多种属性的相对位置也加入
Evaluation
- 显著提升负对数似然(negative log-likelihood, NLL)
- 局部上,保留了必要的时间/声部网格结构
- 整体上,捕捉到了全局结构,体现出了有规律的分段
Jukebox(2020)
模型特点:基于VQ-VAE
Pop Music Transformer(2020)
- 提出新的音乐数据表示方式REMI,通过在数据表示中加入度量结构以刻画节拍-小节-乐句的层次结构
Symbolic music generation with diffusion models(2021)
Compound Word Transformer (2021)
Generate Pop Piano Music of Full-Song Length
【Demo】
Backbone model:
- linear transformer (Linear)
- transformer-XL (XL)
MusicBERT(2021)
MuseFormer(2022)
Transformer with Fine- and Coarse-Grained Attention for Music Generation
【Demo】
本文作者:Rayinfos
本文链接:https://www.cnblogs.com/rayinfos/p/17189353.html
版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步