摘要: 在前几天的讨论会上,有师兄指出原来的方法实在是很难训练,所以我改进了音乐生成的思路。 首先,我用LSTM生成的一定是一段音乐的序列化表达,那么我就可以用成型的一些数据集去训练LSTM。为了避免生成的音乐与现有的音乐有大量重复,我们可以考虑更改LSTM使其更加“健忘”,这样应该能解决一部分问题。接下来 阅读全文
posted @ 2017-07-12 21:45 ldzhangyx 阅读(971) 评论(0) 推荐(0) 编辑
摘要: 从即日起到7月20号,项目成员进行了第一次任务分配。 赵同学A、岳同学、周同学,负责了图像数据的情感数据集制作,他们根据自己的经验,对图像进行了情绪提取。 赵同学B全权负责向量映射这一块的网络搭建。 我除了帮助其他成员完成任务以外,还要搭建好音乐生成的LSTM网络,同时预搭建音乐数据集。 阅读全文
posted @ 2017-07-11 14:57 ldzhangyx 阅读(429) 评论(0) 推荐(0) 编辑
摘要: 这个项目主要涉及到两个网络,其中卷积神经网络用来提取图片表达的情绪,提取出一个二维向量。 网络结构如图: 词向量采用预训练的glove模型,d=50,其他信息包括了图片的“空旷程度”、亮度、对比度等信息,用来更好地描述图片特征。 对于图中的卷积神经网络,需要讲解的地方是:卷积核是一个一维卷积核,每一 阅读全文
posted @ 2017-07-10 20:33 ldzhangyx 阅读(532) 评论(0) 推荐(0) 编辑
摘要: 做了半天做的都是一些细枝末节的东西,嗨呀。 伴奏旋律是Ukulele和弦,MIDI发音乐器是Guitar。在弹唱的时候,Ukulele和弦就是伴奏。 我们以创建《成都》伴奏为例: 节奏型: 和弦: 那么节奏型和和弦的组合可以视为一个二元矩阵,下面写一个函数用来寻址: 接下来我们新建一个音轨串联和弦: 阅读全文
posted @ 2017-07-10 15:44 ldzhangyx 阅读(1332) 评论(0) 推荐(0) 编辑
摘要: mingus在输出midi文件的时候,使用这样的函数: 在输出时会报错: 解决办法是找到这个文件: ...\Anaconda3\Lib\site-packages\mingus-0.5.2-py3.6.egg 用7-Zip打开这个文件,直接编辑里面的midi_track.py文件: 找到230行,将 阅读全文
posted @ 2017-07-10 12:45 ldzhangyx 阅读(826) 评论(0) 推荐(0) 编辑
摘要: 查阅了很久的资料,决定依据Yoshida的《Image retrieval system using impression words》这篇论文里的词语来定义。 Yoshida 等的 Art museum 系统,统计用户在看完图画后用到 的印象形容词,从中选取了 10 个常用的形容词,来描述图画。1 阅读全文
posted @ 2017-07-07 15:25 ldzhangyx 阅读(482) 评论(0) 推荐(0) 编辑
摘要: 我之前就注意到,深度学习和音乐结合,尤其是从乐理出发进行结合(而不是纯粹的进行音乐生成),是一个尚未被深度挖掘的全新领域。可想而知,这个方向符合我要求的数据肯定是要自己搜集了。 自己搜集的数据,在量上就已经输了,只是考虑到我们要做的任务并不复杂,准确的说只是一个分类器,再加一个LSTM而已。对于这个 阅读全文
posted @ 2017-07-07 11:44 ldzhangyx 阅读(522) 评论(0) 推荐(0) 编辑
摘要: 今天连看三篇论文,不是很细致地看,也没有具体去实现,只是大概明白了一些新思路。这三篇论文,一篇概述了Decoder-Encoder模型,一篇延伸这个模型,首次提出了Attention机制,最后一篇详细阐述了LSTM和GRU的工作机理。读完之后,我对机器翻译这个领域,还有LSTM的应用,有了更深的认识 阅读全文
posted @ 2017-07-07 11:11 ldzhangyx 阅读(1677) 评论(0) 推荐(0) 编辑
摘要: 目前我能想到的办法是这样的: 1,提取照片中的实体特征,借用某个pre-trained model进行tag标记。 2,将特征组合起来,形成一个bag-of-word model,然后将这个向量作为输入。进入CNN。 3,手动对照片贴标签,主要是对情感进行分类(如:安静、快乐,这样可以直观调节旋律) 阅读全文
posted @ 2017-07-04 12:35 ldzhangyx 阅读(793) 评论(0) 推荐(0) 编辑
摘要: jishude 首先援引一个资料网页:http://www.cosmosshadow.com/ml/%E5%BA%94%E7%94%A8/2016/03/01/%E9%9F%B3%E4%B9%90%E7%94%9F%E6%88%90.html 这个网页可以让基础薄弱的人对于乐理有一个全面的感知。 这 阅读全文
posted @ 2017-07-04 10:41 ldzhangyx 阅读(846) 评论(0) 推荐(0) 编辑