Unity3D音乐音效研究-MIDI与波表
其实音乐音效这个命题本身没什么好研究的。
Unity3D提供了丰富的结构和使用方式,足够使用了。
但是我有一些小小的想法和需求,一般的Unity资料并没有给我答案。
- 一个是容量要小。MP3、OGG的高音质压缩一分钟一M多,多放几首背景音乐就顶不住了。
- 一个是资源和主程序分离,方便更新,别和我提AssetBundle,这东西的平台不兼容性,完全是在增加麻烦。
- 还有就是想要一个示波器
像这样的就行了。
问题1、最小不过MIDI,MIDI是乐曲的原始信息,本地合成,1M多MP3不过一分钟,MIDI录一个小时也用不到1M。
这个问题就决定用MIDI来解决。
但MIDI的音色库也不小,一查动辄几十兆上百兆的音色库。
就简单的了解了一下MIDI的发展过程。
其实下面的文字我完全不知道他们在说什么,只是抄来的
1981年产生,作为一种设备连接标准,像USB那种东西。不过是专门为音乐而设计的。
1991年形成标准,制定了128种标准乐器。
第一块声卡 sound blaster 使用FM(频率调变)技术合成MIDI声音。
FM这种技术不需要什么内存,我就发现了这一点。
后来内存不是问题了,就发展出了波表合成技术GM,每种乐器的音色都是录制而来的,每个乐器都要录很多,再配合规则合成。
波表就比较费内存了,windows自带的那个波表有4M,网上很容易找到几十上百兆的波表
MIDI只能产生乐器效果,对于挑剔的耳朵来说,还是用OGGMP3之类能完美模拟声音的方式吧。
FM的声音效果按今天的标准来说可能有些惨不忍睹,管他呢,能提供MP3 百分之一的容量,还没有什么副作用。
各位自取所需吧,我反正是打算做点8bit风格的东西,FM够用。
那我们解决这个容量问题的关键就是找一个能用FM技术播放MIDI的东西。
然后就找到了http://forum.unity3d.com/threads/unitysynth-full-xplatform-midi-synth.130104/
FM播放所需的数据只有几百字节。
它提供了播放MIDI所需的一切,可以用FM技术合成,也可以用波表技术合成。
最关键的,它提供了一个例子,让我知道Unity怎么用DSP混音,这样最后一环就通了,可以用DSP去播放合成出来的声音。
问题2、资源和主程序分离
由于c#synth是完全从声音合成做起的,所以他不依赖任何库,这为跨平台提供了得天独厚的条件,可以说本来就是跨平台的。
我们找到的那个方案有一些无伤大雅的小bug,我已经修改了可以跨平台了。我还放了一个webplayer版本。
http://moshan.co/game?id=53,你可以打开看一看,内置了几十首midi,连主程序也只有200K
ogg虽然解码器也是开源的,但是我并没有找到c#的版本,如果要用ogg去做跨平台的播放,工作量可能不小。
Wav虽然不开源,但是wav pcm方式保存时格式非常简单,很容易实现。问题是wav容量比较尴尬,做音效可以,做音乐可舍不得用wav存。
问题3、示波器
这个问题其实我也不懂,硬着头皮搞出来的。
我就大概知道频率分析要用到傅里叶变换。
然后刚好前面学会了unity怎么用DSP混音。
那就加一个DSP混音,但是不改变声音,仅用来读取声音。
然后把每次得到的声音时域值域输入,拿傅里叶变换计算一下。就得到频域值域的输出。
然后把输出按我们想要观测的频率取出几个值。。。
好吧,其实时域值域频域我都不知道我到底理解对了没有,如果我前面乱讲,当我没讲过,这些年也没怎么接触过傅里叶变换啊。
反正最后弄出了这么个效果
拿到这串数字做什么效果都可以,我只是简单的用GUI.Button 画了些变换的棍子。
最后,附上GITHUB源码地址
https://github.com/lightszero/BlockFun/tree/master/unity/MidiPlayer