音频数据建模全流程代码示例：通过讲话人的声音进行年龄预测

大多数人都熟悉如何在图像、文本或表格数据上运行数据科学项目。但处理音频数据的样例非常的少见。在本文中，将介绍如何在机器学习的帮助下准备、探索和分析音频数据。简而言之：与其他的形式（例如文本或图像）类似我们需要将音频数据转换为机器可识别的格式。

音频数据的有趣之处在于您可以将其视为多种不同的模式：

• 可以提取高级特征并分析表格数据等数据。
• 可以计算频率图并分析图像数据等数据。
• 可以使用时间敏感模型并分析时间序列数据等数据。
• 可以使用语音到文本模型并像文本数据一样分析数据。

在本文中，我们将介绍前三种方法。首先看看音频数据的实际样子。

音频数据的格式

虽然有多个 Python 库可以处理音频数据，但我们推荐使用 librosa。让我们加载一个 MP3 文件并绘制它的内容。

1. # Import librosa
2. import librosa
4. # Loads mp3 file with a specific sampling rate, here 16kHz
5. y, sr = librosa.load("c4_sample-1.mp3", sr=16_000)
7. # Plot the signal stored in 'y'
8. from matplotlib import pyplot as plt
9. import librosa.display
11. plt.figure(figsize=(12, 3))
12. plt.title("Audio signal as waveform")
13. librosa.display.waveplot(y, sr=sr);

这里看到的是句子的波形表示。

1、波形 - 信号的时域表示

之前称它为时间序列数据，但现在我们称它为波形？ 当只看这个音频文件的一小部分时，这一点变得更加清晰。下图显示了与上面相同的内容，但这次只有 62.5 毫秒。

我们看到的是一个时间信号，它以不同的频率和幅度在值 0 附近振荡。该信号表示气压随时间的变化，或扬声器膜（或耳膜）的物理位移 . 这就是为什么这种对音频数据的描述也称为波形的原因。

频率是该信号振荡的速度。低频例如 60 Hz 可能是低音吉他的声音，而鸟儿的歌声可能是 8000 Hz 的更高频率。我们人类语言通常介于两者之间。

要知道这个信号在单位时间内从连续信号中提取并组成离散信号的采样个数，我们使用赫兹（Hz）来表示每秒的采样个数。16'000 或 16k Hz表示美标采集了16000次。我们在上图中可以看到的 1'000 个时间点代表了 62.5 毫秒（1000/16000 = 0.0625）的音频信号。

2、傅里叶变换——信号的频域表示

虽然之前的可视化可以告诉我们什么时候发生了（即 2 秒左右似乎有很多波形信号），但它不能真正告诉我们它发生的频率。因为波形向我们显示了有关时间的信息，所以该信号也被称为信号的时域表示。

可以使用快速傅立叶变换，反转这个问题并获得关于存在哪些频率的信息，同时丢弃掉关于时间的信息。在这种情况下，信号表示被称为信号的频域表示。

让我们看看之前的句子在频域中的表现。

1. import scipy
2. import numpy as np
4. # Applies fast fourier transformation to the signal and takes absolute values
5. y_freq = np.abs(scipy.fftpack.fft(y))
7. # Establishes all possible frequency
8. # (dependent on the sampling rate and the length of the signal)
9. f = np.linspace(0, sr, len(y_freq))
11. # Plot audio signal as frequency information.
12. plt.figure(figsize=(12, 3))
13. plt.semilogx(f[: len(f) // 2], y_freq[: len(f) // 2])
14. plt.xlabel("Frequency (Hz)")
15. plt.show();

可以在此处看到大部分信号在 ~100 到 ~1000 Hz 之间（即 10² 到 10³ 之间）。另外，似乎还有一些从 1'000 到 10'000 Hz 的内容。

3、频谱图

我们并不总是需要决定时域或频域。使用频谱图同时表示这两个领域中的信息，同时将它们的大部差别保持在最低限度。有多种方法可以创建频谱图，但在本文中将介绍常见的三种。

3a 短时傅里叶变换 (STFT)

这时是之前的快速傅立叶变换的小型改编版本，即短时傅立叶变换 (STFT)， 这种方式是以滑动窗口的方式计算多个小时间窗口（因此称为“短时傅立叶”）的 FFT。

1. import librosa.display
3. # Compute short-time Fourier Transform
4. x_stft = np.abs(librosa.stft(y))
6. # Apply logarithmic dB-scale to spectrogram and set maximum to 0 dB
7. x_stft = librosa.amplitude_to_db(x_stft, ref=np.max)
9. # Plot STFT spectrogram
10. plt.figure(figsize=(12, 4))
11. librosa.display.specshow(x_stft, sr=sr, x_axis="time", y_axis="log")
12. plt.colorbar(format="%+2.0f dB")
13. plt.show();

与所有频谱图一样，颜色代表在给定时间点给定频率的量（响度/音量）。+0dB 是最响亮的，-80dB 接近静音。在水平 x 轴上我们可以看到时间，而在垂直 y 轴上我们可以看到不同的频率。

3b 梅尔谱图

作为 STFT 的替代方案，还可以计算基于 mel 标度的梅尔频谱图。这个尺度解释了我们人类感知声音音高的方式。计算 mel 标度，以便人类将由 mel 标度中的 delta 隔开的两对频率感知为具有相同的感知差异。

梅尔谱图的计算与 STFT 非常相似，主要区别在于 y 轴使用不同的刻度。

1. # Compute the mel spectrogram
2. x_mel = librosa.feature.melspectrogram(y=y, sr=sr)
4. # Apply logarithmic dB-scale to spectrogram and set maximum to 0 dB
5. x_mel = librosa.power_to_db(x_mel, ref=np.max)
7. # Plot mel spectrogram
8. plt.figure(figsize=(12, 4))
9. librosa.display.specshow(x_mel, sr=sr, x_axis="time", y_axis="mel")
10. plt.colorbar(format="%+2.0f dB")
11. plt.show();

与 STFT 的区别可能不太明显，但如果仔细观察，就会发现在 STFT 图中，从 0 到 512 Hz 的频率在 y 轴上占用的空间比在 mel 图中要大得多 .

3c 梅尔频率倒谱系数 (MFCC)

梅尔频率倒谱系数 (MFCC) 是上面梅尔频谱图的替代表示。MFCC 相对于 梅尔谱图的优势在于特征数量相当少（即独特的水平线标度），通常约为 20。

由于梅尔频谱图更接近我们人类感知音高的方式，并且 MFCC 只有少数几个分量特征，所以大多数机器学习从业者更喜欢 使用MFCC 以“图像方式”表示音频数据。但是对于某些问题，STFT、mel 或波形表示可能会更好。

让我们继续计算 MFCC 并绘制它们。

1. # Extract 'n_mfcc' numbers of MFCCs components (here 20)
2. x_mfccs = librosa.feature.mfcc(y, sr=sr, n_mfcc=20)
4. # Plot MFCCs
5. plt.figure(figsize=(12, 4))
6. librosa.display.specshow(x_mfccs, sr=sr, x_axis="time")
7. plt.colorbar()
8. plt.show();

 

完整文章：

https://www.overfit.cn/post/5c03820841944f429e06d525a9d3dc13