论文翻译：2013_Efficient individualization of hearing aid processed sound

论文地址：高效个性化的助听器处理声音

引用格式：Nielsen J B, Nielsen J. Efficient individualization of hearing aid processed sound[C]//2013 IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2013: 398-402.

摘要

　　由于现代数字助听器中大量可调参数提供了大量的选项，即使是微调专业人员，也越来越难以进行参数微调，以满足助听器用户的偏好。此外，微调专业人员和助听器使用者之间的沟通可能会混淆任务。在本论文中，提出了一个交互系统，以减轻和加快微调助听器，以适应个人用户的偏好。系统在学习用户偏好的同时，也让用户意识到自己的偏好。由于学习是基于概率建模的概念，系统有效地处理不一致的用户反馈。在听力受损的受试者身上进行的实验表明，该系统可以迅速发现每个用户偏好的助听器设置，这些设置在连续的微调过程中是一致的。

关键字：助听器个性化，贝叶斯学习，高斯过程，主动学习，偏好学习

1  引言

　　现代数字助听器(HAs)包含大量可调参数，提供几乎无限数量的可能设置。不同的设置使助听器强调传入的声音的部分，使其或多或少的舒适，可听，可理解等为听障人士(HI)。将HAs安装到用户身上的过程是由熟练的专业人员执行的，比如听力学家。

　　在为HI用户的听力损失安装了一套HAs，以确保传入的声音的可听性和可理解性，仍然有几个选项留给听力专家选择。其中一些与用户的偏好有关。这些参数的微调通常是通过手动调整提供的配件软件中可用的一些处理。在这一点上，应该考虑两个方面。首先，由于参数的数量和设置的数量很大，即使对于像听力学家这样的微调专家来说，手动程序可能也不足以为所有参数找到最佳设置。其次，微调过程的成功与否取决于医管局使用者与听力学家之间的沟通。通常，HA用户事先没有意识到自己的偏好，这可能会混淆通信并导致不适当的微调。

　　为了充分利用现代数字助听器，需要更精密的微调工具。这些应该发现在健壮和高效的程序中每个个体的最佳设置，以充分利用HAs的灵活性。

　　在本文中，我们考虑了一个交互系统，它可以让HA用户通过简单地听结果声音来比较不同的设置来识别自己的偏好。在一系列的比较中，通过让用户选择一种设置比另一种设置更受欢迎，交互系统开始了解用户的偏好。最后，交互系统能够建议数字助听器(HAs)用户首选哪个设置(或设置的子集)。该系统建立在假设每个用户都有一个不被观察的内部偏好表示(IRP)，这是一个助听器设置的随机函数(或过程)。在交互系统中，内部偏好表示(IRP)的平均响应是由一个高斯过程(GP)[1]建模的，它松散地定义了函数的分布，从而定义了内部偏好表示(IRP)的可能平均响应。在本文的其余部分中，IRP指代IRP的平均响应。每次用户使用[2]中先前提出的高斯过程(GP)框架在两个数字助听器(HAs)设置之间进行比较和选择时，内部偏好表示(IRP)的分布都会迭代更新。为了减少系统了解用户偏好所需的比较次数，高斯过程(GP)提供的内部偏好表示(IRP) 的分布被用来决定下一个进行比较的设置对。在文献中，这被称为主动学习，在本文中，我们使用了期望改进(EI)[3]的二元版本。

　　为了开发能够微调HAs和其他设备设置的系统，人们已经在几个方向上进行了研究。一些最初的尝试使用了修正的单纯形程序[4]，但需要大量不切实际的偏好评估才能收敛。其他基于比赛的尝试使用了遗传算法[5,6]，但收敛时间往往与可调参数的数量不一致。最有希望的建议之一[7]也是概率性的，它包含至少两个与本文所述工作的理念相似的理念。首先，该方法也是基于用户IRP的概率建模，但没有使用最先进的高斯过程(GP)。稍后将在稍微不同的上下文中包括这些内容[8]。其次，这两种方法也依赖于概率选择模型，直接解决了人类通常不完全一致地进行知觉评估的事实。然而，这两种方法都是基于强制选择(离散决策)，采用了[9,10,11]的选择模型和框架，即受试者只选择自己喜欢的选项(离散选择)。这与[11]中提出的选择模型形成了对比，在[11]中，被试也决定他们有多喜欢所选择的设置(连续决策)。[2]中的结果让我们有理由相信，连续决策中包含的额外信息减少了学习用户偏好设置所需的比较次数。这是本工作中考虑的应用程序的关键。然而，实际比较离散选择和连续决策得到的结果超出了这项工作的范围。尽管如此，这对未来的研究绝对是非常有意义的。相反，重点是研究IRP和系统使用连续决策建议的首选设置之间的可变性。

　　为了测试所提出的交互系统的微调能力，我们将数字助听器(HAs)的两个可调参数分别微调到五个不同的听障人士(HI)用户。通过比较两个类似会议的结果与每个主题，发现最佳设置的可变性可以发现。在实验中调整的两个HA参数改变了降噪和语音增强算法对传入声音的反应。

　　本文的组织如下：在第2部分，概述了交互系统，并在第3部分提供了实验的解释。结果在第4节中给出，最后，第5节包含了讨论。

2  模型架构

　　用户偏好的内部表示(IRP)，称为$f:X-->R$，采用(零均值)高斯过程(GP)[1]模型。集合$X=\{x_i\in R^d:i=1...n\}$是d = 2个HA参数的n个可能设置的完整集合。高斯过程(GP)是一种非参数的灵活的判别贝叶斯方法，它定义了整个函数的分布，其中任意有限个函数具有联合高斯分布[1,Def. 2.1]。这简单地表明，任何有限数量的函数值，$f=[f(x_1),...,f(x_n)]^T$，由多元多元高斯分布给出的分布为：

$$公式1：p(\mathbf{f})=\mathcal{N}(\mathbf{0}, \mathbf{K})$$

式中$K$的元素$[K]_{i,j} = k(x_i, x_j)$，其中K (·, ·)是协方差函数(或核函数)，一般来说，它定义了函数的平滑性。有关kernel的介绍，请参见[1，第四章]或[12，第六章]。

　　高斯过程(GP)的基本好处是，在用户执行任何偏好评估之前，Eq. 1可以用作用户IRP的先验分布。在贝叶斯框架中，用户IRP的分布是根据已经观察到的偏好评估重新计算的，以给出用户IRP的后验分布为

$$公式2：p(\mathbf{f} \mid \mathcal{Y}) \propto p(\mathcal{Y} \mid \mathbf{f}) p(\mathbf{f})$$

其中p(Y|f)是由特定观察模型(选择模型)定义的可能性。在这项工作中，用户评估他们在两个特定的HA设置之间的偏好程度(连续决策)。为了更新实验中任意给定点上高斯过程(GP)框架中的后验(和预测)分布，使用[2]中提出的模型进行特定数量的偏好评估。该观测模型的具体功能形式以及有关推断和预测的细节在[2]中提供，因此不在这里介绍。

　　为了减少发现最佳设置所需的偏好评估的数量，使用了主动学习。主动学习可以用几种方式来表示，但是高斯过程(GP)框架提供的统计数据使得使用预期改进(EI)[3]稍加修改的版本成为可能。与原公式[3]相比，修正后的EI在计算(修正后的)EI时还包括了函数值之间的相关性。添加的相关性可以直接从GP框架中获得。因此，一个可能的新设置xi的EI以封闭形式计算为

$$公式3：E I\left(\mathrm{x}_{i}\right)=\sigma_{E I} \cdot \phi\left(\frac{\mu_{E I}}{\sigma_{E I}}\right)+\mu_{E I} \cdot \Phi\left(\frac{\mu_{E I}}{\sigma_{E I}}\right)$$

其中，$\phi (·)$和$\Phi (·)$分别为标准正态分布和标准正态累积分布函数，$\mu_{EI}=\mu_i-mu_{max}$和$\sigma_{EI}^2=\sigma_i^2+\sigma_{max}^2-2·cov_{i,max}$其中，$max$指标为当前预测IRP最大的点，符号为

$$公式4：p\left(\left[\begin{array}{l}
f_{\max } \\
f_{i}
\end{array}\right]\right)=\mathcal{N}\left(\left[\begin{array}{l}
\mu_{\max } \\
\mu_{i}
\end{array}\right],\left[\begin{array}{cc}
\sigma_{i}^{2} & \operatorname{cov}_{i, \max } \\
\operatorname{cov}_{i, \max } & \sigma_{\max }^{2}
\end{array}\right]\right)$$

已用于GP框架给出的预测正态分布的二元边际。

　　通常在主动学习理论中，必须在探索(输入空间中不可见区域)和开发(输入空间中已知区域)之间做出明确的权衡。一般来说，如果过于强调勘探，系统收敛速度会很慢，但如果过于强调开发，系统很快就会陷入次优解决方案。在本工作中，下一个建议的与当前最好的设置进行比较的设置是从一个多项分布中采样的，其中给定设置的概率与Eq. 3给出的EI成比例。这样做是为了稍微强调探索。

3  测量步骤

　　为了说明所建议的交互式微调系统的行为，进行了5个(丹麦本土)HI受试者的实验。为了获得在连续的微调会话之间对个人HI用户的建议设置中预期变化的指示，实验包括一个测试会话和一个重新测试会话。这两次会议分别在两天举行。

　　在这两个阶段的每一个环节中，每个受试者对HA设置进行了30次比较。为了弥补每个人的听力损失，研究对象事先戴上(实验性的)助听器(双耳式)，然后在扬声器播放的汽车噪音中听连续的讲话。通过图形用户界面(见图1)，用户可以在两个当前HA设置之间切换，并报告他们的偏好程度。用户并没有被要求关注声音的特定部分或特定属性，而是只被提供了声音文件中反映的声音场景的介绍。每个个体受试者的听力损失见图2

图1所示。实验中使用的图形用户界面。

按钮A和B用于在两个当前设置之间切换。

当前位于最左边的滑块被用来指示两个设置之间的偏好程度，它被定位到两个设置(A或B)中的一个的距离。

将滑块保留在中心位置没有显示任何首选项。

定位滑块后，用户可以单击右下角的按钮继续进行下一个比较。

图2所示。每个被试的听力图。十字和圆分别对应左耳和右耳

4  结果

　　在图3中，分别描述了五个测试对象的测试和重测阶段的IRP预测。由于irp是无单位的，读者应该意识到颜色不能在受试者之间进行比较，同样，高偏好区域一般不应该被解释为好，而应该被解释为比蓝色或绿色更好。因此，预测的IRP只反映相对属性。

图3所示。IRP作为两个HA参数x1和x2的函数，在对测试(左列)和重新测试(右列)会话进行30次比较后，通过微调算法预测

红色和蓝色分别表示高偏好区域和低偏好区域。用虚线连接的叉表示比较。注意，irp是无单元的

　　考虑到从空间一端到另一端的参数变化非常细微，每个被试的测试和重测之间预测的高偏好区和低偏好区是一致的，除了被试5。然而，实验对象5的结果确实与实验对象5在实验结束后表达的结果一致，即实验对象无法听到任何两组设置之间的差异。因此，实验对象5只是偶尔移动滑块，当实验对象移动滑块时，他会尽可能少地移动滑块。

　　使用强制选择进行统计显著性测试，以证明系统在两个会话中发现的最喜欢和最不喜欢的设置之间的显著性。选项1和2在11个试验中随机混合，但这只是证明了其重要性(p <0:005)测试3。

 　　在算法发现一个稳定的首选设置之前，每个受试者需要执行的评估数在图4中显示出来(见说明文字)。注意，主题5没有被包括在内，因为主题5不喜欢任何设置而不是其他设置，因此没有收敛。

图4所示。每次新评估后，预测IPR最大值点位置的累积欧几里德变化作为评估次数的函数

5  对课文进行评述

　　总的来说，考虑到参数设置之间的细微差异，发现首选设置的重现性是令人满意的，而且在第30次评估之前就发现了。然而，由于不同设置之间的感知差异非常细微，因此不可能从整体上证明或拒绝偏好设置的重要性。然而，明显良好的重现性表明，发现的首选设置实际上是受试者个人偏好的结果，而不是随机效应的结果。

　　图3中不同用户偏好设置的差异证实了之前文献[13]中的发现，即HA用户的个人偏好确实存在，而本文提出的系统在受试者在最坏的情况下进行20次比较之前就发现了这种偏好(见图4)。如果参数设置在感知上更容易区分，那么所需的比较次数可能会更少。

　　这里给出的结果是初步的，只是为了直观地了解系统是如何工作的。在未来的工作中，特别是需要比较的数量与可调参数的数量之间的比例问题是值得关注的。此外，今后还应进行类似的实验，但参数设置要更容易区分，以验证系统建议的首选设置与不建议的设置有显著差异。接下来，应该研究基于概率建模框架提供的实际统计数据的更好的收敛测度。一个可能的建议是跨设置的EI的平均值。最后，研究合适的度量来表示测试/重测结果之间的相似性将是有趣的。一种(贝叶斯)建议可能是基于测试数据的可能性给定的重新测试数据或反之亦然。

6  参考文献

 [1] C. E. Rasmussen and C. K. I. Williams, Gaussian Processes for Machine Learning, MIT Press, 2006.

[2] B. S. Jensen, J. B. Nielsen, and J. Larsen, Efficient Preference Learning with Pairwise Continuous Observations and Gaussian Processes, IEEE Workshop MLSP, Beijing, September 2011.   

[3] D. R. Jones, A Taxonomy of Global Optimization Methods Based on Response Surfaces, Journal of Global Optimization, vol. 21, no. 4, pp. 345 383, 2001.

[4] F. K. Kuk and N. M. C. Pape, The reliability of a modified simplex procedure in hearing aid frequencyresponse selection, J Speech Hear Res, vol. 35, no. 2, pp. 418 429, 1992.

[5] D. Baskent, C. L. Eiler, and B. Edwards, Using genetic algorithms with subjective input from human subjects: implications for fitting hearing aids and cochlear implants. , Ear and hearing, vol. 28, no. 3, pp. 370 80, June 2007.

[6] E. A. Durant, G. H. Wakefield, D. J. Van Tasell, and M. E. Rickert, Efficient perceptual tuning of hearing aids with genetic algorithms, Speech and Audio Processing, IEEE Transactions on, vol. 12, no. 2, pp. 144 155, 2004.   

[7] T. Heskes and B. de Vries, Incremental utility elicitation for adaptive personalization, in Proceedings of the 17th Belgium-Netherlands Conference on Artificial Intelligence, Brussels. 2005, pp. 127 134, Citeseer.

[8] Adriana Birlutiu, Perry Groot, and Tom Heskes, Multitask preference learning with Gaussian processes, in Proceedings of the 17th European Symposium on Artificial Neural Networks (ESANN), 2009, pp. 123 128.

[9] L. L. Thurstone, A Law of Comparative Judgement, Psychological Review, vol. 34, 1927.

[10] R. D. Bock and J. V. Jones, The Measurement and Prediction of Judgment and Choice, 1968.

[11] W. Chu and Z. Ghahramani, Preference Learning with Gaussian Processes, Proceedings of the 22nd International Conference on Machine Learning (ICML), pp. 137 144, 2005.

[12] C. M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006.

[13] K. H. Arehart, J. M. Kates, M. C. Anderson, and L. O. Harvey, Effects of noise and distortion on speech quality judgments in normal-hearing and hearing-impaired listeners. , The Journal of the Acoustical Society of America, vol. 122, no. 2, pp. 1150 64, Aug. 2007.