2023年9月21日
迁移学习：互信息的变分上下界
摘要： 迁移学习：互信息的变分上下界 在机器学习，尤其是涉及异构数据的迁移学习/联邦学习中，我们常常会涉及互信息相关的优化项，我上半年的第一份工作也是致力于此。其思想虽然简单，但其具体的估计与优化手段而言却大有门道，我们今天来好好总结一下，也算是对我研一下学期一个收尾。为了解决互信息估计的的难解性，我们的方法是不直接对互信息进行估计，而是采用变分近似的手段，来得出互信息的下界/上界做为近似，转而对互信息的下界/上界进行最大化/最小化。 阅读全文
posted @ 2023-09-21 00:22 orion-orion 阅读(1965) 评论(6) 推荐(3) 编辑