摘要: 【JS散度】 由于KL散度的不对称性问题使得在训练过程中可能存在一些问题,在KL散度基础上引入了JS散度,JS散度是对称的,其取值是 0 到 1 之间。如果两个分布 P,Q 离得很远,完全没有重叠的时候,那么JS散度值是一个常数( log2),此时梯度消失(为0)。JS散度越小,2个分布越相似 JS 阅读全文
posted @ 2022-11-27 01:15 Jary霸 阅读(266) 评论(0) 推荐(0) 编辑