归纳偏置

归纳偏置(inductive bias:由于归纳学习需要某种形式的预先设定。

CNN的inductive bias应该是locality和spatial invariance,即空间相近的grid elements有联系而远的没有,和空间不变性(kernel权重共享)

RNN的inductive bias是sequentiality和time invariance,即序列顺序上的timesteps有联系,和时间变换的不变性(rnn权重共享)

posted @ 2021-08-14 17:20  赵立敏  阅读(308)  评论(0编辑  收藏  举报