摘要： def get_batches(x, y, n_batches=10): """ 这是一个生成器函数，按照n_batches的大小将数据划分了小块 """ batch_size = len(x)//n_batches for ii in range(0, n_batches*batch_size, batch_size): # 如果不是最后一个batch，那么这个batch中应该有batch_si 阅读全文

摘要： 条件熵 H(X|Y)表示在已知随机变量 Y 的条件下随机变量 X 的不确定性 条件熵，联合熵和熵之间的关系如下： 相对熵：用来衡量两个概率分布之间的差异，也叫KL散度 交叉熵： 相对熵，熵和交叉熵的关系如下： 互信息： 互信息意义是：由于知道 y 值而造成的 x 的不确定性的减小（即Y的值透露了多少 阅读全文