摘要: # 损失函数:交叉熵 交叉熵用于比较两个不同概率模型之间的距离。即先把模型转换成熵这个数值,然后通过数值去定量的比较两个模型之间的差异。 ## 信息量 信息量用来衡量事件的不确定性,即该事件从不确定转为确定时的难度有多大。 定义信息量的函数为: $$ f(x):=\text{信息量} $$ 假设对于 阅读全文
posted @ 2021-08-02 21:26 Hi,Simon 阅读(519) 评论(0) 推荐(0) 编辑
摘要: # 损失函数:最小二乘法与极大似然估计法 ## 最小二乘法 对于**判断输入是真是假的神经网络**: $$ \hat y =sigmod\bigg (\sum_i (w_i\cdot x_i + b_i) \bigg) $$ 为了比较单次结果与标签$y$之间有多少的差距,可以直观的得到: $$ mi 阅读全文
posted @ 2021-08-02 21:06 Hi,Simon 阅读(868) 评论(0) 推荐(0) 编辑