摘要: 如果将所有的Θ初始化为0会怎样? 如果 \[\Theta _{ij}^{\left( l \right)} = 0\] 那么 \[\begin{array}{l}a_1^{\left( 2 \right)} = a_2^{\left( 2 \right)}\\\delta _1^{\left( 2 阅读全文
posted @ 2018-10-29 21:51 qkloveslife 阅读(1098) 评论(0) 推荐(0) 编辑
摘要: Numerical estimation of gradients 梯度的数值估计 用公式验证梯度是否正确 \[\frac{d}{{d\theta }}J\left( \theta \right) \approx \frac{{J\left( {\theta + \varepsilon } \rig 阅读全文
posted @ 2018-10-29 21:29 qkloveslife 阅读(249) 评论(0) 推荐(1) 编辑
摘要: 神经网络的损失函数为 \[J\left( \Theta \right) = - \frac{1}{m}\left[ {\sum\limits_{i = 1}^m {\sum\limits_{k = 1}^k {y_k^{\left( i \right)}\log {{\left( {{h_\Thet 阅读全文
posted @ 2018-10-29 19:49 qkloveslife 阅读(225) 评论(0) 推荐(0) 编辑
摘要: 符号: \[\left\{ {\left( {{x^{\left( 1 \right)}},{y^{\left( 1 \right)}}} \right),\left( {{x^{\left( 2 \right)}},{y^{\left( 2 \right)}}} \right),...,\left 阅读全文
posted @ 2018-10-29 19:25 qkloveslife 阅读(1200) 评论(0) 推荐(0) 编辑
摘要: 多输出神经网络如图 输出层有多个神经元 这时,h(x)是一个向量。 当运用在图像识别领域时 如果输出是 \[{h_\Theta }\left( x \right) = \left[ {\begin{array}{*{20}{c}}1\\0\\0\end{array}} \right]\] 分类为“行 阅读全文
posted @ 2018-10-29 16:53 qkloveslife 阅读(2723) 评论(0) 推荐(0) 编辑
摘要: 首先介绍“和”操作 x1, x2 ∈ {0, 1} y = x1 AND x2 有 \[{h_\theta }\left( x \right) = g\left( { - 30 + 20{x_1} + 20{x_2}} \right)\] 其中g()是sigmoid函数,其图示如下 当z=4.6时, 阅读全文
posted @ 2018-10-29 16:36 qkloveslife 阅读(1693) 评论(0) 推荐(0) 编辑
摘要: 当特征的数量很多的时候,逻辑回归在分类问题上就难以发挥了,这时需要运用神经网络。 神经网络的起源 Origins: Algorithms that try to mimic the brain. Was very widely used in 80s ans early 90s; popularit 阅读全文
posted @ 2018-10-28 21:59 qkloveslife 阅读(267) 评论(0) 推荐(0) 编辑
摘要: 线性回归的代价函数正则化后为 \[J\left( \theta \right){\rm{ = }}\frac{{\rm{1}}}{{{\rm{2}}m}}\left[ {\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{\left( i 阅读全文
posted @ 2018-10-28 18:36 qkloveslife 阅读(680) 评论(0) 推荐(0) 编辑
摘要: 逻辑回归的代价函数为 \[J\left( \theta \right) = - \left[ {\frac{1}{m}\sum\limits_{i = 1}^m {{y^{\left( i \right)}}\log {h_\theta }\left( {{x^{\left( i \right)}} 阅读全文
posted @ 2018-10-28 18:32 qkloveslife 阅读(697) 评论(0) 推荐(0) 编辑
摘要: 线性回归例子 如果 \[{h_\theta }\left( x \right) = {\theta _0} + {\theta _1}x\] 通过线性回归得到的曲线可能如下图 这种情况下,曲线对数据的拟合程度不好。这种情况称为“Underfit”,这种情况属于“High bias”(高偏差)。 如果 阅读全文
posted @ 2018-10-26 21:22 qkloveslife 阅读(1337) 评论(0) 推荐(2) 编辑