摘要：
我们通过几个例子直观体会如何运作。 通过对神经网络的代价函数进行正则化，我们为什么可以解决过拟合？？？ 一个比较直观的解释就是，当我们把λ 设置的非常大，权重矩阵w就会被设置为非常接近0的值，这个直观的理解就是把很多隐藏神经元的权重几乎设置成0了，这就导致这些隐藏神经元的影响被消除了，神经网络被大大 阅读全文
摘要：
之前看到的识别名字的NLP案例，是输入和输出长度相同的一个RNN模型 实际上，还有很多其他种类的RNN模型 输入的x和输出的y可以是不同类型的数据，而且Tx和Ty不一定相等。 一对多 递归神经网络 例子：音乐生成器 输入的x可能只是一串数字，一个音符，一些文本或关键词 为了告诉你你想要的旋律，生成的 阅读全文
摘要：
如果我怀疑我的模型存在过拟合或者说高方差的问题 那么正则化可能是需要首先尝试的手段 获取更多数据可能也是不错的手段，很好理解，导致高方差的数据往往相较于大多数聚集的数据，比较分散，如果数据集足够庞大，这种个例兮兮的数据就会权重降低，但是获取数据并不简单，或者说会花费更多成本。 正则化有助于过拟合，也 阅读全文
摘要：
通常在编程框架中实现反向处理是很简单的，因为编程框架是可以自动处理反向。 但是我们有必要了解RNNs中backprop是怎么运作的。 我们为了实现反向传播，也就是把整个计算流程反向。 最关键的反向计算是a<0>--a<1>--a<2>--....--a<Tx>这一链的反向计算，这里使用了一种非常快速 阅读全文
摘要：
如何构建一个神经网络来实现从x到y的映射？？？ 实现过程中的困难： 1，输入和输出对于不同的例子会有不同的长度 或许可以给每个例子一个最大长度，将不足长度的部分用0补足，但是不是最好 2，这样一个朴素的神经网络，不能共享从不同文本位置学到的特征，尤其是神经网络学到了训练集中经常出现的词汇，我们希望在 阅读全文
摘要：
训练神经网络的基本原则 当训练好了一个最初的神经网络 首先问 这个算法是否有高偏差？？？ 也就是是不是欠拟合 如果是高偏差： 解决高偏差，要么换更大的网络，要么延长训练的时间，（找更好的网络） 等到做完了这些，再判断这个算法是否有高偏差，直到在训练集上能够拟合好数据， 然后问 这个算法是否有高方差？ 阅读全文
摘要：
建模会用到的符号 举个例子： 下面的句子作为序列模型的输入数据 x： Harry Potter and Hermione Granger invented a new spell 假设你想让模型识别出句子中哪些单词是人名，那么这就是一个名字识别的例子，常被用在搜索引擎中（比如对过去24小时新闻中提到 阅读全文
摘要：
偏差-方差困境(the bias-variance trade-off) 举个例子 左边这个如果用单层神经网络，逻辑回归的话，就是这样一条直线，没有很好的将数据集分类，我们把这种情况称为欠拟合(underfitting)高偏差 中间这个不那么复杂但是能正确分类的算法，对数据进行了合理的处理，正正好好 阅读全文
摘要：
AI是21世纪的媲美电的发明 神经网络(Neural Networks) 深度学习(Deep Learning) 第一节课我将学习如何建立一个神经网络，以及一个深度神经网络，如何在数据上训练它。 我们会以猫的图片为训练对象，我们要做的事是识别：这是猫，这不是猫 第二节课我将进行深度学习方面的实践。学 阅读全文