摘要:
生成二维数组 #import numpy as np x=int(input("请输入行数")) y=int(input("请输入列数")) erweishuzu1=np.zeros((x,y),dtype=int) print(erweishuzu1) 阅读全文
摘要:
我们通过几个例子直观体会如何运作。 通过对神经网络的代价函数进行正则化,我们为什么可以解决过拟合??? 一个比较直观的解释就是,当我们把λ 设置的非常大,权重矩阵w就会被设置为非常接近0的值,这个直观的理解就是把很多隐藏神经元的权重几乎设置成0了,这就导致这些隐藏神经元的影响被消除了,神经网络被大大 阅读全文
摘要:
之前看到的识别名字的NLP案例,是输入和输出长度相同的一个RNN模型 实际上,还有很多其他种类的RNN模型 输入的x和输出的y可以是不同类型的数据,而且Tx和Ty不一定相等。 一对多 递归神经网络 例子:音乐生成器 输入的x可能只是一串数字,一个音符,一些文本或关键词 为了告诉你你想要的旋律,生成的 阅读全文
摘要:
如果我怀疑我的模型存在过拟合或者说高方差的问题 那么正则化可能是需要首先尝试的手段 获取更多数据可能也是不错的手段,很好理解,导致高方差的数据往往相较于大多数聚集的数据,比较分散,如果数据集足够庞大,这种个例兮兮的数据就会权重降低,但是获取数据并不简单,或者说会花费更多成本。 正则化有助于过拟合,也 阅读全文
摘要:
通常在编程框架中实现反向处理是很简单的,因为编程框架是可以自动处理反向。 但是我们有必要了解RNNs中backprop是怎么运作的。 我们为了实现反向传播,也就是把整个计算流程反向。 最关键的反向计算是a<0>--a<1>--a<2>--....--a<Tx>这一链的反向计算,这里使用了一种非常快速 阅读全文
摘要:
如何构建一个神经网络来实现从x到y的映射??? 实现过程中的困难: 1,输入和输出对于不同的例子会有不同的长度 或许可以给每个例子一个最大长度,将不足长度的部分用0补足,但是不是最好 2,这样一个朴素的神经网络,不能共享从不同文本位置学到的特征,尤其是神经网络学到了训练集中经常出现的词汇,我们希望在 阅读全文
摘要:
训练神经网络的基本原则 当训练好了一个最初的神经网络 首先问 这个算法是否有高偏差??? 也就是是不是欠拟合 如果是高偏差: 解决高偏差,要么换更大的网络,要么延长训练的时间,(找更好的网络) 等到做完了这些,再判断这个算法是否有高偏差,直到在训练集上能够拟合好数据, 然后问 这个算法是否有高方差? 阅读全文
摘要:
建模会用到的符号 举个例子: 下面的句子作为序列模型的输入数据 x: Harry Potter and Hermione Granger invented a new spell 假设你想让模型识别出句子中哪些单词是人名,那么这就是一个名字识别的例子,常被用在搜索引擎中(比如对过去24小时新闻中提到 阅读全文
摘要:
偏差-方差困境(the bias-variance trade-off) 举个例子 左边这个如果用单层神经网络,逻辑回归的话,就是这样一条直线,没有很好的将数据集分类,我们把这种情况称为欠拟合(underfitting)高偏差 中间这个不那么复杂但是能正确分类的算法,对数据进行了合理的处理,正正好好 阅读全文
摘要:
AI是21世纪的媲美电的发明 神经网络(Neural Networks) 深度学习(Deep Learning) 第一节课我将学习如何建立一个神经网络,以及一个深度神经网络,如何在数据上训练它。 我们会以猫的图片为训练对象,我们要做的事是识别:这是猫,这不是猫 第二节课我将进行深度学习方面的实践。学 阅读全文