随笔分类 - 深度学习与自然语言处理
摘要：1.RNN的应用背景 序列的模型类型： 应用场景： (1) 一到多，从图片中提取内容，将其描述为文字。 (2)多到一，代表：文本分类，视频鉴别 (3)多到多，代表：视频的文本描述，将视频的内容描述为文本 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解
阅读全文
摘要：1.CNN的应用方向 图像相关的任务： 2.各种框架比较 (1)caffe caffe的训练步骤： (2)torch (3)tensorflow 总结：
阅读全文
摘要：1.CNN训练的相关注意事项 CNN采用SDG梯度下降法 正则化 先把正则化调小，观察loss是否下降 可以把Dropout理解为给神经元加了一个开关 dropout能够防止过拟合。 2.框架相关
阅读全文
摘要：1.神经网络的结构 注意：下图中的g函数为sigmoid函数 总结：因此，当神经网络的层数足够时，可以描述任意区域形状。 上图中的符号说明： 参数说明如下图：depth为神经元个数，步长为窗口每次移动的距离，填充值是使得上图中的宽度能被整除，所加的值 计算方法：每个对应的位置的元素相乘，再加上偏移量
阅读全文
摘要：1.梯度下降 梯度的提出只为回答一个问题：函数在变量空间的某一点处，沿着哪一个方向有最大的变化率？ 局部下降最快的方向就是梯度的负方向。 典例：下山问题。 假设我们位于黄山的某个山腰处，山势连绵不绝，不知道怎么下山。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易下山的方向前进一小步，然后继续
阅读全文
摘要：1.高效计算基础 (1)python的基本语法 字符串类型如下图： (2)python的相关工具包 NumPy 通常与 SciPy（Scientific Python）和 Matplotlib（绘图库）一起使用， 这种组合广泛用于替代 MatLab，是一个强大的科学计算环境，有助于我们通过 Pyth
阅读全文
摘要：1.内容回顾 2.微分学 3.积分学 最重要的定理： 4.概率论 5.线性代数 6.优化问题和凸优化问题
阅读全文
摘要：人工智能算法大体上来说可以分类两类：基于统计的机器学习算法(Machine Learning)和深度学习算法(Deep Learning) 总的来说，在sklearn中机器学习算法大概的分类如下： 1. 纯算法类 (1).回归算法(2).分类算法(3).聚类算法(4)降维算法(5)概率图模型算法(6
阅读全文
摘要：自然语言处理（简称NLP），是研究计算机处理人类语言的一门技术，包括： 1.句法语义分析：对于给定的句子，进行分词、词性标记、命名实体识别和链接、句法分析、语义角色识别和多义词消歧。 2.信息抽取：从给定文本中抽取重要的信息，比如，时间、地点、人物、事件、原因、结果、数字、日期、货币、专有名词等等。
阅读全文
