摘要：
上篇介绍了RNN循环神经网络，上篇在最后说明了RNN有梯度爆炸和梯度消失的问题，也就是说RNN无法处理长时间依赖性问题，本篇介绍的LSTM（长短时记忆网络）是应用最多的循环神经网络，当提到循环神经网络时一般都特指LSTM，如果以将RNN视为一种思想，那么LSTM是循环神经网络的具体实现。通过‘门’运 阅读全文
摘要：
循环神经网络常用来做时序分析，即根据现有的按发生顺序排列的数据来预测未来的走势，循环神经网络大量用于语音分析、语言翻译、金融分析、内容推荐等领域，循环神经网络是一个大的分类，代表模型是RNN（循环神经网络）、LSTM（长短时记忆网络）,与之前介绍的全连接神经网络、卷积神经网络不同，循环神经网络在反向 阅读全文
摘要：
卷积神经网络(Convolutional Neural Networks, CNN)是应用最多、研究最广的一种神经网络，卷积神经网络（以下简称CNN）主要用于图片分类，自动标注以及产品推荐系统中。以CNN实现图片分类为例，图像经过多个卷积层、池化层复合而成的组件后，实现图像降维并提取到主要特征，最后 阅读全文
摘要：
数据在计算机中存储的形式是矩阵，大数据、机器学习、人工智能算法对数据处理，最后都体现为线性代数对矩阵的处理。许多场合中，需要对数据降维以便提取主要特征，本篇介绍利用svd奇异值分解实现这些功能。svd是在机器学习领域有着广泛应用，它不光可以用于降维算法中的特征分解，还可以用于推荐系统、自然语言处理、 阅读全文
摘要：
有时候需要利用计算机生成指定连续分布的随机数，比如指数分布、正态分布、伽马分布等，一般我们会用相同数量的[0,1]之间均匀分布的随机数去生成其他形式连续分布随机量。本篇适用于连续的概率分布函数，并不适合于生成离散分布的随机数，首先介绍并证明并以下定理。 一、定理:有连续随机变量x,x的累积分布函数y 阅读全文
摘要：
KKT（Karush-Kuhn-Tucker）条件有时也称KT条件，最初发现此定理的是Kuhn，Tucker两人，后来发现Karush在1939年的一篇文章中已经有过这个定理表述，所以常以取三人名字命名为KKT条件。不带约束的非线性规划问题可以用梯度法、模式搜索法获得最优解，带约束的线性规划可以通过 阅读全文
摘要：
求解一元函数的最值过程称为一维搜索，本篇以求函数最小值为例。一元线性函数可以通过单纯形法获得最小值，所以在实践中如果需要使用一维搜索，这个一元函数通常是一个至少有二阶导数的曲线函数。一维搜索典型的应用是步长系数的确定，如利用梯度下降法求解函数最小值时，获得函数在可行点的梯度后，需要先将梯度向量取反然 阅读全文
摘要：
本文可作为线性代数实现线性回归的下篇,先简单回顾一下，线性代数实现线性回归中介绍了子空间的概念，把子空间想象成一个超平面，子空间中任意一个向量都可以用子空间的基线性组成，实现线性回归原理是利用超平面外的一个向量与该向量在子空间里投影距离最短，或者说误差最小，求出向量在子空间的投影即可得到未知参数。 阅读全文
摘要：
线性回归有许多方法可以解决，比如最小二乘法、神经网络等，本篇介绍基于线性代数,利用向量、线性空间、子空间概念快速求解线性回归问题，掌握本章知识点后可以利用有些结论解决如函数逼近问题。 一、线性空间、子空间 将有限个基通过数乘、加操作张成线性空间，线性空间中可以最多可以用n个线性不相关的基张成，就可以 阅读全文
摘要：
EM(Expectation-maximization algorithm)译为期望最大化算法，EM算法是数据挖掘的十大算法之一，主要解决有隐含变量时，如何利用最大似然法求解未知参数。现实中会遇到多个类别数据混杂在一起，各个类别数据虽然是一个概率分布，但数学期望或方差不同，每次取得一个数据时并不知道 阅读全文
摘要：
信息熵在人工智能领域有着举足轻重的作用，在分类的算法中常利用信息熵设计损失函数推导出最优数学模型，softmax函数是一种处理数据手段，一般会出现在模型最后阶段，比如各种神经网络的最后一层，softmax函数可把任意维度数据（一般表现为向量） 处理成概率形式，这样就可以用交叉熵的方法得到与真实概率分 阅读全文