摘要：
求解一元函数的最值过程称为一维搜索，本篇以求函数最小值为例。一元线性函数可以通过单纯形法获得最小值，所以在实践中如果需要使用一维搜索，这个一元函数通常是一个至少有二阶导数的曲线函数。一维搜索典型的应用是步长系数的确定，如利用梯度下降法求解函数最小值时，获得函数在可行点的梯度后，需要先将梯度向量取反然 阅读全文
摘要：
本文可作为线性代数实现线性回归的下篇,先简单回顾一下，线性代数实现线性回归中介绍了子空间的概念，把子空间想象成一个超平面，子空间中任意一个向量都可以用子空间的基线性组成，实现线性回归原理是利用超平面外的一个向量与该向量在子空间里投影距离最短，或者说误差最小，求出向量在子空间的投影即可得到未知参数。 阅读全文
摘要：
线性回归有许多方法可以解决，比如最小二乘法、神经网络等，本篇介绍基于线性代数,利用向量、线性空间、子空间概念快速求解线性回归问题，掌握本章知识点后可以利用有些结论解决如函数逼近问题。 一、线性空间、子空间 将有限个基通过数乘、加操作张成线性空间，线性空间中可以最多可以用n个线性不相关的基张成，就可以 阅读全文
摘要：
EM(Expectation-maximization algorithm)译为期望最大化算法，EM算法是数据挖掘的十大算法之一，主要解决有隐含变量时，如何利用最大似然法求解未知参数。现实中会遇到多个类别数据混杂在一起，各个类别数据虽然是一个概率分布，但数学期望或方差不同，每次取得一个数据时并不知道 阅读全文
摘要：
信息熵在人工智能领域有着举足轻重的作用，在分类的算法中常利用信息熵设计损失函数推导出最优数学模型，softmax函数是一种处理数据手段，一般会出现在模型最后阶段，比如各种神经网络的最后一层，softmax函数可把任意维度数据（一般表现为向量） 处理成概率形式，这样就可以用交叉熵的方法得到与真实概率分 阅读全文