文章分类 -  机器学习

支持向量机(三)：软间隔与正则化
摘要：软间隔原问题 在(一)中，我们要求求出一个超平面，使得其能完全将样本空间划分，但现实中很难找到这样的超平面，因此需要允许支持向量机在一些样本上出错，即软间隔。 对于硬间隔，我们要求对任意样本点(xi,yi)，均有： yi(ωTxi+b)≥1 而对于 阅读全文
posted @ 2022-08-18 12:39 kris-phl 阅读(74) 评论(0) 推荐(0) 编辑
支持向量机(二)：KKT条件和Slater条件
摘要：强对偶和弱对偶 在(一)中，我们已经求得原问题的对偶问题，设原问题的解为p，对偶问题的解为d，则p和d存在以下关系： p≥d 证明如下： $$\because\quad\underset{\omega,b}{min}L(\omega, 阅读全文
posted @ 2022-08-16 18:58 kris-phl 阅读(491) 评论(0) 推荐(0) 编辑
支持向量机(一)：对偶问题
摘要：支持向量机所要解决的问题 对于空间中的多个样本点(xi,yi)，我们想要找到一个超平面ωTx+b=0来对它们进行分类，即找出一个超平面来将它们划分成两类，超平面的两侧分属于不同的类别，类似于下图，图中的直线即为我们需要找到的超平面，而图中的"+"和"−"即为不 阅读全文
posted @ 2022-08-15 21:30 kris-phl 阅读(76) 评论(0) 推荐(0) 编辑
反向传播
摘要：如下图所示，该神经网络有l+1层，其中第一层(输入层)有s个神经元，最后一层(输出层)有n个神经元，中间的隐藏层只显示了第一个隐藏层，其有t个神经元，其余的隐藏层和偏置神经元及其权重(即a0(k),θ0i,k,i为任意小于l+1的自然数)已被省略， 阅读全文
posted @ 2022-08-07 19:17 kris-phl 阅读(21) 评论(0) 推荐(0) 编辑
机器学习ex1
摘要：单变量线性回归 在这部分练习中，你将实现单变量线性回归来预测快餐车的利润问题。假设你是一家餐厅的CEO并且正在考虑在不同城市开设分店的问题。该连锁店在早已经其他城市有快餐车并且你有各个城市的利润数据和人口数据。 你希望使用此数据帮助选择下一步要扩展的城市。 文件ex1data1.txt包含线性回归问 阅读全文
posted @ 2022-08-04 17:18 kris-phl 阅读(13) 评论(0) 推荐(0) 编辑
多元线性回归代价函数的正规方程解
摘要：正规方程解 在多元线性回归的梯度下降法中，我们得到了其代价函数: J(θ)=12m∑i=1m(hθ(x(i))−y(i))2 其中$h_{\theta}(x^{(i)})=\theta_{0}x_{0}^{(i)}+ 阅读全文
posted @ 2022-08-02 15:55 kris-phl 阅读(8) 评论(0) 推荐(0) 编辑
logistic回归
摘要：定义 logistic回归主要用于分类问题，尤其是二分类问题。方法为根据现有的样本数据建立一个回归方程，并以该回归方程输出的值为依据进行分类。如下图中，有红绿两类，我们需要对它们进行分类，首先对其进行拟合，拟合后得到了一条紫色直线，设紫线方程为y=0.1x+0.4，将各样本的x值(即特征值)代入 阅读全文
posted @ 2022-07-30 22:05 kris-phl 阅读(10) 评论(0) 推荐(0) 编辑
多元线性回归的梯度下降
摘要：符号定义 以下面这张表格为例，解释一下后面公式中出现的一些符号的含义。 eg：xj(i)表示表中第i行第j列的值，如x2(1)表示表中第1行第2列的值，即2，而x(i)则表示第i行(不包括y这一列)的值，如： $$x^{(2)}=\b 阅读全文
posted @ 2022-07-28 14:07 kris-phl 阅读(23) 评论(0) 推荐(0) 编辑
梯度下降法
摘要：梯度 **梯度定义：**梯度是导数对多元函数的推广，为多元(或一元)对各个自变量偏导数形成的向量。函数f(x1,x2,...,xn)的梯度记为$\nabla f=(\frac{\partial f}{\partial x_{1}},\frac{\partial f}{\part 阅读全文
posted @ 2022-07-27 17:31 kris-phl 阅读(5) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示