摘要：
pca全称是Principle component analysis，译为主成分分析，比如描述一个人信息时会用体重、身高、发型、爱好、收入、职业等信息，有时根据一个人的体重、身高、发型基本可以确定其性别，例如说一个女孩子是假小子，可能这个女孩有一个板寸头、身材很高，从众多属性中选取一两个，而无需其他 阅读全文
摘要：
惩罚函数也叫乘子法，求解带约束的非线性规划问题时，常用KKT条件列出满足条件的方程组，解方程组后即可得到最值点，当满足KKT条件的方程组是一个非线性方程组，利用计算机求解很难给出通用算法。本篇介绍的惩罚函数可以将一个带约束非线性问题转化为无约束的非线性规划，而无约束线性规划可以用梯度法等实现求解，利 阅读全文
摘要：
最优化问题中常常需要求解目标函数的最大值或最小值，比如SVM支持向量机算法需要求解分类之间最短距离，神经网络中需要计算损失函数的最小值，分类树问题需要计算熵的最小或最大值等等。如果目标函数可求导常用梯度法，不能求导时一般选用模式搜索法。 一、梯度法求解最优问题 由数学分析知识可以知道，函数在一个点的 阅读全文
摘要：
背包问题(Knapsack problem)是一个动态规划问题，假设有n种货物，每种货物的的价值是v[i],重量是w[i],需要在背包负载有限的前提下求出具有最大货值的组合（策略），使用暴力算法也可以求出背包问题最优解，而利用动态规划可以将算法的复杂度降至接近于多项式复杂度，背包问题根据每种货物的数 阅读全文
摘要：
矩阵、向量都可以表示成张量的形式，向量是矩阵的特殊形式，按实际应用可分为标量对向量求导，标量对矩阵求导、向量对向量求导、矩阵对标量求导、矩阵对向量求导、矩阵对矩阵求导等，在深度学习的反向传播(BP)中所涉及求导不外乎以上几种形式，本篇结合实例分别介绍以上各种求导过程。 一、含标量的求导方式 标量指的 阅读全文
摘要：
单纯形法是针对求解线性规划问题的一个算法，这个名称里的'单纯形'是代数拓扑里的一个概念，可以简单将'单纯形'理解为一个凸集，标准的线性规划问题可以表示为: min（or max） f(x)=cx s.t. Ax=b x>=0,b>=0 以上形式称为线性规划标准型，使用单纯型法时，如果约束条件含有不等 阅读全文
摘要：
前面介绍的决策树ID3，C4.5是多叉树，CART树是一个完全二叉树，CART树不仅能完成分类也能实现回归功能，所谓回归指的是目标是一个连续的数值类型，比如体重、身高、收入、价格等，ID3，C4.5其核心是信息熵的应用，而在实际应用中,熵的运算会涉及大量的对数运算，复杂度还是比较高的。CART树采用 阅读全文
摘要：
决策树是利用可视化的树结构实现数据的分类或回归，现实中分类比如银行根据收入、职业、婚姻状况、年龄等属性了解客户的贷款是否能按期偿还，其分类为“是”或“否”，再比如过安检时，根据旅客脸部数据分类为是否是通缉人员；回归则是为了得到具体数值，比如根据年龄、身高、性别得到目标数据的体重。决策树是一种监督学习 阅读全文
摘要：
支持向量机（support vector machines, SVM）是二分类算法，所谓二分类即把具有多个特性（属性）的数据分为两类，目前主流机器学习算法中，神经网络等其他机器学习模型已经能很好完成二分类、多分类，学习和研究SVM，理解SVM背后丰富算法知识，对以后研究其他算法大有裨益；在实现SVM 阅读全文