摘要： 概念 1)凸优化：是指一种比较特殊的优化，是指求取最小值的目标函数为凸函数的一类优化问题。 2)两个不等式： 两个正数的算数平均值大于几何平均值，即： 给定可逆矩阵Q，对于任意的向量x，y有： 3)凸集：集合C中任意两个不同点的线段仍在集合C内，则称集合S为凸集。 凸函数的上方区域一定是凸集ó一个函数上方是凸集，则该函数一... 阅读全文

摘要： 局部加权回归(Locally Weighted Regression, LWR) 局部加权回归使一种非参数方法(Non-parametric)。在每次预测新样本时会重新训练临近的数据得到新参数值。意思是每次预测数据需要依赖训练训练集，所以每次估计的参数值是不确定的。 局部加权回归优点： 对于一般训练 阅读全文

摘要： 1. exp(x)在x=0处的泰勒展开为： 当x=1时，可以得到： 2. x一定能找到自然数n，满足n<x≤n+1。所以有： 展开有： 一定有，所以强制 那么，令，所以有： 所以根据夹逼定理可以得到 3. 的最小值。 令，求最小，即求 由于exp(xlnx)>0，那么满足lnx+1=0，所以当x=1 阅读全文

摘要： 引言：通过高斯模型得到最小二乘法(线性回归)，即： 通过伯努利模型得到逻辑回归，即： 这些模型都可以通过广义线性模型得到。广义线性模型是把自变量的线性预测函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广... 阅读全文

摘要： 线性回归：是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。 梯度下降，http://www.cnblogs.com/hgl0417/p/5893930.html 最小二乘： 对于一般训练集： 参数系统为： 线性模型为： 线性回归的目的为最小化损失函数J(θ) 阅读全文

摘要： 参考的博客： http://blog.csdn.net/u013453604/article/details/52186375 http://blog.csdn.net/dxuehui/article/details/44647861 1. Qt插件ros_qtc_plugin安装 使用ros-industrial的Levi-Armstrong在2015年12月开发的一个 Q... 阅读全文

摘要： 局部加权回归(Locally Weighted Regression, LWR) 局部加权回归使一种非参数方法(Non-parametric)。在每次预测新样本时会重新训练临近的数据得到新参数值。意思是每次预测数据需要依赖训练训练集，所以每次估计的参数值是不确定的。 局部加权回归优点： 局部加权回归 阅读全文

摘要： 对于一般训练集： 参数系统为： 逻辑回归模型为： (sigmoid函数) 对于逻辑回归用来分类{0, 1}问题，假设满足伯努利模型： 可以将上式写为一般形式为： 为了得到参数θ，求最大似然估计[2]，可以得到: 为了简化问题，采用ln函数，即对数似然，可以得到： 这里为了最大似然估计使参数最大化，有 阅读全文

摘要： 线性回归：是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。 对于一般训练集： 参数系统为： 线性模型为： 损失函数最小的目标就是求解全局最小值，loss函数定义为 目标：min Φ(θ)，loss函数最小。估计最优系数(θ0, θ1, θ2, …, θn)。 阅读全文

摘要： 统计学习：统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，统计学习也成为统计机器人学习[1]。 统计学习分类：有监督学习与无监督学习[2]。 统计学习三要素：模型、策略与算法[1]。 统计学习的对象：统计学习的对象是数据。统计学习从数据出发，提取数据的特征，抽取数据的模型，发现数据中的指示，又回到对数据的分析与预测中去[1]。 统计学... 阅读全文