随笔分类 - 数理统计相关
摘要:协方差矩阵是一个实对称矩阵,反映的是原矩阵中各维度之间的协方差值,其对角线上则是自身维度的方差,因为x与x的协方差就是自己的方差值。PCA降维分解就是根据协方差矩阵找出其对应的特征值和特征向量,因为协方差矩阵对角线的方差值就是反映的各维度数据的离散程度,所以根据其特征值大小找出离散程度最大的几个方向
阅读全文
摘要:一、p值含义理解 P值的含义:原假设为真时,出现偏离原假设值的观测值以及比观测值更极端的值的概率,说白了P值是个概率值。 通俗理解:在假设原假设(H0)正确时,出现现状或比现状更差的情况的概率。 p值是Fisher先提出来的“显著性检验”理论体系中的概念,假设检验之所以可行,其理论背景是小概率理论,
阅读全文
摘要:一、截取字符串 参考链接:https://baijiahao.baidu.com/s?id=1606854719241330360&wfr=spider&for=pc 二、vlookup逆向查找 正常的查找都是知道第A列,去查找对应的其它列,逆向查找是知道第G列,去查找第A列,常规的办法是将两列位置
阅读全文
摘要:原数据: df=pd.DataFrame({'a':[1,2,2,2,3,3,4,5,6]}) sns.kdeplot(df['a']) plt.xlim(-2,10) plt.show() df['a'].describe() 1 count 9.000000 2 mean 3.111111 3
阅读全文
摘要:一、皮尔逊相关系数(Pearson) 假设有两个变量X、Y,那么两变量间的皮尔逊相关系数可通过以下公式计算: 其中E是数学期望,cov表示协方差.适用范围:当两个变量的标准差都不为零时,相关系数才有定义,皮尔逊相关系数适用于:(1)、两个变量之间是线性关系,都是连续数据。(2)、两个变量的总体是正态
阅读全文
摘要:一阶导为0不是极值点的充分条件,一阶导为0且二阶导非负是极小值的充要条件。 这是为什么呢?以一元函数的泰勒展开为例: 如果满足:一阶导为0,二阶导非负,从上式子可知,f(x) 一定不比 f(x0) 小,所以 f(x0)是极小值。 参考:https://cloud.tencent.com/develo
阅读全文
摘要:牛顿法,大致的思想是用泰勒公式的前几项来代替原来的函数,然后对函数进行求解和优化。牛顿迭代法和应用于最优化的牛顿法稍微有些差别。 牛顿迭代法 最优化的牛顿法 参考原文链接:https://www.cnblogs.com/jiaxin359/p/9484133.html
阅读全文
摘要:在约束最优化问题中,常常利用拉格朗日对偶性(Lagrange duality)将原始问题转换为对偶问题,通过解对偶问题而得到原始问题的解。这是因为: 1)对偶问题的对偶是原问题; 2)无论原始问题与约束条件是否是凸的,对偶问题都是凹问题,加个负号就变成凸问题了,凸问题容易优化。 3)对偶问题可以给出
阅读全文
摘要:一、理论概述 1)问题引出 先看如下几张图: 从上述图中可以看出,如果将3个图的数据点投影到x1轴上,图1的数据离散度最高,图3其次,图2最小。数据离散性越大,代表数据在所投影的维度上具有越高的区分度,这个区分度就是信息量。如果我们用方差来形容数据的离散性的话,就是数据方差越大,表示数据的区分度越高
阅读全文
摘要:一、齐次线性方程 常数项全为0的线性方程称为齐次线性方程,也就是没有常数项。 性质: 1.齐次线性方程组的系数矩阵秩r(A)=n,方程组有唯一零解。 2.齐次线性方程组的系数矩阵秩r(A)<n,方程组有无数多解。 3. n元齐次线性方程组有非零解的充要条件是其系数行列式为零,此时系数矩阵为奇异矩阵,
阅读全文
摘要:一、协方差 公式上理解:如果有X,Y两个变量,每个时刻的“X值与其均值之差”乘以“Y值与其均值之差”得到一个乘积,再对这每时刻的乘积求和并求出均值(准确说是期望,可以暂按均值方便理解)。 通俗理解:协方差反映的是两个变量是否是同向变化,你增大我也增大,则是正相关,数值为正;如果你增大我变小,则是反向
阅读全文
摘要:在优化理论中,目标函数 f(x) 会有多种形式:如果目标函数和约束条件都为变量 x 的线性函数, 称该问题为线性规划; 如果目标函数为二次函数, 约束条件为线性函数, 称该最优化问题为二次规划; 如果目标函数或者约束条件均为非线性函数, 称该最优化问题为非线性规划。
阅读全文
摘要:一、概念 余弦相似度: 余弦距离:1-cos(A,B) 欧式距离: 二、两者之间的关系 当向量的模长是经过归一化的,此时欧氏距离与余弦距离有着单调的关系: 在此场景下,如果选择距离最小(相似度最大)的近邻,那么使用余弦相似度和欧氏距离的结果是相同的。 推导如下,这里面前提就是X和Y是归一化后的,也就
阅读全文
摘要:一、第一个 二、第二个 注意:从上面样例可以看出,求解过程一定要先严格转换成公式的形式才行,不能根据自己理解去猜测。
阅读全文
摘要:AI算法工程师手册 http://www.huaxiaozhuan.com/ 麻省理工线性公开课 http://open.163.com/special/opencourse/daishu.html 线性代数基础:https://www.cnblogs.com/hhddcpp/p/5742717.h
阅读全文
摘要:一、牛顿法 上述描述的都是只有一个自变量X的一元情况,如果是多元的,比如x1,x2,x3...,xn 呢? 二、对比分析梯度下降算法 从本质上去看,牛顿法是二阶收敛,梯度下降是一阶收敛,所以牛顿法就更快。如果更通俗地说的话,比如你想找一条最短的路径走到一个盆地的最底部,梯度下降法每次只从你当前所处位
阅读全文
摘要:图像: 定义: 设x1x1和x2x2为函数f(x)定义域内的任意两个实数,且x1x1 < t <x2x2,恒有: 则称f(x) 是定义域上的凸函数。 判定: 凸函数的判定: f(x) 在区间[a,b]上连续,在(a,b)内二阶可导,那么: 一阶判定条件: 设f(x)在凸集S上具有一阶连续偏导数,则f
阅读全文
摘要:后验概率就是一种条件概率,但是与其它条件概率的不同之处在于,它限定了目标事件为隐变量取值,而其中的条件为观测结果。 一般的条件概率,条件和事件都可以是任意的。 贝叶斯公式就是由先验概率求后验概率的公式 举例区分普通条件概率与后验概率的区别: 1)那么如果我们出门之前我们听到新闻说今天路上出了个交通事
阅读全文