摘要：
1.距离计算 给定样本 \(x_i=(x_{i1},x_{i2},...,x_{in}),x_j=(x_{j1},x_{j2},...,x_{jn})\) 连续属性的距离计算 闵可夫斯基距离 \(dist_{mk}(x_i,x_j)=(\sum\limits_{u=1}^{n}|x_{iu}-x_{ 阅读全文
摘要：
高斯过程描述 \(1.这里假定有人的一生，x轴是对应的时间(t_1,t_2,...,t_{100})，0-100岁，y轴是表现值(姑且这么定)\) \(2.每个时间点上都有一个对应的表现值随机变量(\xi_{t_1}，\xi_{t_2}...),这些都是随机变量，也就是是一个概率分布，所以每个点上都 阅读全文
摘要：
书上的图5.7介绍了神经网络的结构 但是图过于简单，对于推导公式很不利，很难理解，我对原图做了一些修改和扩展，方便大家理解 首先看下图上的一些标记说明 \(1.共三层神经元，i层(共I个神经元)，j层(共J个神经元)，k层(共K个神经元)，可以理解为i层是输入层，k层是输出层，j层是隐藏层\) \( 阅读全文
摘要：
1.概念 判别式是一个使用输入向量$x$并把它分配给$K$种分类的其中一种$C_k$的函数。本章中，我们把我们的讨论局限于线性判别式（linear discriminants），即那些决策面是超平面的判别函数。为了简化讨论，我们首先考虑二分类的情况，再推广到$K > 2$的情形。 #2 二分类 线性 阅读全文
摘要：
一些记号 \(1.输入变量\) \(x\) \(2.分类\) \(C_k,k=1,2,...,K,共K个离散值\) \(3.决策边界/决策面/决策区域\) \(D维输入空间中的(D − 1)维超平面\) \(y(x) = constant ，即w^T x + w_0 = constant\) \(4 阅读全文
摘要：
1.拟牛顿法思想 考虑$f(x)$在当前是$x^k$处的二次函数 \(m_k(x):=f(x^k)+\nabla f(x^k)^T(x-x^k)+\frac{1}{2}(x-x^k)^TB_k(x-x^k)\) 其中$B_k\succ 0$ 利用min $m_k(x)$得方向,\(d^k=-B_k^ 阅读全文
摘要：
崔雪婷 最优化基础理论与方法 3.2章节 1.目标 无约束优化问题 \(min\ f(x),x\in R^n\) 其中$f(x)$是二阶可微的 2.牛顿法的思想 设$x^$是局部解，则$x^$满足 \(\nabla f(x)=0\) 选取初始点$x1$,在$x1$出按照泰勒展开，取二次近似多项式 \ 阅读全文
摘要：
案例说明 案例 \(以下两个维度比较在不同温度下冶炼的钢铁群体\) \(Y_1代表钢铁击穿点(yield point)\) \(Y_2代表钢铁强度(ultimate\quad strength)\) \(温度1\) \(y_1\) \(y_2\) 33 60 36 61 35 64 38 63 40 阅读全文
摘要：
本章节中的一些概念跳来跳去，比较复杂，一些概念如 条件概率，最大似然，先验分布，后验分布，预测分布，证据函数，这些关系都梳理到了思维导图中， 3.线性回归模型 基函数模型 基函数种类 高斯基函数 多项式基函数 傅里叶基函数 sigmod基函数 回归函数最大似然求解析解 条件分布:假设：噪声是正态分布 阅读全文
摘要：
3.5证据近似 解决两个超参数$\alpha,\beta$ 如果我们引入$\alpha, \beta$上的超先验，那么预测分布可以通过边缘化$w,\alpha,\beta$来获得： $ p(t|\textbf{t})=\int\int\int p(t|w,\beta)p(w|\textbf{t},\ 阅读全文