Machine Learning - 随笔分类 - 今天AC了吗

摘要：在上一节我们得到了转换后的优化问题：

min_{w, b} \frac{1}{2} | | w | |^{2} s . t . {\hat{γ}}^{(i)} \geq \hat{γ} = 1

$\min_{w,b} \frac{1}{2}||w||^2\\ s.t. \hat\gamma^{(i)}\ge \hat\gamma = 1$ To be more general, 它具有这样的形式： \[ min_{w} \quad f(w)\\ 阅读全文

posted @ 2022-03-22 23:36 今天AC了吗阅读(20) 评论(0) 推荐(0) 编辑

lecture 6 : SVM Intro

摘要：在构建线性分类器的时候，我们希望找一个决策边界将 positive examples 和 negative examples 较好地分开。对于一个 example, 我们希望分类的时候尽可能 correct (归到正确的一边) and confident (离决策边界尽可能远)。这就是 baby S 阅读全文

posted @ 2022-03-20 13:17 今天AC了吗阅读(20) 评论(0) 推荐(0) 编辑

lecture 5 : Gaussian Discriminant Analysis and Naive Bayes

摘要：前面我们学习的都是 discriminant learning algorthm, 直接对

p (y | x)

$p(y|x)$ 进行建模，或直接学习

X \to Y

$X \to Y$ 的映射。GDA 和 naive bayes 是 generative learning algorithm, 对

p (x | y)

$p(x |y)$ 建阅读全文

posted @ 2022-03-19 21:51 今天AC了吗阅读(46) 评论(0) 推荐(0) 编辑

lecture4 : Generalized Linear Model and SoftMax regression

摘要：前面的逻辑回归和线性回归其实都可以归结为一类更加广泛的模型： Generalized Linear Model. 首先要了解指数族分布，它们满足如下的形式：

p (y; η) = b (y) e x p (η^{T} T (y) - a (η))

$p(y;\eta) = b(y)exp(\eta ^TT(y) - a(\eta))$ 在 GLM 中，

T (y) = y

$T(y) = y$ 阅读全文

posted @ 2022-03-19 21:50 今天AC了吗阅读(36) 评论(0) 推荐(0) 编辑

lecture 3 : probability interpretation of linear regression, locally weighted regression , logistic regression and newton's method

摘要：接上节，从概率论的角度来说明使用残差平方和作为 cost function 的合理性。首先我们假设

y^{(i)} = θ^{T} x^{(i)} + ϵ^{(i)}

$y^{(i)} = \theta^Tx^{(i)} + \epsilon^{(i)}$ 其中

ϵ^{(i)}

$\epsilon^{(i)}$ 是独立同分布的随机变量，都服从正态分布，均值为 0，方差为阅读全文

posted @ 2022-03-19 21:47 今天AC了吗阅读(25) 评论(0) 推荐(0) 编辑

Lecture 2 : linear regression

摘要：线性模型是监督学习中的一种最简单的模型。在监督学习中，我们将数据集喂给学习算法，学习算法输出一个函数 (hypothesis), 然后我们用这个 hypothesis 来进行预测和决策。因此首先需要考虑如何表示这个 hypothesis 。线性模型中我们使用线性函数 i.e. \(h(x) = 阅读全文

posted @ 2022-03-19 21:46 今天AC了吗阅读(39) 评论(0) 推荐(0) 编辑

统计学习方法读书随笔：统计学习方法的三要素

摘要：统计学习方法的三要素是模型 + 策略 + 算法。模型统计学习的过程就是在假设空间中搜索，确定最终模型的过程。模型（某个形式）确定了假设空间（某个函数族），比如：假设最后决策函数的形式是线性函数，那么就确定了假设空间是线性函数组成的函数族，一般由一个参数向量

θ

$\theta$ 确定。策略阅读全文

posted @ 2022-03-19 20:15 今天AC了吗阅读(347) 评论(0) 推荐(0) 编辑

Steven's Blog

随笔分类 - Machine Learning

公告

最新随笔

随笔分类 (45)

随笔档案 (43)

阅读排行榜