二十三点

摘要： 坐标下降法 本文讲解如何使用坐标下降法求解最小二乘问题。 原理 假设 \(A\in \mathbb{R}^{N\times K}\)，\(b\in \mathbb{R}^N\)，求 \(x = [x_1, \cdots, x_K]^T\in \mathbb{R}^K\)，使得 \[ \lVert b 阅读全文

摘要： 最近看了一下LDA的文章, 写个小结, 理解正确与否有待验证. Latent Dirichlet Allocation(LDA)是三层的层次概率贝叶斯模型(生成模型), 用于处理离散数据, 比如文本数据. 1. 概念 单词(word): 形成数据的基本单元 文档(document): 单词形成的有限 阅读全文

摘要： SVM(support vector machine)支持向量机. 1 间隔与支持向量 + 样本集 $D=\{(x_1, y_1), \cdots, (x_m, y_m)\}$, 其中 $x_i\in \mathbb{R}^d, y_i\in\{ 1, 1\}, i=1,\cdots,m$. + 划 阅读全文

摘要： 1 方法 已知数据集$D$有限, 需分出一部分用作训练, 剩下的一部分用作测试. 按比例留出. 训练集和测试集保持$D$中类别的比例. 以二分类任务为例, 常见做法是将大约$2/3$~$4/ 5$的样本用作训练, 剩余样本用于测试. 一般采用若干次随机划分, 重复进行实验评估后取平均值作为留出法的评 阅读全文

摘要： 1. Multilinear Functions In the case of r variables we sometimes use the more specific term r linear and defining relation is $$ f(v_1, \cdots, av_i+\ 阅读全文