随笔分类 - 数学
摘要：机器学习技术间的包含关系： 深度学习⊆表示学习（即特征学习）⊆机器学习⊆人工智能 相比于（传统）机器学习，可以认为深度学习自动学习到特征，而（传统）机器学习中特征则由人工进行设计和提取。 multi-class （多分类中的）多类别任务。一个样本的类别有且仅有多个类别中的一个。 multi-labe
阅读全文
摘要：机器学习 （传统机器学习） (Machine Learning) 预测的是离散值，则学习任务称为“分类”（classification）任务；预测的是连续值，则是“回归”（regression）任务。 对于二分类任务，一类通常称为“正类”（正例，positive class/label），另一类称为
阅读全文
摘要：Sampling 采样 A* sampling CJ Maddison, 2014, NeurIPS A pratical generic sampling algorithm that searchs for the maximum of a Gumbel process using A* sea
阅读全文
摘要：Abstract Algebra 抽象代数 “代数”研究的不再只是“数”（实数或复数），而是更广泛的符号，包含“实数”、“复数”、“函数”、或其他，从一般意义上的“数”推广到符号。 -algebra ( -field) [Def] A collection $\S
阅读全文
摘要：香侬信息论 Shannon Information Theory 自信息(self-information)： ，其中约定 ，以自然常数为底的对数时，信息单位为奈特(nats)，以2为底时单位为比特(bits
阅读全文
摘要：Calculus 微积分 微积分包含微分(differentiation)和积分(integration)，微分是基于变量增量无限细微化思想来分析解决问题的方法，积分是基于细微化增量无限汇聚思想来分析解决问题的方法。 在微分理论中，一个变量的无限小的增量 被称为“微分”（Dif
阅读全文
摘要：Optimization 一阶导数优化 二阶导数优化 牛顿法（Newton's method）： 是一种二阶导数优化方法。 Lipschitz连续（Lipschitz continuous）： Lipschitz连续函数的变化速度以Lipschitz常数为界： $$ \forall \bm x,\f
阅读全文
摘要：概率论与数理统计 Probability Theory and Statistics Sample space, Event, Event space 样本空间、事件、事件空间 [Def] The set of all possible outcomes is called the sample s
阅读全文
摘要：Graph Theory 图论 Laplacian matrix Categories of graphs: directed/undirected. homogeneous/heterogeneous. static/dynamic. A dynamic graph is a graph whos
阅读全文
摘要：降维 Dimensionality Reduction 主成分分析 Principle Components Analysis, PCA 要对数据进行零均值化预处理。 对协方差矩阵进行奇异值分解，或者进行特征分解。 零均值化的数据矩阵 ： $
阅读全文
