摘要：
线性空间是某一类事物从量的方面的一个抽象。我们认识客观事物，固然要弄清楚他们单个的和总体的性质，但更重要的是研究他们之间的各种各样的联系。在线性空间中，事物之间的联系就反映为线性空间的映射。线性空间V到自身的映射通常称为V的一个变换。这一章中要讨论的线性变换是最简单的，同时也可以认为是最基本的一种变 阅读全文
摘要：
VIT An image is worth 16x16 words: transformers for image recognition at scale 将transformer首次应用在视觉任务中，并取得了超过CNN方法的性能。 标准的transformer接收一维的向量序列如 $(x_1, 阅读全文
摘要：
Outlook Attention 设给定输入为 $X \in R^{H \times W \times C}$, 首先经过两个线性映射得到两个输出A 和 V，A叫做outlook weight $A \in R^{H \times W \times K^4}$, V叫做value represen 阅读全文
摘要：
论文：Learning Transferable Visual Models From Natural Language Supervision CLIP： Contrastive Language-Image Pre-training 文中27个数据集简介： | 数据集| 简要描述 | 数据集类型 阅读全文
摘要：
熵 ##熵—不确定性角度 通常，一个信源发送什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现的机会就大，不确定性就小；反之不确定性就大。在信源中，考虑的不是某一单个符号的不确定性，而是考虑这个信源所有可能发生情况的平均不确定性。 若信源符号有n种取值:$u_1, u_2, ..., 阅读全文
摘要：
“回归（regression）”一词是弗朗西斯·高尔顿在19世纪创造的，用来描述一种生物学现象。该现象是指高大祖先的后代的身高趋向于回归正常平均值。对于高尔顿来说，回归只有这种生物学意义，但是他的工作被Udny Yule 和 Karl Pearson扩展到更一般的统计背景中。 最早的回归形式是最小二 阅读全文
摘要：
VAE变分推导依赖数学公式 （1）贝叶斯公式：$p(z|x) = \frac{p(x|z)p(z)}{p(x)}$ （2）边缘概率公式：$p(x) =\int{p(x,z)}dz$ （3）KL 散度公式：$D_{KL}(p||q)=\int{p(x)log\frac{p(x)}{q(x)}}dx$ 阅读全文
摘要：
每个随机变量都有一个分布（分布列、概率密度函数或者分布函数），不同的随机变量可能拥有不同的分布，也可能拥有相同的分布。分布全面地描述了随机变量取值的统计规律性，由分布可以算出随机变量事件的概率，也可以求出随机变量的均值、方差、分位数等特征数。这些特征数从某个侧面描述了分布的特征。 数学期望的概念 数 阅读全文
摘要：
关于贝叶斯概率，参考了茆诗孙版本《概率论与数理统计》中有关贝叶斯的介绍，但是我对其中的介绍的理解比较混乱。李航《统计机器学习》，周志华《机器学习》也看过，没有对贝叶斯概率基本概念及理论有详细介绍，都是其衍生的知识介绍。由于工作中经常表述与基于《模式识别与机器学习》一书的描述接近，故此次先记录这种风格 阅读全文