星辰大海

摘要： VIT An image is worth 16x16 words: transformers for image recognition at scale 将transformer首次应用在视觉任务中，并取得了超过CNN方法的性能。 标准的transformer接收一维的向量序列如 $(x_1, 阅读全文

摘要： Outlook Attention 设给定输入为 $X \in R^{H \times W \times C}$, 首先经过两个线性映射得到两个输出A 和 V，A叫做outlook weight $A \in R^{H \times W \times K^4}$, V叫做value represen 阅读全文

摘要： 论文：Learning Transferable Visual Models From Natural Language Supervision CLIP： Contrastive Language-Image Pre-training 文中27个数据集简介： | 数据集| 简要描述 | 数据集类型 阅读全文

摘要： 熵 ##熵—不确定性角度 通常，一个信源发送什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现的机会就大，不确定性就小；反之不确定性就大。在信源中，考虑的不是某一单个符号的不确定性，而是考虑这个信源所有可能发生情况的平均不确定性。 若信源符号有n种取值:$u_1, u_2, ..., 阅读全文

摘要： “回归（regression）”一词是弗朗西斯·高尔顿在19世纪创造的，用来描述一种生物学现象。该现象是指高大祖先的后代的身高趋向于回归正常平均值。对于高尔顿来说，回归只有这种生物学意义，但是他的工作被Udny Yule 和 Karl Pearson扩展到更一般的统计背景中。 最早的回归形式是最小二 阅读全文

摘要： VAE变分推导依赖数学公式 （1）贝叶斯公式：$p(z|x) = \frac{p(x|z)p(z)}{p(x)}$ （2）边缘概率公式：$p(x) =\int{p(x,z)}dz$ （3）KL 散度公式：$D_{KL}(p||q)=\int{p(x)log\frac{p(x)}{q(x)}}dx$ 阅读全文

摘要： 每个随机变量都有一个分布（分布列、概率密度函数或者分布函数），不同的随机变量可能拥有不同的分布，也可能拥有相同的分布。分布全面地描述了随机变量取值的统计规律性，由分布可以算出随机变量事件的概率，也可以求出随机变量的均值、方差、分位数等特征数。这些特征数从某个侧面描述了分布的特征。 数学期望的概念 数 阅读全文

摘要： 关于贝叶斯概率，参考了茆诗孙版本《概率论与数理统计》中有关贝叶斯的介绍，但是我对其中的介绍的理解比较混乱。李航《统计机器学习》，周志华《机器学习》也看过，没有对贝叶斯概率基本概念及理论有详细介绍，都是其衍生的知识介绍。由于工作中经常表述与基于《模式识别与机器学习》一书的描述接近，故此次先记录这种风格 阅读全文

摘要： 1952年，阿瑟.萨缪尔在IBM公司工作时研发了一款西洋跳棋程序，这个程序具有“学习能力”，它可以通过对大量棋局的分析逐渐辨识出当前局面的“好棋”和“坏棋”，从而不断提升自身的下棋水平，很快程序就赢了萨缪尔。在1956年的达特茅斯会议上，提出了“机器学习”这个名称，并解释为“不针对问题进行明确编程的 阅读全文

摘要： 下面来推导概率论的加和与乘法规则 假设两个随机变量X和Y，随机变量X可以随机取任意的$x_i, i=1,2,..., M$，随机变量Y可以随机取任意的$y_j,j=1,2,...,L$。进行N次试验，对X和Y都进行了取样，把$X=x_i$且$Y=y_i$出现的试验次数记为$n_{ij}$。并且把X取 阅读全文