08 2020 档案
摘要：paper https://arxiv.org/abs/1704.04861 MobileNet 由谷歌在 2017 年提出，是一款专注于在移动设备和嵌入式设备上的 轻量级 CNN神经网络，并 迅速 衍生了 v1 v2 v3 三个版本； 相比于传统的 CNN 网络，在准确率小幅降低的前提下，大大减小
阅读全文
摘要：转自：https://zhuanlan.zhihu.com/p/72679537 残差网络在设计之初，主要是服务于卷积神经网络(CNN)，在计算机视觉领域应用较多，但是随着CNN结构的发展，在很多文本处理，文本分类里面(n-gram)，也同样展现出来很好的效果。 首先先明确一下几个深度学习方面的问题
阅读全文
摘要：一、前言 在深度学习模型训练的过程中，常常需要实时监听并可视化一些数据，如损失值loss，正确率acc等。在Tensorflow中，最常使用的工具非Tensorboard莫属；在Pytorch中，也有类似的TensorboardX，但据说其在张量数据加载的效率方面不如visdom。visdom是Fa
阅读全文
摘要：paper:https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/1703.03400.pdf MAML在学术界已经是非常重要的模型了，论文Model-Agnostic Meta-Learning for Fast Adaptation of
阅读全文
摘要：1. SNE原理 基本原理： 是通放射变换 将数据点映射到概率分布上，分为两个步骤： 构建高维对象之间的概率分布，使得相似的对象有更高的概率被选择，而不相似的对象有更低的概率。 SNE 在低维空间中构建这两个分布，使得两个概率分布尽可能相似。 t-SNE是非监督的降维，跟kmeans 等不同，他不能
阅读全文
摘要：转载：https://www.cnblogs.com/think-and-do/p/6509239.html T分布：温良宽厚 本文由“医学统计分析精粹”小编“Hiu”原创完成，文章采用知识共享Attribution-NonCommercial-NoDerivatives 4.0国际许可协议(htt
阅读全文
摘要：在众多的机器学习模型中，线性代数的身影无处不在，当然，我们也会时常碰到线性代数中的正定矩阵和半正定矩阵。例如，多元正态分布的协方差矩阵要求是半正定的。 × × 1. 基本的定义 正定和半正定这两个词的英文分别是positive definite和positive semi-definite，其中，d
阅读全文
摘要：这篇文章详细介绍了奇异值分解和特征值分解的内容：https://www.cnblogs.com/endlesscoding/p/10033527.html 下面的图也能看出图片能压缩的原理在哪，主要是三个矩阵的大小是如何变小的 下面上压缩图像的代码： 1 import numpy as np 2 f
阅读全文
摘要：转导推理_归纳推理 【Def：传统推理方法：归纳推理】直到今天，传统的推理方法仍然是归纳-演绎法，人们首先用已有信息定义一个一般规则，然后用这个规则来推断所需要的答案（首先从特殊到一般，然后从一般特殊。）。 【Def：转导推理 Transductive Inference】转导推理的目的是估计某一位
阅读全文
摘要：1： pointer network Pointer Network是seq2seq模型的一个变种。他们不是把一个序列转换成另一个序列, 而是产生一系列指向输入序列元素的指针。最基础的用法是对可变长度序列或集合的元素进行排序。 传统的seq2seq模型是无法解决输出序列的词汇表会随着输入序列长度的改
阅读全文
摘要：Contextualized Word Embedding# 同样的单词有不同的意思，比如下面的几个句子，同样有 “bank” ，却有着不同的意思。但是用训练出来的 Word2Vec 得到 “bank” 的向量会是一样的。向量一样说明 “word” 的意思是一样的，事实上并不是如此。这是 Word2
阅读全文
摘要：1.半监督学习 1.1 定义 监督学习样本数据 例如：图片+标签 半监督学习样本数据 例如：R个图片+标签，U个图片，通常U >> R。分类：transductive learning、inductive learning 直推式学习(transductive learning)：将无标签数据作为测
阅读全文
摘要：motivation 想在脱离实验室，实际环境中使用 要做到： 强：要对噪音robust 对付来自人类的恶意：要对恶意的骗过机器的数据robust 侦测带有恶意的东西：垃圾邮件，恶意软件检测，网络侵入等 攻击 例子 在图片上加上特制的噪声，网络会得到不同的答案 如何找出特制的噪声 通常训练过程，最小
阅读全文
摘要：转自：https://zhuanlan.zhihu.com/p/30548590 大型神经网络具有大量的层级与结点，因此考虑如何减少它们所需要的内存与计算量就显得极为重要，特别是对于在线学习和增量学习等实时应用。此外，近来智能可穿戴设备的流行也为研究员提供了在资源（内存、CPU、能耗和带宽等）有限的
阅读全文
摘要：Transformer模型详解（图解最完整版） - 初识CV的文章 - 知乎 https://zhuanlan.zhihu.com/p/338817680 一篇transformer详细介绍 RNN由于其顺序结构训练速度常常受到限制，既然Attention模型本身可以看到全局的信息， 那么一个自然的
阅读全文
