随笔分类 - 【14】Deep Learning
摘要:目录 1 Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency (NIPS 2022) 2 Cross Reconstruction Transformer for Self-S
阅读全文
摘要:目录 1 Temporal Ensembling for Semi-Supervised Learning (ICLR 2017) 2 Label Propagation for Deep Semi-supervised Learning (CVPR 2019) 3 Self-supervised
阅读全文
摘要:目录 1 Omni-Scale CNNs: a simple and effective kernel size configuration for time series classification (ICLR 2022) 2 FlexConv: Continuous Kernel Convol
阅读全文
摘要:目录 1 A Simple Framework for Contrastive Learning of Visual Representations (ICML 2020) 2 Supervised Contrastive Learning (NIPS 2020) 3 Decoupled Contr
阅读全文
摘要:目录 1 PiCO: Contrastive Label Disambiguation for Partial Label Learning (ICLR 2022) 2 Clusterability as an Alternative to Anchor Points When Learning w
阅读全文
摘要:目录 1 On Non-Random Missing Labels in Semi-Supervised Learning (ICLR 2022) 2 Multi-Objective Interpolation Training for Robustness to Label Noise (CVPR
阅读全文
摘要:目录 1 Mask R-CNN (ICCV2017, 本文旨在学习写作和创新点的定位思考) 2 Masked Autoencoders Are Scalable Vision Learners (arXiv2021) 3 SimMIM: A Simple Framework for Masked I
阅读全文
摘要:目录 1 Transformer-based的多变量时序表示学习 (KDD 2021) 2 单变量时序的迁移学习分类模型 (ICML 2021) 3 基于异构图神经网络的非完整数据分类 (WWW 2021 Best paper runner up) 4 基于图神经网络的多变量时序填补模型 (arXi
阅读全文
摘要:目录 1 Co-teaching+ (ICML, 2019) 1.1 动机 1.2 贡献 1.3 实验分析 1.4 我的想法 2 MixUp (ICLR, 2018) 2.1 动机 2.2 贡献 2.3 实验分析 2.4 我的想法 3 MenterMix (ICML, 2020) 3.1 动机 3.
阅读全文
摘要:目录 1 Co-teaching: 面向极度噪声标签的鲁棒性深度神经网络训练模型 (NIPS 2018) 1.1 动机 1.2 贡献 1.3 实验分析 1.4 我的思考 2 MixMatch: 一种全面的半监督学习方法 (NIPS 2019) 2.1 动机 2.2 贡献 2.3 实验分析 2.4 我
阅读全文
摘要:目录 前言 1 基于自标签的协同聚类和表示学习(ICLR, 2020) 1.1 动机 1.2 贡献 1.3 实验分析 1.4 我的想法 2 无标签的图像分类学习 (ECCV, 2020) 2.1 动机 2.2 贡献 2.3 实验分析 2.4 我的想法 3 基于语义伪标签的图像聚类 (arXiv, 2
阅读全文
摘要:本文分为四个部分,第一部分简要介绍LSTM的应用现状;第二部分介绍LSTM的发展历史,并引出了受众多学者关注的LSTM变体——门控递归单元(GRU);第三部分介绍LSTM的基本结构,由基本循环神经网络结构引出LSTM的具体结构。第四部分,应用Keras框架提供的API,比较和分析简单循环神经网络(S
阅读全文
摘要:目录 第10章 TensorFlow高层封装 第11章 TensorBoard可视化 第12章 TensorFlow计算加速 第10章 TensorFlow高层封装 目前比较流行的TensorFlow高层封装主要有4个,分别是TensorFlow-Slim、TFLearn、Keras和Estimat
阅读全文
摘要:目录 第8章 循环神经网络 第9章 自然语言处理 第8章 循环神经网络 循环神经网络的主要用途是处理和预测序列数据。循环神经网络的来源就是为了刻画一个序列当前的输出与之前信息的关系。也就是说,循环神经网络的隐藏层之间的节点是有连接的,隐藏层的输入不仅包括输入层的输出,还包括上一时刻隐藏层的输出。下面
阅读全文
摘要:目录 第5章 MNIST数字识别问题 第6章 图像识别与卷积神经网络 第7章 图像数据处理 第5章 MNIST数字识别问题 MNIST是一个非常有名的手写体数字识别数据集,在很多资料中,这个数据集都会被用作深度学习的入门样例。MNIST数据集是NIST数据集的一个子集,它包含了60000张图片作为训
阅读全文
摘要:目录 第1章 深度学习简介 第2章 TensorFlow环境搭建 第3章 TensorFlow入门 第4章 深层神经网络 第1章 深度学习简介 对于许多机器学习问题来说,特征提取不是一件简单的事情。在一些复杂问题上,要通过人工的方式设计有效的特征集合,需要很多的时间和精力,有时甚至需要整个领域数十年
阅读全文
摘要:目录 第一周 循环序列模型 第二周 自然语言处理与词嵌入 第三周 序列模型和注意力机制 第一周 循环序列模型 在进行语音识别时,给定一个输入音频片段X,并要求输出对应的文字记录Y,这个例子中输入和输出数据就是序列模型。 音乐生产问题也是使用序列数据的一个例子。 在自然语言处理中,首先需要决定怎样表示
阅读全文
摘要:目录 第一周 卷积神经网络基础 第二周 深度卷积网络:实例探究 第三周 目标检测 第四周 特殊应用:人脸识别和神经风格转换 第一周 卷积神经网络基础 垂直边缘检测器,通过卷积计算,可以把多维矩阵进行降维。如下图: 卷积运算提供了一个方便的方法来发现图像中的垂直边缘。例如下图: 对于3x3的过滤器,使
阅读全文
摘要:目录 第一周 机器学习策略(1) 第二周 机器学习策略(2) 目标:学习一些机器学习优化改进策略,使得搭建的学习模型能够朝着最有希望的方向前进。 第一周 机器学习策略(1) 搭建机器学习系统的挑战:尝试和改变的东西太多,比如超参数。 什么是正交化? 正交化是协助调节搭建机器学习系统的方法之一,类比老
阅读全文
摘要:目录 第一周(深度学习的实践层面) 第二周(优化算法) 第三周(超参数调试、Batch正则化和程序框架) 目标: 如何有效运作神经网络,内容涉及超参数调优,如何构建数据,以及如何确保优化算法快速运行,从而使学习算法在合理时间内完成自我学习。 第一周(深度学习的实践层面) 如何选取一个神经网络的训练集
阅读全文