Processing math: 100%

04 2021 档案

摘要:What is Defense 有人说模型容易被攻破是因为过拟合,但其实并不是,因为weight regularization、dropout、model ensemble都不能抵挡Adversarial Attack,并且Attack可以攻击多个model。 Defense分为两类: Passiv 阅读全文
posted @ 2021-04-30 10:00 臭咸鱼 阅读(250) 评论(0) 推荐(0) 编辑
摘要:Universal Adversarial Attack Attack可以是分别为每个输入x0找到对应的攻击信号Δx,还可以是找到一个适用于所有输入的攻击信号Δx,这就是Universal Adversarial Attack,详见:Universal adve 阅读全文
posted @ 2021-04-28 10:41 臭咸鱼 阅读(244) 评论(0) 推荐(0) 编辑
摘要:Motivation 我们希望我们的模型不仅仅是在大多数情况下可用的,还希望它能够应对来自外界的“攻击”,特别是在垃圾邮件分类、恶意软件检测、网络入侵检测等任务中。 这个领域为对抗攻击与防御(Adversarial Attack and Defense),目前攻击是比较容易的而防御比较困难。 Wha 阅读全文
posted @ 2021-04-27 10:48 臭咸鱼 阅读(475) 评论(0) 推荐(0) 编辑
摘要:本文为作者学习李宏毅机器学习课程时参照样例完成homework5的记录。 代码仓库:chouxianyu/LHY_ML2020_Codes,里面除了代码还有数据、PPT、笔记等资源喔~ 任务描述 在homework3中我们通过CNN实现了食物图片分类,详见我之前的文章《李宏毅机器学习课程笔记-7.4 阅读全文
posted @ 2021-04-25 10:08 臭咸鱼 阅读(189) 评论(0) 推荐(0) 编辑
摘要:模型无关的局部解释(Local Interpretable Model-Agnostic Explanations,LIME)指使用一个Interpretable Model拟合一个Uninterpretable Model的局部,比如使用Linear Model或者Decision Tree模拟N 阅读全文
posted @ 2021-04-24 10:41 臭咸鱼 阅读(445) 评论(0) 推荐(0) 编辑
摘要:假定在图片分类任务中,Global Explanation要求机器说明它认为一个类别(比如“cat”)是什么样子,而非针对一张图片进行解释。 Activation maximization 在李宏毅机器学习课程笔记-7.2CNN学到了什么一文中,我们已讲过Activation maximizatio 阅读全文
posted @ 2021-04-23 11:38 臭咸鱼 阅读(179) 评论(0) 推荐(0) 编辑
摘要:假定在图片分类任务中有一张图片,Local Explanation则要求机器说明为什么它认为这张图片是某个类别(比如“cat”)。 Explainable AI(Local Explanation)的目标是,知道每个component对于最终结果的重要性。我们可以通过remove或者modify其中 阅读全文
posted @ 2021-04-22 08:43 臭咸鱼 阅读(566) 评论(0) 推荐(0) 编辑
摘要:Explainable AI是什么 我们希望,机器不仅要知道“是什么”还要知道“为什么”,或者说机器不仅要给出答案还要给出explanation。 Explanation可以分为两类: Local Explanation 假定在图片分类任务中有一张图片,要求机器说明为什么它认为这张图片是某个类别(比 阅读全文
posted @ 2021-04-21 09:52 臭咸鱼 阅读(336) 评论(0) 推荐(0) 编辑
摘要:Smoothness假设 Smoothness假设的定义 基于Smoothness假设的半监督学习的基本思路是“近朱者赤近墨者黑”,即相似的x具有相同的ˆy,其具体定义为: x的分布不平均,在某些地方(high density region)很集中,在某些地方很分散 如果x1 阅读全文
posted @ 2021-04-19 08:31 臭咸鱼 阅读(452) 评论(0) 推荐(0) 编辑
摘要:按照“非黑即白”的思路,假设类别之间的boundary周围的data是很少的,即假设不同类别数据之间应该有1个很明显的boundary。 Self-training 最简单的基于Low-density Separation假设的半监督学习是Self-training。 使用有标签的数据训练1个模型$ 阅读全文
posted @ 2021-04-18 15:19 臭咸鱼 阅读(271) 评论(0) 推荐(0) 编辑
摘要:生成模型中的半监督学习:Semi-supervised Learning for Generative Model 有监督生成模型 有监督生成模型:Supervised Generative Model 如下图所示,在有监督生成模型中,得到$P(C_1),P(C_2),\mu1,\mu2,\Sigm 阅读全文
posted @ 2021-04-17 10:49 臭咸鱼 阅读(387) 评论(0) 推荐(0) 编辑
摘要:有监督学习(Supervised Learning) 训练集数据为{ (xr,\ \hat yr) }_^R,其中每组数据包括算法的输入与输出(标签)。 半监督学习(Semi-supervised Learning) 训练集数据为(xr, ˆyr)R+xuU+R 阅读全文
posted @ 2021-04-16 08:25 臭咸鱼 阅读(194) 评论(0) 推荐(0) 编辑
摘要:本文为作者学习李宏毅机器学习课程时参照样例完成homework4的记录。 代码仓库:chouxianyu/LHY_ML2020_Codes,里面除了代码还有数据、PPT、笔记等资源喔~ 任务描述 通过RNN实现文本情感分类(Text Sentiment Classification)。 数据集描述 阅读全文
posted @ 2021-04-15 08:28 臭咸鱼 阅读(232) 评论(0) 推荐(0) 编辑
摘要:1层LSTM神经元的架构 根据上述内容,你可能看不出LSTM与RNN有什么关系,接下来具体介绍LSTM在RNN中的应用。 假设我们现在有一些LSTM(下图中白色部分)作为神经元,每个LSTM的memory cell里都存了一个scalar值(下图中红框中内容),把这些scalar连接起来就组成了1个 阅读全文
posted @ 2021-04-14 10:41 臭咸鱼 阅读(219) 评论(0) 推荐(0) 编辑
摘要:LSTM即Long Short-term Memory。 基本概念 前几篇文章提到的RNN都比较简单,可以任意读写memory,没有进一步对memory进行管理。现在常用的memory管理方式是LSTM。正如其名,LSTM是比较长的短期记忆,-是在short和term之间。前几篇提到的RNN在有新的 阅读全文
posted @ 2021-04-13 08:49 臭咸鱼 阅读(235) 评论(0) 推荐(0) 编辑
摘要:在Slot Filling中,输入是1个word vector,输出是每个word的label,输入和输出是等长的。 然而,RNN还可以实现多对1、多对多… Many to One Many to One:输入是1个vector sequence,输出是1个vector Sentiment Anal 阅读全文
posted @ 2021-04-12 09:01 臭咸鱼 阅读(283) 评论(0) 推荐(0) 编辑
摘要:RNN的损失函数 仍然以Slot Filling为例,如下图所示。 对于1个wordxi,RNN输出1个one-hot编码的vector yi,求yi和对应label的交叉熵损失(Cross Entropy Loss),将多个word的loss求和即为RNN的损失函数。需要注意的是 阅读全文
posted @ 2021-04-11 10:44 臭咸鱼 阅读(473) 评论(0) 推荐(0) 编辑
摘要:Slot Filling 比如在订票系统中,输入“Arrive Taipei on November 2nd”这样一个序列,我们设置几个slot(槽位),希望算法能够将关键词“Taipei”放入Destination这个slot,将"November"和"2nd"放入到达时间Time of Arri 阅读全文
posted @ 2021-04-10 09:05 臭咸鱼 阅读(222) 评论(0) 推荐(0) 编辑
摘要:术语(Terminology) Aggregation Aggregation是Convolution在GNN中的推广。Aggregation就是在某一个layer中用某node及其neighbor的feature得到下一个layer中该node的feature。 Readout Readout有点 阅读全文
posted @ 2021-04-07 20:18 臭咸鱼 阅读(842) 评论(0) 推荐(0) 编辑
摘要:本文为作者学习李宏毅机器学习课程时参照样例完成homework3的记录。 代码仓库:chouxianyu/LHY_ML2020_Codes,里面除了代码还有数据、PPT、笔记等资源喔~ 任务描述 通过CNN实现食物图片分类,数据集已提供 数据集描述 11个图片类别,训练集中有9866张图片,验证集中 阅读全文
posted @ 2021-04-05 19:48 臭咸鱼 阅读(376) 评论(0) 推荐(0) 编辑
摘要:在PyTorch入门:使用PyTorch搭建神经网络LeNet5一文中,我们已经使用PyTorch实现了一个简单的神经网络LeNet5,本文将基于PyTorch使用LeNet5和CIFAR10实现图片分类模型的定义、训练和测试的全过程,代码(有详细注释)如下: import torch import 阅读全文
posted @ 2021-04-04 13:53 臭咸鱼 阅读(291) 评论(0) 推荐(0) 编辑
摘要:前言 在本文中,我们基于PyTorch构建一个简单的神经网络LeNet5。 在阅读本文之前,建议您了解一些卷积神经网络的前置知识,比如卷积、Max Pooling和全连接层等等,可以看我写的相关文章:李宏毅机器学习课程笔记-7.1CNN入门详解。 通过阅读本文,您可以学习到如何使用PyTorch构建 阅读全文
posted @ 2021-04-03 11:49 臭咸鱼 阅读(420) 评论(0) 推荐(0) 编辑
摘要:GNN的用处 分类(Classification) 比如,有很多不同的化学分子,将其表示成图作为输入,用GNN判断其是否会导致突变,这就是一个有监督分类问题。 生成(Generation) 比如,我们需要开发针对新冠病毒的新药,我们可以训练出一个可以生成我们想要的分子(输出形式为图)的GNN,然后用 阅读全文
posted @ 2021-04-02 01:27 臭咸鱼 阅读(179) 评论(0) 推荐(0) 编辑
摘要:Deep Dream Deep Dream是这样的:如果给机器一张图片x,Deep Dream会把机器看到的内容加到图片x中得到x。那如何实现呢? 如上图所示,将图片x输入到CNN中,然后取出CNN中某一层L(可以是卷积、池化阶段的隐藏层,也可以是FNN中的隐藏层)的输出O 阅读全文
posted @ 2021-04-01 12:21 臭咸鱼 阅读(135) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示