07 2020 档案
摘要：!rm -rf latexify_py !git clone https://github.com/odashi/latexify_py -b develop !pip install -e latexify_py # Before running following cells, restart
阅读全文
摘要：1. 数据集 import numpy as np import torch from torch import nn, optim from torchtext import data, datasets import numpy as np import torch from torch imp
阅读全文
摘要：打开Google的Colab 运行： !pip install torch !pip install torchtext !pip install torchvision # K80 gpu for 12 hours import torch from torch import nn, optim
阅读全文
摘要：笔记摘抄 提前安装torchtext和scapy，运行下面语句（压缩包地址链接：https://pan.baidu.com/s/1_syic9B-SXKQvkvHlEf78w 提取码：ahh3）： pip install torchtext pip install scapy pip install
阅读全文
摘要：LSTM详解 LSTM实现 笔记摘抄 1. nn.LSTM 1.1 lstm=nn.LSTM(input_size, hidden_size, num_layers) lstm=nn.LSTM(input_size, hidden_size, num_layers) 参数： input_size：输
阅读全文
摘要：笔记摘抄 1. 问题描述 已知 [k, k+n)时刻的正弦函数，预测 [k+t, k+n+t)时刻的正弦曲线。 因为每个时刻曲线上的点是一个值，即feature_len=1 如果给出50个时刻的点，即seq_len=50 如果只提供一条曲线供输入，即batch=1 输入的shape=[seq_len
阅读全文
摘要：笔记摘抄 1. 词嵌入 nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weigh
阅读全文
摘要：1. nn.Linear() nn.Linear()：用于设置网络中的全连接层，需要注意的是全连接层的输入与输出都是二维张量 一般形状为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下： in_features指的是输入的二维张量的大小，即输入的[bat
阅读全文
摘要：https://blog.csdn.net/Answer3664/article/details/99460175 requires_grad=True 要求计算梯度 requires_grad=False 不要求计算梯度 with torch.no_grad()或者@torch.no_grad()
阅读全文
摘要：ResNet图解 nn.Module详解 1. Pytorch上搭建ResNet-18 1.1 ResNet block子模块 import torch from torch import nn from torch.nn import functional as F class ResBlk(nn
阅读全文
摘要：1. 数据增强 比如，你遇到的一个任务，目前只有小几百的数据，然而目前流行的最先进的神经网络都是成千上万的图片数据，可以通过数据增强来实现。 卷积神经网络非常容易出现过拟合的问题，而数据增强的方法是对抗过拟合问题的一个重要方法。 常用的数据增强手段： Flip（翻转） Rotation（旋转） Sc
阅读全文
摘要：摘抄 1. ResNet 2. nn.Module 在PyTorch中nn.Module类是用于 定义网络中 前向结构 的父类 当要定义自己的网络结构时就要继承这个类 现有的那些类式接口（如nn.Linear、nn.BatchNorm2d、nn.Conv2d等）也是继承这个类的 nn.Module类
阅读全文
摘要：笔记摘抄 1. 卷积层 1.1 torch.nn.Conv2d() 类式接口 torch.nn.Conv2d(self, in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=T
阅读全文
摘要：<video id="video" controls="" preload="none" poster="https://blog-static.cnblogs.com/files/douzujun/logisticRegression.js" type="video/mp4"> <source i
阅读全文
摘要：笔记摘抄 1. 训练集&验证集&测试集 训练集：训练数据 验证集：验证不同算法（比如，利用网格搜索对超参数进行调整等），检验哪种更有效 测试集：正确评估分类器的性能 正常流程： 验证集会记录每个时间戳的参数 在加载test数据前会加载那个最好的参数，再来评估。 比方说训练完6000个epoch后，发
阅读全文
摘要：笔记摘抄 1. 安装visdom 安装教程 2. 开启监听进程 python -m visdom.server 3. 访问 用chrome浏览器访问url连接：http://localhost:8097 4. 可视化训练 在之前定义网络结构（参考上一节）的基础上加上Visdom可视化。 在训练-测试
阅读全文
摘要：笔记摘抄 Pytorch定义网络结构识别手写数字，可以对网络中的参数w和b进行手动定义的(参考上一节) 也可以直接用 nn.Linear 定义层的方式来定义 更加方便的方式是直接继承 nn.Module 来定义自己的网络结构。 1. nn.Linear方式 import torch import t
阅读全文
摘要：笔记摘抄 1. 分类问题 1.1 二分类 f:x→p(y=1|x) p(y=1|x)： 解释成给定x，求y=1的概率，如果概率>0.5，预测为1；否则，预测为0 pθ(y|x)：给定x，输出预测值的概率 pr(y|x)：给定
阅读全文
摘要：笔记摘自 1. 感知机 单层感知机： import torch from torch.nn import functional as F x = torch.randn(1,10) w = torch.randn(1,10,requires_grad=True) o = torch.sigmoid(
阅读全文
摘要：笔记摘抄 1. 激活函数 图片来源 # 激活函数 z1 = torch.linspace(-100,100,10) print(z1) # tensor([-100.0000, -77.7778, -55.5556, -33.3333, -11.1111, 11.1111, 33.3333, 55.
阅读全文
摘要：1. 逻辑回归解决二分类问题 1.1 生成数据集 '+' 从高斯分布采样 (X, Y) ~ N(3, 6, 1, 1, 0). 'o' 从高斯分布采样 (X, Y) ~ N(6, 3, 1, 1, 0) import tensorflow as tf import matplotlib.pyplot
阅读全文
摘要：<details style='background-color:#f9f2f4'> <summary><font color='#c7254e' size='3px'> view code</font></summary> 你的代码 </details> view code c=torch.ran
阅读全文
摘要：1. 分析为什么平方损失函数不适用于分类问题. 答: 分类问题中的标签，是没有连续的概念的。每个标签之间的距离也是没有实际意义的，所以预测值 和 标签两个向量之间的平方差这个值不能反应分类这个问题的优化程度。 假设分类问题的类别是1,2,3 那么对于一个真实类别为2的样本X，模型的分类结果是 1 或
阅读全文
摘要：笔记摘抄 1. Broadcasting Broadcasting能够实现 **Tensor自动维度增加（unsqueeze）**与 维度扩展（expand） 使两个Tensor的shape一致，从而完成某些操作，主要步骤： 从最后面的维度开始匹配（一般后面理解为小维度）； 在前面插入若干维度，进行
阅读全文
摘要：1. 数据类型 如何表示string? One-hot [0, 1, 0, 0, ...] Embedding Word2vec glove 类型推断 import torch # type check a = torch.randn(2, 3) print(a.type()) #torch.Flo
阅读全文
摘要：线性回归 问题描述 有一个函数 ，使得。现 在不知道函数 f(⋅)的具体形式，给定满足函数关系的一组训练样本，请使用线性回归模型拟合出函数y=f(x)。 (可尝试一种或几种不同的基函数，如多项式、高斯或sigmoid基函数） 数据集 根据某种函数关系生成的train 和test 数据
阅读全文
摘要：1. numpy 的array操作 # 1. 导入numpy库 import numpy as np # 2.建立一个一维数组 a 初始化为[4,5,6], # (1) 输出a 的类型（type） # (2) 输出a的各维度的大小（shape） # (3) 输出 a的第一个元素（值为4） a = n
阅读全文
摘要：吴恩达深度学习课程的课堂笔记以及课后作业 代码下载：https://github.com/douzujun/Deep-Learning-Coursera 吴恩达推荐笔记：https://mp.weixin.qq.com/s/cX9_DiqofPhdXrY_0oTEAw 课程1 - 神经网络和深度学习
阅读全文
摘要：1. Trigger Word Detection 我们的触发词将是 "Activate."。每当它听到你说 "Activate."，它就会发出 "chiming" 的声音。 在此作业结束时，您将能够记录您自己谈话的片段，并让算法在检测到您说"Activate."时触发一个钟声； 构成一个语音识别项
阅读全文
摘要：1. Neural Machine Translation 下面将构建一个神经机器翻译(NMT)模型，将人类可读日期 ("25th of June, 2009") 转换为机器可读日期 ("2009-06-25"). 使用 attention model. from keras.layers impo
阅读全文
摘要：参考 1. 基础模型(Basic Model) Sequence to sequence模型(Seq2Seq) 从机器翻译到语音识别方面都有着广泛的应用。 举例： 该机器翻译问题，可以使用“编码网络（encoder network）”+“解码网络（decoder network）”两个RNN模型组合
阅读全文
摘要：return_sequences：默认 False。在输出序列中，返回单个 hidden state值还是返回全部time step 的 hidden state值。 False 返回单个， true 返回全部。
阅读全文
