07 2020 档案
摘要：1.两者概念理解 2.SVD的使用 np.linalg.svd(a, full_matrices=True, compute_uv=True) 参数： a : 是一个形如(M,N)矩阵 full_matrices：的取值是为0或者1，默认值为1，这时u的大小为(M,M)，v的大小为(N,N) 。否则
阅读全文
摘要：glove和word2vec是目前最常用的两个训练词向量的模型，两者训练出来的文件都以文本格式呈现，区别在于word2vec包含向量的数量及其维度。 1.gensim加载glove训练的词向量 1 import numpy as np 2 3 import matplotlib.pyplot as
阅读全文
摘要：提前安装torchtext和scapy，运行下面语句（压缩包地址链接：https://pan.baidu.com/s/1_syic9B-SXKQvkvHlEf78w 提取码：ahh3）： pip install torchtext pip install scapy pip install 你的地址
阅读全文
摘要：1.nn.LSTM 1.1lstm=nn.LSTM(input_size, hidden_size, num_layers) 参数： input_size：输入特征的维度， 一般rnn中输入的是词向量，那么 input_size 就等于一个词向量的维度，即feature_len； hidden_si
阅读全文
摘要：1.问题描述 已知[k,k+n)时刻的正弦函数，预测[k+t,k+n+t)时刻的正弦曲线。因为每个时刻曲线上的点是一个值，即feature_len=1，如果给出50个时刻的点，即seq_len=50，如果只提供一条曲线供输入，即batch=1。输入的shape=[seq_len, batch, fe
阅读全文
摘要：1.词嵌入 nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weight=None
阅读全文
摘要：比如，你遇到的一个任务，目前只有小几百的数据，然而目前流行的最先进的神经网络都是成千上万的图片数据，可以通过数据增强来实现。 常用的数据增强手段： Flip（翻转） Rotation（旋转） Scale（缩放） Random Move&Crop（移位&裁剪） Gaussian Noise（高斯噪声）
阅读全文
摘要：1.Pytorch上搭建ResNet-18 1 import torch 2 from torch import nn 3 from torch.nn import functional as F 4 5 6 class ResBlk(nn.Module): 7 """ 8 resnet block
阅读全文
摘要：1.处理线性问题 1.1数据集预处理 1 import numpy as np 2 import matplotlib.pyplot as plt 3 from sklearn import datasets 4 5 iris = datasets.load_iris() 6 X = iris.da
阅读全文
摘要：建立神经网络的步骤： 1.定义模型结构（eg输入特征的数量） 2.初始化模型的参数 3.循环求解最终参数： 计算当前损失（正向传播） 计算当前梯度（反向传播） 更新参数（梯度下降） 4.预测 提前加载和查看数据 1 import numpy as np 2 import matplotlib.pyp
阅读全文
摘要：提前安装ffmpeg，参考https://www.cnblogs.com/Neeo/articles/11677715.html 1.逻辑回归解决二分类问题 1.1生成数据集 1 import tensorflow as tf 2 import matplotlib.pyplot as plt 3
阅读全文
摘要：在PyTorch中nn.Module类是用于定义网络中前向结构的父类，当要定义自己的网络结构时就要继承这个类。现有的那些类式接口（如nn.Linear、nn.BatchNorm2d、nn.Conv2d等）也是继承这个类的，nn.Module类可以嵌套若干nn.Module的对象，来形成网络结构的嵌套
阅读全文
摘要：1.信息熵及梯度计算 热力学中的熵：是表示分子状态混乱程度的物理量 信息论中的熵：用来描述信源的不确定性的大小 经常使用的熵概念有下列几种： 信息熵、交叉熵、相对熵、条件熵、互信息 信息熵（entropy） 信源信息的不确定性函数f通常满足两个条件： 是概率p的单调递减函数。 两个独立符号所产生的不
阅读全文
摘要：1.卷积层 1.1torch.nn.Conv2d()类式接口 1 torch.nn.Conv2d(self, in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True))
阅读全文
摘要：1.训练集&验证集&测试集 训练集：训练数据 验证集：验证不同算法（比如利用网格搜索对超参数进行调整等），检验哪种更有效 测试集：正确评估分类器的性能 正常流程：验证集会记录每个时间戳的参数，在加载test数据前会加载那个最好的参数，再来评估。比方说训练完6000个epoch后，发现在第3520个e
阅读全文
摘要：Visdom相比TensorBoardX，更简洁方便一些（例如对image数据的可视化可以直接使用Tensor，而不必转到cpu上再转为numpy数据），刷新率也更快。 1.安装visdom pip install visdom 2.开启监听进程 visdom本质上是一个web服务器，开启web服务
阅读全文
摘要：1.numpy的array操作 1 #1.导入numpy 2 import numpy as np 3 import matplotlib.pyplot as plt 4 5 #2.建立一个一维数组 a 初始化为[4,5,6] 6 #(1)输出a 的类型（type）(2)输出a的各维度的大小（sha
阅读全文
摘要：Pytorch定义网络结构识别手写数字，可以对网络中的参数w和b进行手动定义的（参考上一节），也可以直接用nn.Linear定义层的方式来定义，更加方便的方式是直接继承nn.Module来定义自己的网络结构。 1.nn.Linear方式 1 import torch 2 import torch.n
阅读全文
摘要：1.感知机 单层感知机： 1 x=torch.randn(1,10) 2 w=torch.randn(1,10,requires_grad=True) 3 4 o=torch.sigmoid(x@w.t()) #o=tensor([[0.9997]], grad_fn=<SigmoidBackwar
阅读全文
摘要：1.激活函数 1 #激活函数 2 z1=torch.linspace(-100,100,10) 3 print(z1) #tensor([-100.0000, -77.7778, -55.5556, -33.3333, -11.1111, 11.1111, 33.3333, 55.5556, 77.
阅读全文
摘要：构建一个模型，输入的是文字（比如“Let’s go see the baseball game tonight!”），输出的是表情（⚾️）。如果使用词向量，会发现即使训练集只明确地将几个单词与特定的表情符号相关联，模型也能够将测试集中的单词归纳、总结到同一个表情符号，甚至有些单词没有出现在你的训练集
阅读全文
摘要：1.余弦相似度 加载需要的包和词向量（选择加载训练好的词嵌入数据） 1 import numpy as np 2 from w2v_utils import * 3 4 #words：单词集合 5 #word_to_vec：字典类型，{word:该word的50维度的嵌入向量} 6 words, w
阅读全文
摘要：加载库 1 from keras.models import load_model, Model 2 from keras.layers import Dense, Activation, Dropout, Input, LSTM, Reshape, Lambda, RepeatVector 3 f
阅读全文
摘要：1.Broadcasting Broadcasting能够实现Tensor自动维度增加（unsqueeze）与维度扩展（expand），以使两个Tensor的shape一致，从而完成某些操作，主要按照如下步骤进行： 从最后面的维度开始匹配（一般后面理解为小维度）； 在前面插入若干维度，进行unsqu
阅读全文
摘要：任务：构建字符级语言模型来生成新的名称 1.数据集与预处理 读取恐龙名称的数据集，创建一个唯一字符列表（a-z和\n），\n充当EOS名称结束的作用。 1 import numpy as np 2 import random 3 import time 4 import cllm_utils 5 6
阅读全文
摘要：1.循环神经网络的前向传播 1.1RNN单元 向量化m个样本，x<t>的维度为(nx,m)，a<t>的维度为(na,m) 1 import numpy as np 2 from rnn_utils import * 3 4 #单步前向传播 5 def rnn_cell_forward(xt, a_p
阅读全文
