摘要：一、sparse模块： python中scipy模块中，有一个模块叫sparse模块，就是专门为了解决稀疏矩阵而生。本文的大部分内容，其实就是基于sparse模块而来的 导入模块：from scipy import sparse 二、七种矩阵类型 coo_matrix dok_matrix lil_
阅读全文
摘要：目录： 一、进程 全局变量在多个进程中不共享 二、线程 一、进程： 1、多任务概念：多个任务同时进行 （图片来源于https://www.cnblogs.com/wj-1314/p/8263328.html） 并发：CPU单核完成多个任务的执行，常用的调度算法：时间片轮转、优先级调度；由于每个任务执
阅读全文
摘要：一、卷积： 卷积在 pytorch 中有两种方式： 【实际使用中基本都使用 nn.Conv2d() 这种形式】 这两种形式本质都是使用一个卷积操作，这两种形式的卷积对于输入的要求都是一样的，首先需要输入是一个 torch.autograd.Variable() 的类型，大小是 (batch, cha
阅读全文
摘要：一、使用Numpy初始化：【直接对Tensor操作】 对Sequential模型的参数进行修改： 对Sequential模型的参数进行修改： 对Module模型 的参数初始化： 对Module模型 的参数初始化： 对于 Module 的参数初始化，其实也非常简单，如果想对其中的某层进行初始化，可以直
阅读全文
摘要：一、知识点： 相关包：torch.utils.data 相关包：torch.utils.data 包装数据类：TensorDataset 包装数据类：TensorDataset 【包装数据和目标张量的数据集，通过沿着第一个维度索引两个张量来】 加载数据类：DataLoader 加载数据类：DataL
阅读全文
摘要：方法一：采用torch.nn.Module模块 打印的结果： Net( (hidden): Linear(in_features=2, out_features=10, bias=True) (predict): Linear(in_features=10, out_features=2, bias
阅读全文
摘要：一、分类任务： 将以下两类分开。 创建数据代码： 二、步骤 导入包 创建模型 设置优化器和损失函数 训练模型 三、代码： 导入包： 创建模型： 设置优化器和损失函数 训练模型并画图展示 结果展示：
阅读全文
摘要：一、步骤： 导入包和读取数据 数据预处理 编码层和解码层的建立 + 构建模型 编译模型 训练模型 测试模型【只用编码层来画图】 二、代码： 1、导入包和读取数据 2、数据预处理：将28*28维度的数据拉成一个向量784，原数据X_train的shape为（60000，28，28），转成x_train
阅读全文
摘要：一、步骤： 导入包以及读取数据 设置参数 数据预处理 构建模型 编译模型 训练以及测试模型 二、代码： 1、导入包以及读取数据 2、设置参数 3、数据预处理 4.1、构建RNN模型 4.2、构建LSTM模型 5、训练模型以及测试
阅读全文
摘要：一、步骤： 导入模块以及读取数据 数据预处理 构建模型 编译模型 训练模型 测试 二、代码： 导入模块以及读取数据 2、数据预处理 x原本的shape为（55000，784），55000表示样本数量，784表示一个图像样本拉成一个向量的大小，故要将其转成28*28这种长×宽的形式。（-1，1，28，
阅读全文
摘要：目录： 转圈打印矩阵 将正方形矩阵顺时针转动90度 “之”字形打印矩阵 找到无序数组中最小的k个数 需要排序的最短子数组长度【找到比当前最小值左边大的数和比最大值右边大的数的索引】 在数组中找到出现次数大于N/K的数【删除不同的数】 在行列都排好序的矩阵中找数 最长的可整合子数组的长度 不重复打印排
阅读全文
摘要：目录： 数据预处理 模型 网络层 网络配置 文本预处理 序列预处理 图像预处理 Sequential顺序模型 Model模型【通用模型】 核心层 卷积层 池化层 循环层 嵌入层 合并层 激活函数 初始化 正则化 保存 读取 一、Keras的模块结构 采用keras搭建一个神经网络： 二、Keras的
阅读全文
摘要：目录： 自定义模型 建立自己的机器学习Estimator 调节RunConfig运行时的参数 Experiment和LearnRunner 深度神经网络 广度深度模型 线性/逻辑回归 随机森林 K均值聚类 支持向量机 一、分布式Estimator Estimator包含各种机器学习和深度学习的类，用
阅读全文
摘要：目录： 一、CPPN 二、孪生网络Siamese 三、改进的孪生网络 四、Triplet Network 一、CPPN（Compositional Pattern Producing Network)复合模式生成网络 CPPN是一种基于遗传算法演化神经网络结构的生成式模型。 1、前言： 一个圆的图像
阅读全文
摘要：目录： 一、RBM 二、Deep Brief Network 三、Deep Autoencoder 一、RBM 二、Deep Brief Network 三、Deep Autoencoder 一、RBM 1、定义【无监督学习】 RBM记住三个要诀：1）两层结构图，可视层和隐藏层；【没输出层】2）层内
阅读全文
摘要：一、自编码器：降维【无监督学习】 PCA简介：【线性】原矩阵乘以过渡矩阵W得到新的矩阵，原矩阵和新矩阵是同样的东西，只是通过W换基。 自编码： 自动编码器是一种无监督的神经网络模型，它可以学习到输入数据的隐含特征，这称为编码(coding)，同时用学习到的新特征可以重构出原始输入数据，称之为解码(d
阅读全文
摘要：引言： 特征值分解：矩阵的作用就是线性变换（如旋转，伸缩，平移等），在一个空间当中，矩阵左乘向量就是将向量线性变换成想要的效果，那么矩阵的特征值和特征向量是什么呢？ 特征值、特征向量：在线性代数的定义当中，特征值和特征向量的定义是这样的，AX=rX ，则称r为A的特征值，X称为A的属于特征值k的特征
阅读全文
摘要：1、学习单步的RNN：RNNCell、BasicRNNCell、BasicLSTMCell、LSTMCell、GRUCell （1）RNNCell 如果要学习TensorFlow中的RNN，第一站应该就是去了解“RNNCell”，它是TensorFlow中实现RNN的基本单元，每个RNNCell都有
阅读全文
摘要：一、任务：采用基本的LSTM识别MNIST图片，将其分类成10个数字。 为了使用RNN来分类图片，将每张图片的行看成一个像素序列，因为MNIST图片的大小是28*28像素，所以我们把每一个图像样本看成一行行的序列。因此，共有（28个元素的序列）×（28行），然后每一步输入的序列长度是28，输入的步数
阅读全文
摘要：一、采用git bash来安装，确认已经安装了git 二、手动找到TensorFlow的模块文件夹地址，若不知道，输入以下两行代码： import tensorflow as tf tf.__path__ 输出的地址为TensorFlow模块所在地址 三、在此地址右键：git bash here 四
阅读全文
摘要：一、题目： 把字符串 s 看作是“abcdefghijklmnopqrstuvwxyz”的无限环绕字符串，所以 s 看起来是这样的："...zabcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyzabcd....". 现在我们有了另一个字符串 p 。
阅读全文
摘要：一、双向循环神经网络BRNN 采用BRNN原因： 双向RNN，即可以从过去的时间点获取记忆，又可以从未来的时间点获取信息。为什么要获取未来的信息呢？ 判断下面句子中Teddy是否是人名，如果只从前面两个词是无法得知Teddy是否是人名，如果能有后面的信息就很好判断了，这就需要用的双向循环神经网络。
阅读全文
摘要：一、GRU 其中， rt表示重置门，zt表示更新门。 重置门决定是否将之前的状态忘记。(作用相当于合并了 LSTM 中的遗忘门和传入门） 当rt趋于0的时候，前一个时刻的状态信息ht−1会被忘掉，隐藏状态h^t会被重置为当前输入的信息。 更新门决定是否要将隐藏状态更新为新的状态h^t（作用相当于 L
阅读全文
摘要：摘自https://www.cnblogs.com/pinard/p/6519110.html 一、RNN回顾 略去上面三层，即o,L,y，则RNN的模型可以简化成如下图的形式： 二、LSTM模型结构： 整体模型： 由于RNN梯度消失的问题，大牛们对于序列索引位置t的隐藏结构做了改进，可以说通过一些
阅读全文
摘要：一、RNN的作用和粗略介绍： RNN可解决的问题： 训练样本输入是连续的序列,且序列的长短不一，比如基于时间的序列：一段段连续的语音，一段段连续的手写文字。这些序列比较长，且长度不一，比较难直接的拆分成一个个独立的样本来通过DNN/CNN进行训练。 T个时间步： 我们先来看单个RNN cell: 简
阅读全文
摘要：一、为什么选择序列模型 （1）序列模型广泛应用于语音识别【多对多】，音乐生成【一对多】，情感分析【多对一】，DNA序列分析，机器翻译【多对多，个数不同】，视频行为识别，命名实体识别等众多领域。 （2）上面那些问题可以看成使用（x，y）作为训练集的监督学习，但是输入与输出的对应关系有非常多的组合，比如
阅读全文
摘要：一、梯度不稳定问题： 什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。 原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。 二、梯度消失（vanishing gradient proble
阅读全文
摘要：一、题目：计算各个位数不同的数字个数 给定一个非负整数 n，计算各位数字都不同的数字 x 的个数，其中 0 ≤ x < 10n 。 示例: 思路：动态规划 dp[i]表示 i 位数范围内【0，10^i】各位数字都不同的数字 x 的个数。 当 n = 1 时, 只有 0 符合条件, 当 n = 10
阅读全文
摘要：一、VGGNet：5段卷积【每段有2~3个卷积层+最大池化层】【每段过滤器个数：64-128-256-512-512】 每段的2~3个卷积层串联在一起的作用： 2个3×3的卷积层串联的效果相当于一个5×5的卷积层，即一个像素会跟周围5×5的像素产生关联。【28*28的输入经过一次5*5得到24*24
阅读全文
摘要：一、AlexNet：共8层：5个卷积层（卷积+池化）、3个全连接层，输出到softmax层，产生分类。 论文中lrn层推荐的参数：depth_radius = 4，bias = 1.0 , alpha = 0.001 / 9.0 , beta = 0.75 lrn现在仅在AlexNet中使用，主要是
阅读全文
摘要：一、卷积神经网络的简述 卷积神经网络将一个图像变窄变长。原本【长和宽较大，高较小】变成【长和宽较小，高增加】 卷积过程需要用到卷积核【二维的滑动窗口】【过滤器】，每个卷积核由n*m（长*宽）个小格组成，每个小格都有自己的权重值， 长宽变窄：过滤器的长宽决定的 高度变高：过滤器的个数决定的 输入：55
阅读全文
