08 2020 档案
摘要：1.概述 神经网络是基于连接的人工智能，当网络结构固定后，不同参数的选取对模型的表达力影响很大，更新模型参数的过程，仿佛在教一个孩子理解世界，达到学龄的孩子，脑神经元的结构，规模是相似的，他们都具备了学习的潜力，但是不同的引导方法，会让孩子具备不同的能力，达到不同的高度。 优化器就是引导神经网络更新
阅读全文
摘要：1.欠拟合与过拟合的解决办法 案例： 实现拟合 （1）不加入正则化 轮廓不够平滑，存在过拟合 #! /usr/bin/env python # -*- coding:utf-8 -*- import tensorflow as tf from matplotlib import pyplot as
阅读全文
摘要：1.损失函数 神经网络模型的效果及优化的目标是通过损失函数来定义的。回归和分类是监督学习中的两个大类。 （1）均方误差 例子： 预测酸奶日销量y，x1、x2是影响日销量的因素。建模前，应预先采集的数据有：每日x1、x2和销量y_（即已知答案，最佳情况：产量=销量） 拟造数据集X,Y_： y_ = x
阅读全文
摘要：1.神经网络复杂度（空间复杂度+时间复杂度） 空间复杂度 空间复杂度用神经网络层数和神经网络中待优化参数的个数表示 我们计算神经网络层数时，只统计具有运算能力的层，输入层仅把数据传输过来，没有运算，所以在统计神经网络层数时，不把输入层算进来 输入层和输出层之间都是隐藏层 时间复杂度 时间复杂度可以用
阅读全文
摘要：GRU 由 Cho 等人于 2014 年提出，优化 LSTM 结构。 Kyunghyun Cho,Bart vanMerrienboer,Caglar Gulcehre,Dzmitry Bahdanau,Fethi Bougares,HolgerSchwenk,Yoshua Bengio.Learn
阅读全文
摘要：1.Tensoflow2描述LSTM层 2.代码实现 #! /usr/bin/env python # -*- coding:utf-8 -*- # __author__ = "yanjungan" import numpy as np import tensorflow as tf from te
阅读全文
摘要：1.原始RNN的问题 RNN 面临的较大问题是无法解决长跨度依赖问题，即后面节点相对于跨度很大的前面时间节点的信息感知能力太弱 。 如 图 2.1.1( 图 片 来 源 :https://www.jianshu.com/p/9dc9f41f0b29)中的两句话：左上角的句子中 sky 可以由较短跨度
阅读全文
摘要：1.数据源 SH600519.csv 是用 tushare 模块下载的 SH600519 贵州茅台的日 k 线数据，本次例子中只用它的 C 列数据(如图 1.2.26 所示)： 用连续 60 天的开盘价，预测第 61 天的开盘价。这个 excel 表格是使用源码 p37_tushare.py(如图
阅读全文
摘要：1.用 Embedding 编码的方式实现4pre1 这次将词汇量扩充到 26 个(即字母从 a 到 z)。如图 1.2.22 所示，首先建立一个映射表，把字母用数字表示为 0 到 25；然后建立两个空列表，一个用于存放训练用的输入特征 x_train，另一个用于存放训练用的标签 y_train；接
阅读全文
摘要：1.tf.where() import tensorflow as tf a = tf.constant([1,2,3,1,1]) b = tf.constant([0,1,3,4,5]) c = tf.where(tf.greater(a,b), a, b) # 若a>b,返回a对应位置的元素，否
阅读全文
摘要：1.Embedding -- 一种编码方法 为什么使用Embedding? 独热码：独热码的位宽要与词汇量一致，如果词汇量增大时，非常浪费资源。数据量大、 过于稀疏，映射之间是独立的，没有表现出关联性 。 Embedding：是一种单词编码方法，用低维向量实现了编码。 这种编码通过神经网络训练优化，
阅读全文
摘要：import tensorflow as tf import os from sklearn import datasets import numpy as np # 加载数据集 """ 其中测试集的输入特征 x_test 和标签 y_test 可以像 x_train 和 y_train 一样直接从
阅读全文
摘要：1.tf.keras 搭建神经网络六部法第一步： import 相关模块，如 import tensorflow as tf。第二步： 指定输入网络的训练集和测试集，如指定训练集的输入 x_train 和标签y_train，测试集的输入 x_test 和标签 y_test。第三步： 逐层搭建网络结构
阅读全文
摘要：4pre1 #! /usr/bin/env python # -*- coding:utf-8 -*- # __author__ = "y00475869" import numpy as np import tensorflow as tf from tensorflow.keras.layers
阅读全文
摘要：RNN 最典型的应用就是利用历史数据预测下一时刻将发生什么，即根据以前见过的历史规律做预测 例子： 计算机不认识字母，只能处理数字。所以需要我们对字母进行编码。这里假设使用独热编码（实际中可使用其他编码方式），编码结果如图1.2.7所示。 词向量空间： 假设使用一层 RNN 网络，记忆体的个数选取
阅读全文
摘要：1.卷积神经网络与循环神经网络简单对比 CNN: 借助卷积核（kernel）提取特征后，送入后续网络(如全连接网络 Dense)进行分类、目标检测等操作。 CNN 借助卷积核从空间维度提取信息，卷积核参数空间共享。 RNN: 借助循环核（cell）提取特征后， 送入后续网络(如全连接网络 Dense
阅读全文
摘要：1.池化 池化的作用就是减少特征数量（降维）。最大值池化可提取图片纹理，均值池化可保留背景特征。 池化层可以非常有效地缩小矩阵的尺寸，从而减少最后全连接层中的参数。使用池化层既可以加快计算速度也有防止过拟合问题的作用 2.舍弃（dropout） 在神经网络的训练过程中， 将一部分神经元按照一定概率从
阅读全文
摘要：1.什么是标准化？ 标准化：使数据符合 0 均值，1 为标准差的分布。 神经网络对0附近的数据更敏感，但是随着网络层数的增加，特征数据会出现偏离0均值的情况，标准化能够使数据符合0均值，1为标准差的分布，把偏移的特征数据重新拉回到0附近 Batch Normalization(批标准化)：对一小批数
阅读全文
摘要：1.输出特征尺寸计算 在了解神经网络中卷积计算的整个过程后，就可以对输出特征图的尺寸进行计算，如图 5-8 所示，5×5 的图像经过 3×3 大小的卷积核做卷积计算后输出特征尺寸为 3×3。 2.全零填充（padding） 为了保持输出图像尺寸与输入图像一致，经常会在输入图像周围进行全零填充，如图
阅读全文
摘要：1.什么是感受野？ 卷积神经网络各输出层每个像素点在原始图像上的映射区域大小 下图是感受野示意图 如果对这个5x5的原始输入图片，用黄色的3x3卷积核作用，会输出一个3x3的输出特征图，这个输出特征图上的每个像素点映射到原始的图片是3x3的区域，所以它（输出特征图）的感受野是3，如果再对这个3x3的
阅读全文
摘要：1. 利用 tf.cast (张量名，dtype=数据类型)强制将 Tensor 转换为该数据类型； 利用tf.reduce_min (张量名)计算张量维度上元素的最小值； 利用tf.reduce_max (张量名)计算张量维度上元素的最大值。 举例如下： 2.维度的定义 由上图可知对于一个二维张量
阅读全文
摘要：1.基本概念 TensorFlow 中的 Tensor 表示张量，是多维数组、多维列表，用阶表示张量的维数。 0 阶张量叫做标量，表示的是一个单独的数，如 123； 1 阶张量叫作向量，表示的是一个一维数组，如[1,2,3]； 2 阶张量叫作矩阵，表示的是一个二维数组，它可以有 i 行 j 列个元素
阅读全文
摘要：1.背景： 输出 y 中，1.01 代表 0 类鸢尾得分，2.01 代表 1 类鸢尾得分，-0.66 代表 2 类鸢尾得分。通过输出 y 可以看出数值最大(可能性最高)的是 1 类鸢尾，而不是标签 0 类鸢尾。这是由于最初的参数 w 和b 是随机产生的，现在输出的结果是蒙的 为了修正这一结果，我们用
阅读全文
摘要：centos软件安装相关的命令： （1）rpm rpm -ivh <包名.rpm>，-i 相当于--install，-vh表示查看安装过程（不会自动安装依赖，一般会失败） rpm -qa 列出安装的所有包 rpm -e <包名> 删除指定的包（一般不会卸载成功，因为不会自动删除依赖） （2）yum
阅读全文
摘要：1.下载并按照anaconda 有图，安装时添加至全局变量 2.按照tensorflow2.1 新建一个名叫TF2.1的环境，用python3.7版本 conda create -n TF2.1 python=3.7
阅读全文
摘要：1.ResNet的借鉴点 层间残差跳连，引入前方信息，减少梯度消失，使神经网络层数变深成为可能。 2.介绍 ResNet 即深度残差网络，由何恺明及其团队提出，是深度学习领域又一具有开创性的工作，通过对残差结构的运用， ResNet 使得训练数百层的网络成为了可能，从而具有非常强大的表征能力，其网络
阅读全文
摘要：1.梯度消失 根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话，那么即使这个结果是0.99，在经过足够多层传播之后，误差对输入层的偏导会趋于0。 这种情况会导致靠近输入层的隐含层神经元调整极小。 2.梯度膨胀 根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都
阅读全文
摘要：1.高方差和高偏差 偏差： 描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据集。 方差： 描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，预测结果数据的分布越散。 理解偏差和方差（bias/variance）的两个关键数据是训练集误差（train se
阅读全文
摘要：一、conv1d 在NLP领域，甚至图像处理的时候，我们可能会用到一维卷积（conv1d）。所谓的一维卷积可以看作是二维卷积（conv2d）的简化，二维卷积是将一个特征图在width和height两个方向上进行滑窗操作，对应位置进行相乘并求和；而一维卷积则是只在width或者说height方向上进行
阅读全文
摘要：1.测试tensorboard # tensorflow2.1.0+win10 import tensorflow.compat.v1 as tf tf.disable_v2_behavior() import numpy as np with tf.name_scope(name='filed')
阅读全文
摘要：1.卷积的认识 已有的运算：加减乘除，幂运算指数运算 卷积：卷积是一种运算 2.卷积运算 卷积操作是使用一个二维卷积核（3x3）在一个批处理的图片上不断扫描，具体操作就是将一个卷积核在每张图片上按照一个合适的尺寸在每个通道上面进行扫描 3.使用卷积的目的 卷积核，小卷积（3x3，5x5）本质当成系数
阅读全文
摘要：1.Tensorflow写代码流程 （1）定义变量占位符 （2）根据数学原理写方程 （3）定义损失函数cost （4）定义优化梯度下降（GradientDescentOptimizer） （5）Session训练，for循环 （6）保存Saver 2.反向传播(权重更新) 通俗理解： 几个人站成一排
阅读全文
该文被密码保护。
该文被密码保护。
