09 2020 档案
摘要：200927_深度学习 4、Where does the error come from（偏差和方差） 一、总结 一句话总结： error due to "bias"（偏差） and error due to "variance"（方差） 1、简单函数（比如1次）和复杂函数（比如5次）得到的vari
阅读全文
摘要：200927_深度学习 1-3、Meta Learning（杂） 一、总结 一句话总结： Meta Learning=Learn to learn，从其它数据集上获取先验数据，以便用少量数据（实际情况很多都是这样）可以得到很好效果 1、discriminator可以做生成么？ discriminat
阅读全文
摘要：为什么Regularization可以解决过拟合 一、总结 一句话总结： Regularization是把参数w加到loss里面去，而y=wx+b，参数越小，y越平滑 也就是y对x越不敏感，自然可以解决x本身噪声带来的影响（也就是去除特别数据带来的影响），也就自然越接近真实模型 1、正则化loss算
阅读全文
摘要：持续学习 (continual learning/ life-long learning)略讲 一、总结 一句话总结： 可塑性：如何能把之前任务的经验用上，使得更快更好的学习当前任务； 稳定性：学习当前任务时，不会忘记之前已经学会的任务。 用更专业的术语来讲就是可塑性（学习新知识的能力）和稳定性（旧
阅读全文
摘要：什么是meta-learning 一、总结 一句话总结： 虽然我要做的这个数据集数据很少，但是我有很多其它数据很多的数据集呀。如果模型可以先在其它数据比较多的数据集上学到这些有关“该如何学习新的知识”的先验知识，由此让模型先学会“如何快速学习一个新的知识”，岂不美哉 1、传统的机器学习是在干嘛？ 有
阅读全文
摘要：李宏毅-Network Compression课程笔记 一、总结 一句话总结： 就是网络压缩，把大的网络结构压缩成小的网络结构，便于资源少的设备使用 1、为什么要做迁移学习？ 迁移到手机、机器人、手表等Resource-limited的一些设备 1、limited memory space 内存空间
阅读全文
摘要：修改一个像素，让神经网络识别图像出错 一、总结 一句话总结： 微小扰动非常敏感：最近研究表明，DNN 的输出并不是连续的，它对输入向量上的微小扰动也非常敏感，并且我们已经依据若干种方法对神经网络造成有效扰动。 差分进化（differential evolution）：在本论文中，我们基于差分进化（d
阅读全文
摘要：对抗攻击领域综述（adversarial attack） 一、总结 一句话总结： 对抗攻击英文为adversarial attack。即对输入样本故意添加一些人无法察觉的细微的干扰，导致模型以高置信度给出一个错误的输出。 1、对抗攻击的意义？ 我们不知道神经网络提取到的特征点：深度神经网络对输入图片
阅读全文
摘要：Explainable AI旨在提高机器学习模型的可解释性 一、总结 一句话总结： 可解释性：Explainable AI旨在提高机器学习模型的可解释性。 不通俗易懂：它不会以通俗易懂的方式来解释事物，但是该分析对于首先构建机器学习模型的数据科学家和开发人员仍然有用。 解释基于模型性质和训练数据：可
阅读全文
摘要：TensorFlow与PyTorch比较 一、总结 一句话总结： 谷歌的 Tensorflow（2015） 与 Facebook 的 PyTorch（2017），都是开源的 PyTorch 和 TensorFlow 的关键差异是它们执行代码的方式。这两个框架都基于基础数据类型张量（tensor）而工
阅读全文
摘要：强化学习 基础 一、总结 一句话总结： 我们选择了动作At后，环境的状态(State)会变，我们会发现环境状态已经变为St+1,同时我们得到了我们采取动作At的延时奖励(Reward)Rt+1。 然后个体可以继续选择下一个合适的动作，然后环境的状态又会变，又有新的奖励值。。。这就是强化学习的思路。
阅读全文
摘要：机器学习 vae是什么（简介） 一、总结 一句话总结： VAE 模型是一种有趣的生成模型，与GAN相比，VAE 有更加完备的数学理论（引入了隐变量），理论推导更加显性，训练相对来说更加容易。 VAE(Variational Autoencoder) 全名叫 变分自编码器，是从之前的 auto-enc
阅读全文
摘要：200927_深度学习 1、生成对抗网络笔记训练过程 一、总结 一句话总结： 固定对抗网络的时候调生成网络：调生成网络参数（前几层），使最后的生成值尽量大 固定生成网络的时候调对抗网络：调对抗网络参数（后几层），使最后的生成值尽量小 1、生成对抗网络 结构？ 比如10层，前5层是生成网络，后5层是对
阅读全文
摘要：Tensorflow2（预课程） 11.3.2、（a）循环神经网络实现股票预测（GRU） 一、总结 一句话总结： 这个应用不看准确率（这里不是分类问题），看loss就好了，loss低的话，预测自然准 # 构建容器 model = tf.keras.Sequential() # 输入层 model.a
阅读全文
摘要：UnkownError:Fail to find the dnn implementation. 解决方案 一、总结 一句话总结： 这意思是cudnn分配不出更多的运算资源了 二、UnkownError:Fail to find the dnn implementation. 解决方案及附加问题 转
阅读全文
摘要：tensorflow2训练报数据输入错误Failed to find data adapter 一、总结 一句话总结： 问题原因：是没有将数据（y_train、y_test）转为numpy 二、tensorflow2.0训练报数据输入错误Failed to find data adapter 转自或
阅读全文
摘要：Python库-re(正则表达式) 一、总结 一句话总结： 壹、lottery_per_data=re.findall(r'<td.*?>(.*?)</td>',lottery_per[0],re.S) 贰、lottery_per=re.findall(r'<tr class="t_tr1">(.*
阅读全文
摘要：Python正则表达式指南 一、总结 一句话总结： ①、lottery_per_data=re.findall(r'<td.*?>(.*?)</td>',lottery_per[0],re.S) ②、r'<td.*?>(.*?)</td>' 匹配所有td带各种属性的情况，注意td.*? 这个最后的的
阅读全文
摘要：python字符串前面加上'r'的作用 一、总结 一句话总结： 'r'是防止字符转义的 如果路径中出现'\t'的话 不加r的话\t就会被转义 而加了'r'之后'\t'就能保留原有的样子 二、python字符串前面加上'r'的作用 转自或参考：python字符串前面加上'r'的作用https://ww
阅读全文
摘要：MinMaxScaler 一、总结 一句话总结： MinMaxScaler是min、max归一化，使用的话先fit，然后再transform归一化操作，也可以合并为fit_transform >>> from sklearn.preprocessing import MinMaxScaler >>>
阅读全文
摘要：Python正则表多行匹配 一、总结 一句话总结： 加个标志参数：re.DOTALL：data['a']=re.findall(r'<h1 class = "postTitle">(.*?)</h1>',response.text,re.re.DOTALL) 加个标志参数：re.S：data['a'
阅读全文
摘要：Tensorflow2（预课程） 11.3、循环神经网络实现股票预测（GRU） 一、总结 一句话总结： 将SimpleRNN层换成GRU层即可，其它一样，非常简单 # 测试集变array并reshape为符合RNN输入要求：[送入样本数， 循环核时间展开步数， 每个时间步输入特征个数] x_test
阅读全文
摘要：Tensorflow2（预课程） 11.2、循环神经网络实现股票预测（LSTM） 一、总结 一句话总结： 将SimpleRNN层换成LSTM层即可，非常简单 # 测试集变array并reshape为符合RNN输入要求：[送入样本数， 循环核时间展开步数， 每个时间步输入特征个数] x_test, y
阅读全文
摘要：Tensorflow2（预课程） 11.1、循环神经网络实现股票预测 一、总结 一句话总结： 用了两个SimpleRNN，后面接Dropout，最后是一个dense层输出结果 model = tf.keras.Sequential([ SimpleRNN(80, return_sequences=T
阅读全文
摘要：Word embedding 一、总结 一句话总结： a)、单词对应数字，数字对应编码的向量 b)、这里是用二维来表示，实际情况语言表达能力比较丰富，可以用100维、1000维来表示 c)、keras中，直接layer.Embedding(10,4)表示调用Embedding来编码，10表示10个单
阅读全文
摘要：自然语言处理词向量模型-word2vec 一、总结 一句话总结： “词向量模型是考虑词语位置关系的一种模型。通过大量语料的训练，将每一个词语映射到高维度（几千、几万维以上）的向量当中，通过求余弦的方式，可以判断两个词语之间的关系。” 这个高维的向量就是词向量，现在常用word2vec构成词向量模型。
阅读全文
摘要：词袋模型 一、总结 一句话总结： Bag of words model假定对于一个文本，忽略其词序和语法，句法，将其仅仅看做是一个词集合，或者说是词的一个组合，文本中每个词的出现都是独立的，不依赖于其他词 是否出现 二、词袋模型 转自或参考： 最初的Bag of words，也叫做“词袋”，在信息检
阅读全文
摘要：深度学习中Embedding的理解 一、总结 一句话总结： Embedding就是把高维的one-hot进行降维的过程。 1、Embedding的概念引入？ 1)、一维列表也不行，二维稀疏矩阵也不行，怎么办呢？这里就引入了Embedding的概念，由密集向量表示，实现降维！ 2)、“并不是每个单词都
阅读全文
摘要：Tensorflow2（预课程） 9.2、循环神经网络实现输入一个字母，预测下一个字母（embedding） 一、总结 一句话总结： 加上Embedding层即可，数据的输入维度变一下 print(x_train) print(y_train) [[0] [3] [2] [1] [4]] [1 4
阅读全文
摘要：Tensorflow2（预课程） 10.1、循环神经网络实现4个字母预测1个字母 一、总结 一句话总结： 网络还是一样的网络，输入数据变了而已：model = tf.keras.Sequential([SimpleRNN(3),Dense(5, activation='softmax')]) pri
阅读全文
摘要：SimpleRNNCell详解 一、总结 一句话总结： units: 正整数，输出空间的维度,即隐藏层神经元数量. recurrent_dropout: 隐藏层之间的dropout. class SimpleRNNCell(Layer): """Cell class for SimpleRNN. #
阅读全文
摘要：Tensorflow2（预课程） 9.1、循环神经网络实现输入一个字母，预测下一个字母 一、总结 一句话总结： model = tf.keras.Sequential([SimpleRNN(3),Dense(5, activation='softmax')]) 二、循环神经网络实现输入一个字母，预测
阅读全文
摘要：循环神经网络总结 一、总结 一句话总结： yt=softmax(htwhy+by)
$$h _ { t } = \tanh ( x _ { t } w _ { x h } + h _ { t -
阅读全文
摘要：200813_tensorflow2 6、LSTM的用途（杂） 一、总结 一句话总结： 长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的
阅读全文
摘要：CNN网络架构演进：从LeNet到DenseNet 一、总结 一句话总结： 这篇文章有LeNet、AlexNet、VGG、GoogleNet、ResNet、DenseNet对应的keras的代码 1、LeNet？ (①)、LeNet是卷积神经网络的祖师爷LeCun在1998年提出，用于解决手写数字识
阅读全文
摘要：Dropout VS Batch Normalization 一、总结 一句话总结： (1)、总体来说，BN在准确率和损失率上表现要优于Dropout，比如准确率上BN能达到85%，而Dropout接近为79%。 (2)、Dropout是过去几年非常流行的正则化技术，可有效防止过拟合的发生。但从深度
阅读全文
摘要：Batch Normalization 一、总结 一句话总结： (I)、BN的作用就是将这些输入值进行标准化，降低scale的差异至同一个范围内。 (II)、这样做的好处在于一方面提高梯度的收敛程度，加快训练速度； (III)、另一方面使得每一层可以尽量面对同一特征分布的输入值，减少了变化带来的不确
阅读全文
摘要：权重初始化的选择 一、总结 一句话总结： ①)、随机分布权重：均匀分布：从结果可知，若我们的输入是10000个特征点，那么a= ∑10000wixi + b，且|a|>1的概率很大（结果为16.111116）。可想而知，不采用激活函数或relu函数，则有梯度爆炸的可能性；若采用sigmoid激活函数
阅读全文
摘要：机器学习中线性模型和非线性的区别 一、总结 一句话总结： 1)、线性和非线性的区别是是否可以用直线将样本划分开(这个观点是对的) 2)、线性模型可以是用曲线拟合样本，但是分类的决策边界一定是直线的，例如logistics模型 3)、区分是否为线性模型，主要是看一个乘法式子中自变量x前的系数w,如果w
阅读全文
摘要：神经网络激励函数的作用是什么 一、总结 一句话总结： sigmoid激活函数可以引入非线性因素，让模型学习到一个分类平面，得到一个非线性的决策边界，如下图 二、机器学习中线性函数与非线性函数的区别 转自或参考：机器学习中线性函数与非线性函数的区别http://blog.csdn.net/WONITA
阅读全文
摘要：深度学习中，交叉熵损失函数为什么优于均方差损失函数 一、总结 一句话总结： A)、原因在于交叉熵函数配合输出层的激活函数如sigmoid或softmax函数能更快地加速深度学习的训练速度 B)、因为反向传播过程中交叉熵损失函数得到的结果更加简洁，无论sigmoid或softmax，可以定量分析。 1
阅读全文
摘要：偏差和方差 一、总结 一句话总结： 偏差（bias）：偏差衡量了模型的预测值与实际值之间的偏离关系。 方差（variance）：方差描述的是训练数据在不同迭代阶段的训练模型中，预测值的变化波动情况（或称之为离散情况）。 1、偏差和方差对应的实际情况实例？ [一]、低偏差，低方差：这是训练的理想模型，
阅读全文
摘要：Keras中图像增强技术详解 一、总结 一句话总结： 在Keras中使用图像增强技术，对图片可以进行各种操作，以生成数倍于原图片的增强图片集。这些数据集可帮助我们有效地对抗过拟合问题，更好地生成理想的模型。 1、数据量少带来的最直接影响就是过拟合。那有没有办法在现有少量数据基础上，降低或解决过拟合问
阅读全文
摘要：Tensorflow2（预课程） 7.6、cifar10分类-层方式-卷积神经网络-Inception10 一、总结 一句话总结： InceptionNet：一层内使用不同尺寸卷积核，提升感知力使用批标准化，缓解梯度消失 InceptionNet：1、1*1卷积；2、3*3卷积+1*1卷积；3、5*
阅读全文
摘要：什么是线性变换和非线性变换 一、总结 一句话总结： [①]、从数值意义上，变换即函数，线性变换就是一阶导数为常数的函数，譬如y=kx，把y=kx拓展为n维空间的映射，x、y看做n维向量，当k为常数时，易得满足同质性f(ka)=kf(a)，当k为一个矩阵时，易得满足可加性f(a+b)=f(a)+f(b
阅读全文
摘要：CIFAR-10图片分类准确率网站 一、总结 一句话总结： https://paperswithcode.com/sota/image-classification-on-cifar-10 二、CIFAR-10图片分类准确率网站 博客对应课程的视频位置：
阅读全文
摘要：Tensorflow2（预课程） 7.7、cifar10分类-层方式-卷积神经网络-ResNet18 一、总结 一句话总结： 可以看到ResNet18得到的结果比较稳定，测试集准确率在81左右，感觉batchsize好像对准确率有影响 # 构建容器 model = tf.keras.Sequenti
阅读全文
摘要：深入理解Batch Normalization批标准化 一、总结 一句话总结： BN就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布 1、为什么bn操作可以解决过拟合（实例分析）？ A、假设没有经过BN调整前x的原先正态分布均值是-6，方差是
阅读全文
摘要：Global Average Pooling是否可以替代全连接层 一、总结 一句话总结： (A)、Global Average Pooling(简称GAP，全局池化层)技术被认为是可以替代全连接层的一种新技术。 (B)、在keras发布的经典模型中，可以看到不少模型甚至抛弃了全连接层，转而使用GAP
阅读全文
摘要：残差网络ResNet笔记 一、总结 一句话总结： ResNet核心是解决了增加深度带来的副作用（退化问题），这样能够通过单纯地增加网络深度，来提高网络性能。 1、网络的深度为什么重要？ 因为CNN能够提取low/mid/high-level的特征，网络的层数越多，意味着能够提取到不同level的特征
阅读全文
摘要：python疑难问题 9、Python类中call函数的作用 一、总结 一句话总结： call函数可以把类变成函数来调用 class Demo(): def __init__(self, name): self.name = name def __call__(self): print(self.n
阅读全文
摘要：Python类call函数的作用 一、总结 一句话总结： call函数可以把类变成函数来调用 class Demo(): def __init__(self, name): self.name = name def __call__(self): print(self.name) Demo('大虫子
阅读全文
摘要：Keras kernel_initializer 一、总结 一句话总结： (1)、keras不同的层可能使用不同的关键字来传递初始化方法，一般来说指定初始化方法的关键字是kernel_initializer 和 bias_initializer (2)、model.add(Conv2D(64,(3,
阅读全文
摘要：model.fit中的callbacks是做什么的 一、总结 一句话总结： keras的callback参数可以帮助我们实现在训练过程中的适当时机被调用。实现实时保存训练模型以及训练参数。 二、keras深度训练1:fit和callback 转自或参考：keras深度训练1:fit和callback
阅读全文
摘要：Tensorflow2（预课程） 7.5、cifar10分类-层方式-卷积神经网络-VGG16 一、总结 一句话总结： 可以看到，cifar10用vgg16分类，测试集准确率有86.50 # 构建容器 model = tf.keras.Sequential() # 卷积层：CBA model.add
阅读全文
摘要：卷积神经网络之AlexNet 一、总结 一句话总结： AlexNet8是5层卷积，外加三层全连接层，非常好理解，参数也很好算 class AlexNet: @staticmethod def build(width,height,depth,classes,reg=0.0002): model =
阅读全文
摘要：Tensorflow2（预课程） 7.4、cifar10分类-层方式-卷积神经网络-AlexNet8 一、总结 一句话总结： cifar10用AlexNet训练一下，测试集成功率有74 # 构建容器 model = tf.keras.Sequential() # 卷积层 一 model.add(tf
阅读全文
摘要：Tensorflow2（预课程） 5.3.2、手写数字识别-层方式-卷积神经网络-LeNet-5稍改 一、总结 一句话总结： 对LeNet稍微改变，改变激活函数为Relu，加上dropout层，50epoch测试集准确率有99.4+，多训练，准确率会更高 # 用到卷积神经网络的时候，需要把训练和测试
阅读全文
摘要：Tensorflow2（预课程） 5.3、手写数字识别-层方式-卷积神经网络-LeNet 一、总结 一句话总结： LeNet本来就是做手写识别的，所以用来做手写数字识别，测试集准确率有99.25 # 用到卷积神经网络的时候，需要把训练和测试的x的颜色通道数指出来 train_x = tf.resha
阅读全文
摘要：LeNet-5详解 一、总结 一句话总结： (①)、LeNet是卷积神经网络的祖师爷LeCun在1998年提出，用于解决手写数字识别的视觉任务。自那时起，CNN的最基本的架构就定下来了：卷积层、池化层、全连接层。 (②)、LeNet-5跟现有的conv->pool->ReLU的套路不同，它使用的方式
阅读全文
摘要：卷积神经网络-LeNet 一、总结 一句话总结： (1)、LeNet-5的结构是卷积层、降采样层、卷积层、降采样层、全连接层。 (2)、对应的结构就是卷积层、池化层、卷积层、池化层、全连接层。 1、LeNet-5的前四层详细结构分析？ 第一层（卷积convolutions）：从32*32到6@28*
阅读全文
摘要：LeNet结构详细分析 一、总结 一句话总结： 第一层（卷积）：从32*32到6@28*28的卷积，需要的可以是6个5*5的卷积核，步长是1，1+32-5=28 第二层（下采样）：从6@28*28到6@14*14的Subsampling（下采样、池化），需要的是2*2的池化核，步长是2 第三层（卷积
阅读全文
摘要：降采样层和池化层的关系 一、总结 一句话总结： 池化层可以理解为下采样层（降采样层），就是一个东西，两个名字而已。 1、池化层作用？ ①、降维，减少网络要学习的参数数量。 ②、防止过拟合。 ③、可以扩大感知野。 ④、可以实现不变性:平移不变性,旋转不变性,尺度不变性。 二、下采样层和池化层的关系及其
阅读全文
摘要：Tensorflow2（预课程） 7.3、cifar10分类-层方式-卷积神经网络-简化LeNet 一、总结 一句话总结： 全连接层前面是两个卷积层，第一个是6@5*5，第二个是16@5*5，激活函数是sigmoid，没有批标准化，没有dropout # 构建容器 model = tf.keras.
阅读全文
摘要：Tensorflow2（预课程） 5.2、手写数字识别-层方式-卷积神经网络 一、总结 一句话总结： 一、用到卷积神经网络的时候，需要把训练和测试的x的颜色通道数指出来 二、train_x = tf.reshape(train_x,[-1,28,28,1]) 三、test_x = tf.reshap
阅读全文
摘要：Keras深度学习之卷积神经网络（CNN） 一、总结 一句话总结： 卷积就是特征提取，后面可接全连接层来分析这些特征 二、Keras深度学习之卷积神经网络（CNN） 转自或参考：Keras深度学习之卷积神经网络（CNN）https://www.cnblogs.com/wj-1314/articles
阅读全文
摘要：keras中添加正则化 一、总结 一句话总结： model.add(Dense(64, input_dim=64,kernel_regularizer=regularizers.l2(0.01)) 1、keras正则化几个关键字？ kernel_regularizer：施加在权重上的正则项，为ker
阅读全文
摘要：TensorFlow优化模型之正则化 一、总结 一句话总结： 一)、正则化：是一种常用的为了避免过度拟合而采用的一种算法。正则化的主要思想是通过在损失函数中加入刻画模型复杂程度的指标， 二)、无论是L1正则化还是L2正则化，两者的目的都是通过限制权重的大小，来使得模型不能任意的拟合训练数据中的随机噪
阅读全文
摘要：Tensorflow2（预课程） 7.2、cifar10分类-层方式-卷积神经网络 一、总结 一句话总结： 卷积层构建非常简单，就是CBAPD，注意卷积层接全连接层的时候注意flatten打平 # 构建容器 model = tf.keras.Sequential() # 卷积层 model.add(
阅读全文
摘要：过拟合及常见处理办法整理（总结） 一、总结 一句话总结： I、参数过多：减少层数，减少每层节点个数 II、样本过少：增加样本（获取更多样本，在已有样本上操作来增加样本） III、正则化（regularization）：限制权值 Weight-decay：当网络权值较小时，神经元的激活函数工作在线性区
阅读全文
摘要：200813_tensorflow2 9、卷积神经网络就是CBAPD（杂） 一、总结 一句话总结： 卷积就是特征提取器，就是C（卷积层）B（批标准化层）A（激活层）P（池化层）D（dropout层） model=tf.keras.models.Sequential([ Conv2D(filters=
阅读全文
摘要：200813_tensorflow2 8、keras中常用的layer层（杂） 一、总结 一句话总结： 拉直层：tf.keras.layers.Flatten（） 全连接层：tf.keras.layers.Dense（神经元个数，activation=“激活函数“，kernel_regularize
阅读全文
摘要：Tensorflow2（预课程） 8.1、cifar100分类-层方式 一、总结 一句话总结： 全连接神经网络做cifar100分类不行，简单测试一下，准确率才20%，需要换别的神经网络 二、cifar100分类-层方式 博客对应课程的视频位置： 步骤 1、读取数据集 2、拆分数据集（拆分成训练数据
阅读全文
摘要：Tensorflow2（预课程） 7.1、cifar10分类-层方式 一、总结 一句话总结： 可以看到，用全连接层神经网络来对cifar10分类的时候，准确率只有50%左右，可以用卷积神经网络，准确率应该高很多 1、rgb3通道图片处理？ 也是一样打平：model.add(tf.keras.laye
阅读全文
摘要：Tensorflow2（预课程） 6.1、fashion minist（服装分类）识别-层方式 一、总结 一句话总结： fashion minist数据集和minist数据集非常像，所以模型也可以直接用minist的，训练的效果还不错 二、fashion minist（服装分类）识别-层方式 博客对
阅读全文
摘要：Fashion MNIST数据集介绍 一、总结 一句话总结： 甲)、Fashion-MNIST和mnist数据集非常相似，都是60000训练10000测试，图片也都是28*28 乙)、不过mnist是手写数字0-9分类，Fashion MNIST是服装的分类（T恤、衣服、裤子、鞋子等） 二、Fash
阅读全文
摘要：categorical_crossentropy和binary_crossentropy的区别 一、总结 一句话总结： A)、见名知意即可，其实从名字上也可以看出来binary=二元，不可以用于多分类任务， B)、简单地说，binary_crossentropy经常搭配sigmoid分类函数，cat
阅读全文
摘要：Tensorflow2（预课程） 5.1、手写数字识别-层方式 一、总结 一句话总结： 1、记得归一化：train_x = train_x/255 2、one_hot编码之后，损失函数是：categorical_crossentropy 3、输入数据记得打平：model.add(tf.keras.l
阅读全文
摘要：Tensorflow2（预课程） 4.1、逻辑回归实例-层方式 一、总结 一句话总结： 可以看到，相比于mse损失函数，cross entropy函数无论是收敛速度，还是最后的测试集的准确率都更加优秀 # 构建容器 model = tf.keras.Sequential() # 输出层 model.
阅读全文
摘要：交叉熵损失函数（作用及公式推导） 一、总结 一句话总结： C=−1n∑x[ylna+(1−y)ln(1−a)]
1、平方差损失函数的不足？ 使用平方差损失函数训练ANN，看到的实际效果是，如果误差
阅读全文
摘要：交叉熵损失函数小结 一、总结 一句话总结： 交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。 1、交叉熵损失函数和平方差损失函数的区别？ [①]、平方差所惩罚的是与损失为同一数量级的情形 [②]、分类问题用交叉熵损失函数，因为分类问题是概率：对于分
阅读全文
摘要：pandas的随机打乱数据集sample函数 一、总结 一句话总结： [甲]、设置frac=0.5表示随机抽取50%的数据 [乙]、df=df.sample(frac=1.0) #打乱所有数据 二、pandas：sample函数解释 转自或参考：pandas：sample函数解释http://blo
阅读全文
摘要：pandas库疑难问题 1、pandas打乱数据集 一、总结 一句话总结： pandas可以用sample方法返回random sample，可以用reset_index方法reset打乱之后的index df=df.sample(frac=1.0) #打乱所有数据 df=df.reset_inde
阅读全文
摘要：如何将tensor大于某个值为1，小于某个值为0 一、总结 一句话总结： 可用tf.where方法，tf.where(pridict_y>0.5,x=1,y=0)表示大于0.5取1，否则取 二、如何将tensor大于某个值为1，小于某个值为0 转自或参考：如何将tensor大于某个值为1，小于某个值
阅读全文
摘要：Tensorflow2疑难问题 3、大于某个值为1，小于某个值为0 一、总结 一句话总结： 可用tf.where方法，tf.where(pridict_y>0.5,x=1,y=0)表示大于0.5取1，否则取0 二、大于某个值为1，小于某个值为0 博客对应课程的视频位置：3、大于某个值为1，小于某个值
阅读全文
摘要：Tensorflow2（预课程） 3.1、Iris分类-层方式 一、总结 一句话总结： 我们可以很清楚的发现，输入是4维，输出是1维，并且输出是分类问题，分3类（one_hot编码后），所以对应模型可以弄成4->n->3 # 构建容器 model = tf.keras.Sequential() #
阅读全文
摘要：Jupyter notebook Tensorflow GPU Memory 释放 一、总结 一句话总结： Jupyter notebook 每次运行完tensorflow的程序，占着显存不释放。而又因为tensorflow是默认申请可使用的全部显存，就会使得后续程序难以运行。 二、Jupyter
阅读全文
摘要：Internal Error： Blas GEMM launch failed 问题 一、总结 一句话总结： (1)、此错误主要是由于程序运行时GPU的空间不足而引起的。 (2)、出现显存不足的主要问题是Tensorflow默认申请可使用的全部显存，当tensorflow程序运行会话却没有关闭会话释
阅读全文
摘要：梅岭三章-陈毅 一、总结 一句话总结： 多少人在没有希望的情况下，仍坚持，仍奋力前行 1、断头今日意如何？创业艰难百战多。此去泉台招旧部 ，旌旗十万斩阎罗。？ 今即将兵败身死我该写些什么？身经百战才创立了这番革命事业，多么的不易啊！这次我要到阴间去召集已经牺牲过的同志。带领十万英灵击败国民党反动派！
阅读全文
摘要：pandas打乱数据集 一、总结 一句话总结： pandas可以用sample方法返回random sample，可以用reset_index方法reset打乱之后的index df=df.sample(frac=1.0) #打乱所有数据 df=df.reset_index(drop=True) #
阅读全文
摘要：Tensorflow2（预课程） 2.1、多层感知器-层方式 一、总结 一句话总结： 分好步骤写神经网络的确是一件非常简单的事情 1、读取数据集 2、拆分数据集（拆分成训练数据集和测试数据集） 3、构建模型 4、训练模型 5、检验模型 6、模型可视化 1、pandas读取数据方法？ 直接iloc方法
阅读全文
摘要：pandas.Series转numpy的n维数组 一、总结 一句话总结： 可以直接用np的array方法 二、pandas.Series转numpy的n维数组 博客对应课程的视频位置： print(test_y) 171 14.5 172 7.6 173 11.7 174 11.5 175 27.0
阅读全文
摘要：numpy将多维数组降维成一维 一、总结 一句话总结： 可以用reshape方法，但是感觉flatten方法更好 pridict_y [[14.394563 ] [ 4.5585423] [10.817445 ] [12.291978 ] [26.076233 ] [20.033213 ] [11.
阅读全文
摘要：legend3 解决bootstrap栅格系统自动图片高度不齐问题 一、总结 一句话总结： 根据不同的屏幕宽度，放到不同的div盒子里面即可，和bootstrap栅格系统保持一致 <div id="lesson_img_group_1" class="clearfix lesson_img_grou
阅读全文
