一抹烟霞 - 博客园

2020年5月12日

摘要：分离路径和文件名: os.path.split() 区分文件的名字和后缀: os.path.splitext() import os file_path = "D:/test/test.py" (filepath, tempfilename) = os.path.split(file_path) ( 阅读全文

posted @ 2020-05-12 22:55 一抹烟霞阅读(3457) 评论(0) 推荐(0) 编辑

梯度下降优化算法

摘要：梯度下降优化算法一、简介二、梯度下降方法2.1 批量梯度下降法BGD2.2 随机梯度下降法SGD2.3 小批量梯度下降法MBGD三、传统梯度下降法面临的挑战四、改进的梯度下降算法4.1 Momentum4.2 Nesterov accelerated gradient4.3 Adagrad4.4 R 阅读全文

posted @ 2020-05-12 11:45 一抹烟霞阅读(730) 评论(0) 推荐(0) 编辑

2020年5月10日

神经元系数的初始化

摘要：目前比较流行的初始化方式如下：阅读全文

posted @ 2020-05-10 18:11 一抹烟霞阅读(228) 评论(0) 推荐(0) 编辑

过拟合（Overfitting)

摘要：过拟合一、定义二、过拟合的解决方案2.1 DropOut2.2 L2 正则化2.3 L1 正则化2.4 最⼤范数约束 (Max Norm) 一、定义在训练数据集上的准确率很⾼，但是在测试集上的准确率⽐较低二、过拟合的解决方案 2.1 DropOut 假设有一个过拟合的神经网络如下： DropOu 阅读全文

posted @ 2020-05-10 18:04 一抹烟霞阅读(1814) 评论(0) 推荐(0) 编辑

梯度消亡(Gradient Vanishing)和梯度爆炸(Gradient Exploding)

摘要：文章目录一、梯度消失1.1 定义1.2 梯度消亡(Gradient Vanishing)前提1.3 产生的原因1.4 解决方案二、梯度爆炸2.1 解决方法一、梯度消失 1.1 定义神经⽹络靠输⼊端的⽹络层的系数逐渐不再随着训练⽽变化，或者变化⾮常缓慢。随着⽹络层数增加，这个现象越发明显 1.2 阅读全文

posted @ 2020-05-10 17:17 一抹烟霞阅读(1730) 评论(0) 推荐(0) 编辑

损失函数

摘要：损失函数一、定义二、命名三、损失函数的作用3.1 训练方法3.2 损失函数的选取原则四、常用的损失函数4.1 回归Regression问题4.2 分类Classification问题4.2.1 单label问题4.2.2 多label问题一、定义在深度学习中，损失函数是用来衡量一组参数的质量的函阅读全文

posted @ 2020-05-10 14:50 一抹烟霞阅读(895) 评论(0) 推荐(0) 编辑

2020年5月9日

一个例子秒懂误差反向传播

摘要：假设有两个输入值，一个隐藏节点，一个输出节点，隐藏层和输出层的激活函数都是 sigmoid 。下图描述了这个网络。假设损失函数是平方误差L=1/2(y-y^) 2 一、正向传播假设我们试着输入一些二分类数据，目标是 y=1。我们从正向传导开始，首先计算输入到隐藏层 h=∑wixi= 阅读全文

posted @ 2020-05-09 22:19 一抹烟霞阅读(1020) 评论(0) 推荐(0) 编辑

使用keras构建简单的网络分类鸢尾花

摘要： Tensorflow =1.8.0 # -*- coding: utf-8 -*- from warnings import simplefilter simplefilter(action='ignore', category=FutureWarning) import numpy as np i 阅读全文

posted @ 2020-05-09 21:12 一抹烟霞阅读(775) 评论(0) 推荐(0) 编辑

矩阵的秩 rank(A)

摘要：矩阵的秩一、定义二、定理一、定义在线性代数中，一个矩阵A的列秩是A的线性独立的纵列的极大数目。类似地，行秩是A的线性无关的横行的极大数目。二、定理定理：矩阵的行秩，列秩，秩都相等。定理：初等变换不改变矩阵的秩。定理：如果A可逆，则r(AB)=r(B),r(BA)=r(B)。定理：矩阅读全文

posted @ 2020-05-09 14:07 一抹烟霞阅读(2755) 评论(0) 推荐(0) 编辑

矩阵的迹

摘要：矩阵的迹一、定义二、性质2.12.22.3 迹等于特征根之和2.4三、二次型的迹3.13.2四、迹的导数一、定义线性代数中，把方阵的对角线之和称为“迹”：二、性质 2.1 2.2 一直将第一个矩阵放到最后一个；当然反着不断把最后一个放到第一个也可以。 2.3 迹等于特征根之和由定义而来，这是阅读全文

posted @ 2020-05-09 13:52 一抹烟霞阅读(4957) 评论(0) 推荐(0) 编辑