神经网络训练的优化操作
摘要：1. 输入特征值x的归一化。 如果有(x1,x2)，x1的取值范围是[0~1]，而x2是[0~2000]，那么会造成损失函数J(θ)的形状： (J(θ)的等高线图) 在求J(θ)最小值时，对θ1和θ2反向传播，修改值时，往往使得修改的方向震荡。 改进办法是，将x1和x2的取值范围，规定在差不多的范围
阅读全文
posted @ 2019-05-04 16:38
随笔分类 - 机器学习
有关logistic(sigmoid)函数回归
摘要：在神经网络中，经常用到sigmoid函数，y = 1 / (1+e-x) 作为下一级神经元的激活函数，x也就是WX（下文，W以θ符号代替）矩阵计算结果。 这个函数通常用在进行分类，通常分为1或0的逻辑分类，所以又叫logistic回归。 常规常规情况下，我们使用的损失函数是 j(θ) = 1 / 2
阅读全文
posted @ 2019-05-04 15:40
从曲面拟合尝试理解神经网络中的激活函数
摘要：激活函数引用：https://www.cnblogs.com/ms-uap/p/9962978.html 首先，单个神经元是长这样的： 也就是，当A=σ(Z)=Z时，不使用激活函数的话，那么，单个神经网络，输出只能是A = ΣWX + b 1. 从训练数据来理解。（参考：https://blog.c
阅读全文
posted @ 2019-02-12 12:24
尝试理解神经网络训练过程
摘要：神经网络基本原理： https://www.cnblogs.com/ms-uap/p/9928254.html#4150272 梯度下降概念： https://www.cnblogs.com/ms-uap/p/9945871.html 损失函数和最小二乘：https://www.cnblogs.co
阅读全文
posted @ 2019-02-01 14:28
使用“反向传播”迭代法求解y=√10
摘要：X=√10，求X，也就是求Y=10 =X2 , X是多少。 *重要的思想是，如何转化为可迭代求解的算法问题。 *解数学问题，第一时间画图，求导，“直线化”。 Y = X2 假如已知Y = 10 ，要求解X； 1. 令X=3，解得 y = 9 ; 那么，自然是希望，在X=3处，加上一个△X，得到 Y
阅读全文
posted @ 2019-02-01 11:33
决策树补充
摘要：上一篇：https://www.cnblogs.com/pylblog/p/8370980.html 类型 属性1 属性2 属性3 属性4 A 3 2 1 1 A 1 2 1 2 A 1 2 3 3 B 2 2 1 1 B 2 2 2 1 B 2 1 2 2 B 1 1 3 2 B 1 1 3 3
阅读全文
posted @ 2019-01-28 13:56
图像识别的一些基础
摘要：以上是四副正射影像图，提取好边线，对于每个角点，能自动匹配标记好号码1~n； *在距离物体的距离，大于物体的2.5倍，那么，就可以忽略物体的透视，认为得到物体的影像是正射影像； 已知ABC是同一物体的正射影像，而U是同类物体，但不一定是同一物体的正射影像。 对于各个点，有： XU1 = aXA1 +
阅读全文
posted @ 2019-01-28 11:31
资源调度算法
摘要：假如要使用RGBY四种颜色对以下地图进行着色 变为点状图 变为树 使用简单点的例子，对以下图进行着色： *按照先扩充枝条数较小的节点。 对A进行着色的时候，考虑C可以有RGBY颜色可以使用。 1. A：R C：(R,G,B,Y) 2. B：G ，和A不矛盾 C：(R,G,B,Y) 3. D：B， 和
阅读全文
posted @ 2019-01-24 14:13
从解析线条图中分析三维物体
摘要：假设，问题是，要分析图像上一共有多少个正方形物体。 准备知识： 从屏幕视觉，看交点A、B、C， +号代表凸线，往视觉方向延申； 箭头代表边界，箭头右侧代表图形内； -号代表往视觉反方向延伸； 所以，对于不同的视角，不同的交点，一共有如下多种情况： OK，假如有一个图像，检验其在真实世界中能不能构建，
阅读全文
posted @ 2019-01-23 16:22
极小化极大估计
摘要：上图中第0层为空棋盘，第1层是×方所有可能的步骤，第2层是〇方所有可能的步骤。 在第1层，×方需要选择使其优势最大的选择，而在第2层，〇方则需要选择使×方优势最小即己方优势最大的选择。 Minimax的含义就是极小化对手的最大利益，在上图中，在第2层〇方一定会选择使自己优势最大的选择，而对于×方需要
阅读全文
posted @ 2019-01-22 16:40
最佳路径搜索算法2
摘要：问题：假如有人提出，最佳的路径是SADG，那么，将如何验证？ 答：遍历其他路径，看看是否存在，比SADG更短的路径。 问题：其他路径是否需要"扩展"到最后？ 答：不需要。 在检验其他路径的时候，如果累积路程大于SADG，即11，就不需要再扩展下去了。 根据上一节：https://www.cnblog
阅读全文
posted @ 2019-01-22 11:28
学习笔记69_Logistic回归
摘要：Logistic回归（逻辑回归）进行分类的主要思想：根据现有数据对分类边界线建立回归公式，以此进行分类。 知乎上的简述： 该算法可根据已知的一系列因变量估计离散数值（比方说二进制数值 0 或 1 ，是或否，真或假）。简单来说，它通过将数据拟合进一个逻辑函数来预估一个事件出现的概率。因此，它也被叫做逻
阅读全文
posted @ 2018-02-13 09:02
学习笔记68_朴素贝叶斯分类
摘要：需求起因： 在使用k邻近算法，或者决策树的时候，也有可能产生错误的分类结果， 要求 分类器 给出 一个 最优 的 类别 猜测 结果， 同时 给出 这个 猜测 的 概率 估计 值。 准备知识： 贝叶斯思想：如果一个坐标系中，有两堆点，用P1，P2表示点的类型，如果新增一个数据点(x,y)，用P1(x,
阅读全文
posted @ 2018-02-01 15:37
学习笔记67_决策树
摘要：决策树： 1.决策树类似于：玩一个游戏，一个人首先在纸中写下一个事物（类型），然后，由提问者提出问题，回答问题只能使用true 或 false，提问者不断根据答案，调整问题，缩小范围，直至给出最后的答案。（假如问题个数有限） 2.决策树原理类似于这样，用户输入数据，然后输出事物类型。 3.决策树构建
阅读全文
posted @ 2018-01-28 13:21
学习笔记64_k邻近算法
摘要：1 .假定已知数据的各个属性值，以及其类型，例如： 电影名称 打斗镜头 接吻镜头 电影类别 m1 3 104 爱情片 m2 2 100 爱情片 m3 1 81 爱情片 m4 2 90 爱情片 w1 101 10 动作片 w2 99 5 动作片 w3 98 2 动作片 上述数据称为训练数据。 如果有新
阅读全文
posted @ 2018-01-25 19:48
学习笔记64_机器学习
摘要：机器学习比较基础的任务，就是分类： 一般的分类办法，就是尽可能测量所有可测得属性，或者特别重要的属性（又称为特征），并且由 人类 评判这些特征是属于什么类别。 这样的 [特征-类别]又叫训练样本。 例如：鸟类的 “特征-类别”训练样本 重量（特征1） 翅宽（特征2） 颜色（特征3） 是/否有脚蹼（特
阅读全文
posted @ 2018-01-23 22:08
