02 2024 档案

机器学习策略篇：详解满足和优化指标（Satisficing and optimizing metrics）
摘要：满足和优化指标 要把顾及到的所有事情组合成单实数评估指标有时并不容易，在那些情况里，发现有时候设立满足和优化指标是很重要的，让我告诉是什么意思吧。 假设已经决定很看重猫分类器的分类准确度，这可以是\(F_1\)分数或者用其他衡量准确度的指标。但除了准确度之外，还需要考虑运行时间，就是需要多长时间来分 阅读全文
posted @ 2024-02-29 09:38 Oten 阅读(171) 评论(0) 推荐(0)
机器学习策略篇：详解单一数字评估指标（Single number evaluation metric）
摘要：单一数字评估指标 无论是调整超参数，或者是尝试不同的学习算法，或者在搭建机器学习系统时尝试不同手段，会发现，如果有一个单实数评估指标，进展会快得多，它可以快速告诉，新尝试的手段比之前的手段好还是差。所以当团队开始进行机器学习项目时，经常推荐他们为问题设置一个单实数评估指标。 来看一个例子，之前听过说 阅读全文
posted @ 2024-02-27 09:52 Oten 阅读(161) 评论(0) 推荐(0)
机器学习策略篇：详解正交化（Orthogonalization）
摘要：正交化 这是一张老式电视图片，有很多旋钮可以用来调整图像的各种性质，所以对于这些旧式电视，可能有一个旋钮用来调图像垂直方向的高度，另外有一个旋钮用来调图像宽度，也许还有一个旋钮用来调梯形角度，还有一个旋钮用来调整图像左右偏移，还有一个旋钮用来调图像旋转角度之类的。电视设计师花了大量时间设计电路，那时 阅读全文
posted @ 2024-02-26 09:46 Oten 阅读(435) 评论(0) 推荐(0)
机器学习策略篇：详解为什么是ML策略？（Why ML Strategy?）
摘要：为什么是ML策略？ 从一个启发性的例子开始讲，假设正在调试的猫分类器，经过一段时间的调整，系统达到了90%准确率，但对的应用程序来说还不够好。 可能有很多想法去改善的系统，比如，可能想去收集更多的训练数据吧。或者会说，可能的训练集的多样性还不够，应该收集更多不同姿势的猫咪图片，或者更多样化的反例集。 阅读全文
posted @ 2024-02-23 09:50 Oten 阅读(184) 评论(0) 推荐(0)
神经网络优化篇：详解TensorFlow
摘要：TensorFlow 先提一个启发性的问题，假设有一个损失函数\(J\)需要最小化，在本例中，将使用这个高度简化的损失函数，\(Jw= w^{2}-10w+25\)，这就是损失函数，也许已经注意到该函数其实就是\({(w -5)}^{2}\)，如果把这个二次方式子展开就得到了上面的表达式，所以使它最 阅读全文
posted @ 2024-02-22 10:21 Oten 阅读(279) 评论(0) 推荐(2)
神经网络优化篇：详解深度学习框架（Deep Learning frameworks）
摘要：深度学习框架 一小点作者内心os：24年春节已过完，从熟悉的地方又回到陌生的地方谋生，愿新的一年都得偿所愿，心想事成。 学到这会儿会发现，除非应用更复杂的模型，例如卷积神经网络，或者循环神经网络，或者当开始应用很大的模型，否则它就越来越不实用了，至少对大多数人而言，从零开始全部靠自己实现并不现实。 阅读全文
posted @ 2024-02-21 09:47 Oten 阅读(174) 评论(0) 推荐(0)
神经网络优化篇：详解如何训练一个 Softmax 分类器（Training a Softmax classifier）
摘要：如何训练一个 Softmax 分类器 回忆一下之前举的的例子，输出层计算出的\(z^{[l]}\)如下，\(z^{[l]} = \begin{bmatrix} 5 \\ 2 \\ - 1 \\ 3 \\ \end{bmatrix}\)有四个分类\(C=4\)，\(z^{[l]}\)可以是4×1维向量 阅读全文
posted @ 2024-02-05 09:53 Oten 阅读(240) 评论(0) 推荐(0)
神经网络优化篇：详解Softmax 回归（Softmax regression）
摘要：Softmax 回归 有一种logistic回归的一般形式，叫做Softmax回归，能让在试图识别某一分类时做出预测，或者说是多种分类中的一个，不只是识别两个分类，来一起看一下。 假设不单需要识别猫，而是想识别猫，狗和小鸡，把猫加做类1，狗为类2，小鸡是类3，如果不属于以上任何一类，就分到“其它”或 阅读全文
posted @ 2024-02-04 09:49 Oten 阅读(1014) 评论(0) 推荐(0)
神经网络优化篇：详解测试时的 Batch Norm（Batch Norm at test time）
摘要：Batch归一化将的数据以mini-batch的形式逐一处理，但在测试时，可能需要对每个样本逐一处理，来看一下怎样调整的网络来做到这一点。 回想一下，在训练时，这些就是用来执行Batch归一化的等式。在一个mini-batch中，将mini-batch的\(z^{(i)}\)值求和，计算均值，所以这 阅读全文
posted @ 2024-02-02 09:53 Oten 阅读(396) 评论(0) 推荐(0)
神经网络优化篇：详解Batch Norm 为什么奏效？（Why does Batch Norm work?）
摘要：Batch Norm 为什么奏效？ 为什么Batch归一化会起作用呢？ 一个原因是，已经看到如何归一化输入特征值\(x\)，使其均值为0，方差1，它又是怎样加速学习的，有一些从0到1而不是从1到1000的特征值，通过归一化所有的输入特征值\(x\)，以获得类似范围的值，可以加速学习。所以Batch归 阅读全文
posted @ 2024-02-01 10:05 Oten 阅读(358) 评论(0) 推荐(0)