随笔分类 - 3B1B
摘要：直观理解反向传播 反向传播算法是用来求那个复杂到爆的梯度的。 上一集中提到一点，13000维的梯度向量是难以想象的。换个思路，梯度向量每一项的大小，是在说代价函数对每个参数有多敏感。 如上图，我们可以这样里理解，第一个权重对代价函数的影响是是第二个的32倍。 我们来考虑一个还没有被训练好的网络。我们
阅读全文
摘要：代价函数 在一开始，我们会完全随机地初始化所有的权重和偏置值。可想而知，这个网络对于给定的训练示例，会表现得非常糟糕。例如输入一个3的图像，理想状态应该是输出层3这个点最亮。 可是实际情况并不是这样。这是就需定义一个代价函数。（吴恩达老师称单个样本上的代价为$Loss function$，称为损失函
阅读全文
摘要：神经元 3B1B先讨论最简单的MLP（多层感知器），只是经典的原版，就已经能识别手写数字。 这里一开始我们把神经元看作装有数字的容器，装着一个0~1之间的数字。但是最后更准确一些，我们把神经元看作一个函数，它输入的是上一层所有神经元的输出。 手写数字识别示例 看下面这个手写数字的例子 这个神经网络一
阅读全文
摘要：问题 在圆上任取$n$个点，将每对点用直线连接起来，并规定任意三条线不能交于同一点，这些直线会将圆分割成多少份？ 首先我们列出简单情况来寻找规律： 2个点将圆分成2份 3个点将圆分成4份 4个点将圆分成8份 5个点将圆分成16份 看来这个数列的规律非常明显：每增加一个点，分割的份数都将乘2。然而，当
阅读全文
摘要：想象你的麦克风在录制一段由四个纯音同时播放的音频时，由于其只能捕捉强度——时间图像，因此最后的结果看起来相当复杂： 如果给定这样一段音频，该如何将其分解为不同纯音的叠加？ 首先考虑只有一个频率的信号，将这个图像缠绕在一个圆上，即想象一个转动的向量，在任意时刻该向量的长度都等于这个时刻的图像高度。由于
阅读全文
摘要：问题 在只考虑重力的作用的情况下，一质点从点A沿某条曲线到点B，问怎样的曲线能使所需时间最短？ 这一问题被称为最速降线问题（Brachistochrone），由约翰·伯努利在1696年提出来挑战欧洲的数学家。 1、费马原理与斯涅耳定理 约翰·伯努利的证明实际上非常巧妙，利用了费马原理：一束光从A点传
阅读全文
摘要：中文体面而且超简洁就不解释了。 神仙题.jpg 切一刀简单啊，维护一个前缀和。 切两刀简单啊，拿个队列维护中间那一段。 切三刀，这tm什么毒瘤题。 于是打开题解：“保证不会答案不会超过宝石种类”。 orz神仙结论。 于是去研究了一下证明，但是看不懂拓扑学... 可以看一下3Blue1Brown的这个
阅读全文
摘要：问题 一条项链上有n种类型的珠宝，每种珠宝的数量均为偶数。问至少可以切多少刀，可以将所有珠宝均分？ 首先介绍Borsuk-Ulam Theorem: 想象一个三维空间中的球面被扭曲压缩到二维平面上，由于变形是连续的，因此球面上有许多点重合在了一起。 $Borsuk-Ulam$定理告诉我们，总能找到这
阅读全文
摘要：问题 对于任意的闭合环路，是否总能在其上找到四个点形成一个矩形？ 该问题也被称为内接矩形问题，而内接正方形问题至今没有解答方案。 首先我们不再关注单个而是成对的点，并利用矩形的性质：对于平面上任意两对不同的点 a，c 和 b，d ，只需确保它们有相同的中点，且 a，c 间的距离等于 b，d 点的距离
阅读全文