乍一看到某个问题，你会觉得很简单，其实你并没有理解其复杂性。当你把问题搞清楚之后，又会发现真的很复杂，于是你就拿出一套复杂的方案来。实际上，你的工作只做了一半，大多数人也都会到此为止……。但是，真正伟大的人还会继续向前，直至找到问题的关键和深层次原因，然后再拿出一个优雅的、堪称完美的有效方案。
—— from 乔布斯
11 2019 档案
摘要：[TOC] 博客： "blog.shinelee.me" | "博客园" | "CSDN" 时间复杂度 如何评估一个算法的计算时间？ 一个算法的 实际运行时间很难评估 ，当时的输入、CPU主频、内存、数据传输速度、是否有其他程序在抢占资源等等，这些因素都会影响算法的实际运行时间。为了公平地对比不同算
阅读全文
摘要：[TOC] 博客： "blog.shinelee.me" | "博客园" | "CSDN" 权重初始化最佳实践 书接上回，全0、常数、过大、过小的权重初始化都是不好的，那我们需要什么样的初始化？ 因为对权重的大小和正负缺乏先验，所以应初始化 在0附近 ，但不能为全0或常数，所以要有一定的 随机
阅读全文
摘要：[TOC] 博客： "blog.shinelee.me" | "博客园" | "CSDN" 前向传播与反向传播回顾 神经网络的训练过程可以简化成以下步骤， 1. 输入预处理（feature scaling等） 2. 初始化网络weight和bias 3. 前向传播，得到网络输出 4. 计算损失函数，
阅读全文
摘要：博客：blog.shinelee.me | 博客园 | CSDN 写在前面 Feature scaling，常见的提法有“特征归一化”、“标准化”，是数据预处理中的重要技术，有时甚至决定了算法能不能work以及work得好不好。谈到feature scaling的必要性，最常用的2个例子可能是： 特
阅读全文
