摘要：
《学会提问》这本书可以被分为三个部分： 正确提问和批判性思维的关系，为什么要学会提问 什么阻碍了批判性思维 如何分析一个论证 为什么要学会正确提问 因为这个世界是嘈杂的，总有人坚称我们一定要按他们所说的那样去做。他们努力塑造我们的行为习惯，但他们说的话至多是真假参半。如果我们不想被一些专家牵着鼻子走 阅读全文
摘要：
下载地址 Wireshark 是一个拦截和观察网络包的工具。 工作原理 由于更上层的数据最终都会成为链路层的一个个帧（frame），Wireshark 接受链路层（link-layer）的数据包（packet）的副本后，经过内部的包分析工具（packet analyzer）实现包的拦截和观察。包分析 阅读全文
摘要：
理论 K-NN，即 k 近邻算法，是一种基本的分类和回归的算法，其主要思想可以归纳为：选择与待检测数据最相近的 k 个数据，再将这 k 个数据的成分最多的类别作为待测数据的类别。 假如给定数据 $T={ (\pmb{x_1}, y_1), (\pmb{x_2}, y_2), \dots (\pmb{ 阅读全文
摘要：
线性回归的预设 线性 只能通过每个样本各维的线性组合获得预测结果，这使得函数很简单，但拟合能力较弱。 同方差性 每个样本的方差不变。方差不同会使得拟合函数对某些数据敏感性有差异。 独立性 每个样本独立于其他样本 固定特征 特征数是固定的 非多重共线性 特征直接不能存在线性关系 $$ \begin{a 阅读全文
摘要：
基本公式 $$ \begin{align*} F(x)&=P\lbrace X\le x\rbrace=\frac1{1+e^{(\mu-x)/\gamma}}\ f(x)&=F^\prime(x)={e^{(\mu-x)/\gamma}\over\gamma(1+e^{(\mu-x/\gamma) 阅读全文
摘要：
标准化 $$ \begin{align*} \pmb x&=\left(x^{(1)},x^{(2)},\dots,x^{(n)}\right)\ \pmb\mu&=\frac1m\sum_{i=1}^m\pmb x_i\ \pmb\sigma&=\sqrt{\delta+\frac1m\sum_{ 阅读全文
摘要：
算法分出 $n$ 个类（$c_1,c_2,\dots,c_n$）之后，得到 $n$ 个向量 $\pmb w$，分类方法为 $c=\underset{c_i\in[c_1,\dots,c_n]}{\arg\max}\pmb w_i^T\pmb x$。 求 $\pmb w_1$ 和其他向量 $\pmb 阅读全文
摘要：
$L^2$ 正则 结论 $$ \begin{align*} J=(\pmb X\pmb w-\pmb y)^T(\pmb X\pmb w-\pmb y)&\implies\pmb w=(\pmb X^T\pmb X)^{-1}\pmb X^T\pmb y\ \widetilde J=(\pmb X\ 阅读全文
摘要：
贝叶斯分类器 $$ \begin{align*} y&=\underset{c_i}{\arg\max}\left\lbrace{P[\pmb X=\pmb x\mid Y=c_i]P[Y=c_i]\over\sum_kP[\pmb X=\pmb x\mid Y=c_k]P[Y=c_k]}\righ 阅读全文
摘要：
聚类 聚类方法在于寻找数据中的集群（clusters），在同一个集群中的数据在某些方面更加相似。这同时也是对数据的一种压缩，因为我们使用了更小的集合—集群—来表示更大的数据。也可以理解为寻找有用特征的一种方式，如果一系列数据可以很好地被集群中心点表示，那么很有可能我们发现了更好的特征。 为了获得聚类 阅读全文
摘要：
在前一篇文章中，已经初略的建立了前向神经网络，但是前向神经网络大量的前馈计算使其只有较低的速度，因此我们来建立反向神经网络。 本篇主要是公式 链式法则 在学习偏导数的反向传递之前，需要有对链式法则有一定的了解 $$ \begin{align*} \text{provide that }&y = y( 阅读全文
摘要：
根据上一篇文章，来构建神经网络吧 明确输入和输出 选择合适的各种函数 用矩阵和激活函数建立起从输入到输出的拟合函数 用正向传播或反向传播获得损失函数的偏导数（注意对一定的数据集来说自变量为 $\pmb{W}$，$\pmb{A}$ 固定） 用梯度下降法努力使损失函数最小 mnist分析（输入分析） 下 阅读全文
摘要：
基础知识 梯度（高等数学）、矩阵运算（线性代数）、numpy(ndarray)、python基础语法 目录 神经网络架构 神经网络建立 先用比较简单的正向传播建立好框架，再用反向传播改变算法 实例：学习mnist手写数字数据集 {:toc} 神经网络架构 矩阵 拟合 梯度 矩阵运算 我们可以把矩阵看 阅读全文
摘要：
为什么卷积神经网络的能力更强？以 mnist 数据集为例，在普通的神经网络中，输入的数据是长度为 $784$ 的像素。但实际上图像本身 $28\times28$ 的的二维结构已经被破坏了，每个像素与之上下更多像素之间的位置关系都消失了。神经网络所看见的世界是由一维向量构成的，自然无法与现实形成更好的 阅读全文
摘要：
最优化方法 迭代法 $x\ 为不动点 \iff f(x) = x$ 求解非线性方程 $$f(x)=0$$，可将其改写为具有解为不动点形式的另一个函数 $g(x)$，使得 $\forall x[f(x)=0\leftrightarrow g(x)=x]$。取任意初始值 $x_0$ 和相应的迭代结果 $ 阅读全文