摘要：
Markov Chain & Stationary Distribution Def(Finite Markov Chain). Let \(\Omega\) be a finite set of states, \(\forall x,y\in\Omega,P(x,y)\ge 0\) be a t 阅读全文
摘要：
SVD Def (eigenvalue\eigenvector). Eigenvalue \(\lambda\) and eigenvector \(\bm{v}\) of matrix \(A\) satisfy $$A\bm{v}=\lambda\bm{v}.$$ Lem 1. Let \(M\ 阅读全文
摘要：
The Geometry of High Dimensions High dimensional geometry is surprisingly different from low dimensional geometry. Example 1: Volume concentrates on s 阅读全文
摘要：
用非负整数 \(s\) 描述睡眠预测分数。每个单位分数可以大致认为是一个小时优质睡眠。数值越大睡眠质量越高，分数过低（<5）时将有失眠/半夜醒来的风险。 值得一提的是，\(s\) 并不会每天清零，而是以一定规则在两天之间继承。假设前一天睡前分数为 \(s_i\)，当晚睡觉时长为 \(t\) 个小时， 阅读全文
摘要：
针对计应数 week 4 的速通。 概念 复变函数在一点处解析：邻域内有导数。 孤立奇点：在该点处不解析但在一去心邻域内解析。 Class A: 多项式和指数函数进行加乘及复合。在复平面上每个点处解析。 Class B: Class A 的两个函数相除。只在一些孤立奇点 \(z_i\) 处不解析，在 阅读全文
摘要：
众所周知，CCF 不让再谈。 不仅如此，CCF 的论文集还存在诸多问题： 不是我发给 yyl 的最新版，LGV 处的图是错的。 把目录删掉了 有很丑的 CCF 水印 因此在这里给出原论文 为了证明格路计数是非常实用的知识点，我搜集了一些相关的题目。 3 不相交格路 3.1 行列式与 Pfaffian 阅读全文
摘要：
利用预训练好的模型进行微调（Fine-tune），可以获得比传统模型的巨大提升。 此时学习率一般是正常的十分之一（\(10^{-5}\) 左右）。也可以保持预训练的参数不变。 Transformer 架构 Encoder-only：擅长分类任务 Decoder-only：擅长生成任务 Encoder 阅读全文
摘要：
编码器-解码器（Encoder-Decoder） 以机器翻译为例，输入不定长向量 \(\bm{x}\)，希望得到其翻译 \(\bm{y}\)，同样是不定长向量。 我们希望将 \(\bm{x}\) 输入编码器得到定长背景信息 \(\bm{c}\)，将 \(\bm{c}\) 输入解码器得到 \(\bm{ 阅读全文
摘要：
我们已经预训练了词向量，接下来考虑设计神经网络解决更具体的问题。 自然语言不同于图像信息，例如子结构并不具有连续性等等。诸多困难使得CNN难以沿用，一个代替的方法是RNN。 循环神经网络（RNN） 一个单隐藏层的MLP形如：$$\bm H=\phi(\bm{XW}+\bm{b})$$ 即输入 \(\ 阅读全文
摘要：
语言模型 对于一段文本 \(W=w^{(1)}w^{(2)}...w^{(T)}\)，我们希望计算其出现的概率。 如果直接在数据集中统计出现的数量，复杂度过高。因此目标变为快速估计其概率。 首先整个句子出现的概率可以拆分为若干个条件概率相乘，即 \(P(W)=\prod\limits_{i=1}^T 阅读全文