摘要：
A strategy to quantify embedding layer Basic idea Embedding is mainly in the process of word pre-training. Two embedding methods, word2vec and GloVe, 阅读全文
摘要：
From DFA to KMP algorithm DFA In the theory of computation, a branch of theoretical computer science, a deterministic finite automaton (DFA)—also know 阅读全文
摘要：
A problem of dimension in Vector Space and It's nullspace A easy Problem This problem from a lemma that is Dimension Counting Theorem \[ dim(V) + dim( 阅读全文
摘要：
Pytorch 模型的存储与加载 本文主要内容来自Pytorch官方文档推荐的一篇英文博客, 本文主要介绍了在Pytorch中模型的存储方法, 以及存储形式, 以及Pytorch存储模型正真存储的是模型的什么结构. 以及加载模型的时候, 模型的哪些数据会被加载. 以及加载后的形式. 首先大致讲下三个 阅读全文
摘要：
Jensen's inequality 及其应用 对于一个 convex function $f(x)$ , 最常见的形式是: $$ f\left(t x_{1}+(1 t) x_{2}\right) \leq t f\left(x_{1}\right)+(1 t) f\left(x_{2}\rig 阅读全文
摘要：
Handling Page Faults 产生却也中断的时候, 需要保留当前的虚拟地址到寄存器 CR2, Exercise 5. Modify trap_dispatch() to dispatch page fault exceptions to page_fault_handler(). You 阅读全文
摘要：
Lab3 以后内存出现的问题 对于GCC 7.0 以上的版本在Lab3以后, 会出现 kernel panic at kern/pmap.c:147: PADDR called with invalid kva 00000000 这个错误, 我本身也很疑惑, 明明在 Lab2 代码是正确的, 这里为 阅读全文
摘要：
内存管理 内存管理的内容 内核页表机制的启动过程: 详细内容可以这篇博客 传送门 ,这里我们简单概述下, BIOS 与 boot loader 都是工作在实模式下的, 启用页表机制是在 entry.S 文件中启动的, 并且将页目录的物理地址存入 CR3 寄存器中, 这是一个静态初始化的页目录与页表, 阅读全文
摘要：
Pytorch 剪枝操作实现 首先需要版本为 1.4 以上, 目前很多模型都取得了十分好的结果, 但是还是参数太多, 占得权重太大, 所以我们的目标是得到一个稀疏的子系数矩阵. 这个例子是基于 LeNet 的 Pytorch 实现的例子, 我们从 CNN 的角度来剪枝, 其实在全连接层与 RNN 的 阅读全文
摘要：
XLM 预训练模型的使用 本文使用的是 "Transformer" 库的预训练模型, 主要是对 xlm 部分的翻译. xlm 模型是在 BERT 模型的基础上使用多种语言或者跨语言语料库训练得到的预训练模型, 根据训练数据与训练方法的不同, 有三张预训练模型, 分别是 a causal langua 阅读全文