摘要：
世界上有这么多 word embedding，都有啥区别啊？ELMO，BERT这都是啥？ "李宏毅老师 YouTube 课程" 为什么要 Embedding one hot 编码占据大量的运算空间，基本都是0，空间利用率很低，且运算速度很慢 不能充分表现词与词之间的联系，one hot 表现出的词都 阅读全文
摘要：
`Vocabulary`是包含字或词与index的关系的类，用于将文本转化为index。 "教程地址" 构建Vocabulary python from fastNLP import Vocabulary vocab = Vocabulary() vocab.add_word_lst(['复', ' 阅读全文
摘要：
前言 看论文 "TENER: Adapting Transformer Encoder for Named Entity Recognition" 的实现，发现不了解fastNLP看起来挺费劲，而且这一套好像也挺好用，有必要学一下，特此做fastNLP学习笔记。 "原官方中文教程在这里。" 这一章是 阅读全文
摘要：
"Structured Learning 4: Sequence Labeling on YouTube" 序列标注是一种在NLP中很基础但是也很重要的任务。以POS词性标注为例，输入是一个句子，输出是每个单词的词性。 如果每个单词只有一种词性，我们可以简单的做一个hash table，读到单词直接 阅读全文
摘要：
Feature Scaling 假设我们现在训练的模型有很多特征，我们现在训练的网络长下面这个样子： $$ z = activate(x_1 W_1 + x_2 W_2 + bias) $$ 其中$x_1,x_2$的数据级别差的比较多，比如一个在100左右，一个在0到1之间，那么两个权重矩阵对最后结 阅读全文
摘要：
What is TRANSFORMER? 今天学一下~~变形金刚~~，transformer是一个很有用的模型，尤其会为我们后面学习 "BERT model" 打好基础。文章如有不当之处，请不吝赐教。下面来看一下这个神奇的工具吧。 李宏毅老师transformer课程：https://www.you 阅读全文
摘要：
NLP FROM SCRATCH: TRANSLATION WITH A SEQUENCE TO SEQUENCE NETWORK AND ATTENTION 原文： https://pytorch.org/tutorials/intermediate/seq2seq_translation_tut 阅读全文
摘要：
初识AlphaZero AlphaZero能够基于强化学习实现较高技巧的棋类博弈，我看过nb网友实现的基于MCTS的五子棋模型后，惊叹不已！特此记录一下其中训练的一些方法和技巧。 MCTS MCTS是指蒙特卡洛搜索树。 蒙特卡洛搜索树没听过的话，想必你是知道蒙特卡罗模拟的。这个模拟过程就是暴力的按照 阅读全文
摘要：
学校的云服务器是Ubuntu16.04的，这给我在服务器上写pytorch带来很大不便。 有vscode remote，怎么能不为我的服务器配好武器呢。 环境 Ubuntu16安装pyenv，加Python3.7 sudo apt-get update -y sudo apt-get install 阅读全文
摘要：
Matplotlib.pyplot总结 经常看到这样一行代码 这个 ，其实大有来头，它集成了画图的很多方便函数，使用起来也能够结合 ，`list`等工具。 基本用法 我们可以从一张画布开始。 是画板， 是画布，如果 有参数控制多个画布， 可以迭代。 饼图 colorbar 等高线 间断直方图 作图规 阅读全文