摘要: 循环神经网络的构造 假设$\boldsymbol{X}_t \in \mathbb{R}^{n \times d}$是时间步$t$的小批量输入,$\boldsymbol{H}_t \in \mathbb{R}^{n \times h}$是该时间步的隐藏变量,则: $$ \boldsymbol{H}_ 阅读全文
posted @ 2020-02-13 17:31 hou永胜 阅读(276) 评论(0) 推荐(0) 编辑
摘要: 1.语言模型 假设序列$w_1, w_2, \ldots, w_T$中的每个词是依次生成的,我们有 $$ \begin{align } P(w_1, w_2, \ldots, w_T) &= \prod_{t=1}^T P(w_t \mid w_1, \ldots, w_{t 1})\\ &= P( 阅读全文
posted @ 2020-02-13 11:05 hou永胜 阅读(375) 评论(0) 推荐(0) 编辑
摘要: 1.激活函数 ReLU LeakyReLU Tanh ... "手册" 2.手写 3.使用pytorch简洁实现 阅读全文
posted @ 2020-02-12 19:30 hou永胜 阅读(778) 评论(0) 推荐(0) 编辑
摘要: 1.softmax $$ softmax(x_i) = \frac{ \exp(x_i)}{\sum_{j} \exp(x_j)} $$ 2.cross entropy $$ H\left(\boldsymbol y^{(i)}, \boldsymbol {\hat y}^{(i)}\right ) 阅读全文
posted @ 2020-02-12 15:00 hou永胜 阅读(256) 评论(0) 推荐(0) 编辑
摘要: 1.模型 $$ \mathrm{Y} = \mathrm{WX} + b $$ 2.数据集 training set:已获得的,可用作模型训练的,带标签的数据集(对有监督模型来说) sample : 数据集中的一个样本 label : 标签 feature: 决定标签的特征 3.损失函数 $$ l^ 阅读全文
posted @ 2020-02-11 16:19 hou永胜 阅读(141) 评论(0) 推荐(0) 编辑
摘要: Passé composé et imparfait(复合过去式和未完成过去式) 1.Le passé composé 1.1 形式: 助动词(avoir,être)+ 过去分词 1.2规则 规则I. 所有及物动词以及大部分不及物动词均由avoir做助动词 avoir eu, être été, p 阅读全文
posted @ 2019-10-30 21:33 hou永胜 阅读(354) 评论(0) 推荐(0) 编辑
摘要: 1. 下载,更新 jupyterlab ` 下载 pip install jupyterlab` ` 更新 pip install upgrade jupyterlab` 2. 安装 "nodejs" 环境 3. 安装jupyterlab 插件 4. 好用的插件 https://github.com 阅读全文
posted @ 2019-10-23 15:54 hou永胜 阅读(909) 评论(0) 推荐(0) 编辑
摘要: All in Jay Alammar's bolg 1.word2vec 2.transformer 3.gpt2 4.bert NLM 阅读全文
posted @ 2019-10-18 22:44 hou永胜 阅读(283) 评论(0) 推荐(0) 编辑
摘要: 利用工具 ngrok ,进入官网,注册,进入DashBoard 导航栏,会看到如下信息 执行完后出现以下界面 然后便可以利用ssh 登陆了 之后会提示输入密码,验证通过之后即可使用 阅读全文
posted @ 2019-07-23 22:27 hou永胜 阅读(777) 评论(0) 推荐(0) 编辑
摘要: 参考连接:https://jingyan.baidu.com/article/5225f26bbab600e6fa0908bb.html 阅读全文
posted @ 2019-06-03 18:14 hou永胜 阅读(471) 评论(0) 推荐(0) 编辑