随笔分类 - NLP

摘要：机器学习词向量表示 1. 词向量的表示对于语料库

V = w_{1}, w_{2}, w_{3}, . . . w_{| v |}

$V={w_1,w_2,w_3,...w_{|v|}}$ one-hot表示:

w_{1} = [1, 0, 0, 0, . . .]

$w_1=[1,0,0,0,...]$

w_{2} = [0, 1, 0, 0, . . .]

$w_2=[0,1,0,0,...]$ 优点：解释性强缺点：通常词典中词的个数是非常多的，这将导致词向量的维度特阅读全文

posted @ 2021-10-15 13:46 流光之中阅读(230) 评论(0) 推荐(0) 编辑

RNN神经网络-简单的序列预测问题

摘要：RNN神经网络-简单的序列预测问题 RNN神经网络能够实现记忆功能，被广泛地应用在时间序列分析上，在NLP、语音识别等方向有许多的应用。原理： RNN神经网络是一个序列结构，在处理数据时，

S_{t}

$S_t$ 的值不仅取决于当前的输入，还取决于上一层的输出，因此其在处理序列数据具有很明显的优势。计算公式：阅读全文

posted @ 2021-10-15 13:38 流光之中阅读(559) 评论(0) 推荐(0) 编辑

Tensorflow练习实现线性回归

摘要：Tensorflow练习实现线性回归 import matplotlib.pyplot as plt import numpy as np import tensorflow.compat.v1 as tf import pandas as pd rng = np.random # 处理tensor 阅读全文

posted @ 2021-10-15 13:34 流光之中阅读(38) 评论(0) 推荐(0) 编辑

transformers---BERT

摘要：transformers BERT BERT模型主要包括两个部分，encoder和decoder，encoder可以理解为一个加强版的word2vec模型，以下是对于encoder部分的内容预训练任务 MLM任务 MLM任务通过单词表示来表示上下文关系 NSP任务 NSP任务通过句子向量表示句间的阅读全文

posted @ 2021-10-15 13:06 流光之中阅读(141) 评论(0) 推荐(0) 编辑