摘要：
1.情感分析语料预处理 使用酒店评论语料，正面评论和负面评论各5000条，用BERT参数这么大的模型， 训练会产生严重过拟合,，泛化能力差的情况, 这也是我们下面需要解决的问题; 2.sigmoid二分类 回顾在BERT的训练中Next Sentence Prediction中, 我们取出$[cls 阅读全文
摘要：
一、结构 1.编码器 Transformer模型 encoder - nxf_rabbit75 - 博客园 2.解码器 （1）第一个子层也是一个多头自注意力multi-head self-attention层，但是，在计算位置i的self-attention时屏蔽掉了位置i之后的序列值，这意味着：位 阅读全文
摘要：
一、简介 论文：《Attention is all you need》 作者：Google团队（2017年发表在NIPS上） 简介：Transformer 是一种新的、基于 attention 机制来实现的特征提取器，可用于代替 CNN 和 RNN 来提取序列的特征。 在该论文中 Transform 阅读全文
摘要：
环境： python 3.5 tensorflow 1.12.1 bert-serving-server 1.9.1 bert-serving-cline 1.9.1 官网上说要保证Python >= 3.5 with Tensorflow >= 1.10 1.安装BERT服务端和客户端 pip i 阅读全文