摘要： 背景 BERT的问世向世人宣告了无监督预训练的语言模型在众多NLP任务中成为“巨人肩膀”的可能性，接踵而出的GPT2、XL-Net则不断将NLP从业者的期望带向了新的高度。得益于这些力作模型的开源，使得我们在了解其论文思想的基础上，可以借力其凭借强大算力预训练的模型从而快速在自己的数据集上开展实验， 阅读全文

摘要： 上一篇文章中，我详细讲解了 BertModel。 在今天这篇文章，我会使用 BertForSequenceClassification，在自己的训练集上训练情感分类模型。 数据集来源于 https://github.com/bojone/bert4keras/tree/master/examples 阅读全文

摘要： 0、官方pytorch版本 https://download.pytorch.org/whl/torch_stable.html https://pypi.tuna.tsinghua.edu.cn/simple/tensorflow-gpu/ 一、安装conda 二、安装CUDA 1、查看显卡型号： 阅读全文

摘要： 1、nvidia-smi介绍 nvidia-sim简称NVSMI，提供监控GPU使用情况和更改GPU状态的功能，是一个跨平台工具，支持所有标准的NVIDIA驱动程序支持的Linux和WindowsServer 2008 R2 开始的64位系统。这个工具是N卡驱动附带的，只要装好驱动，就会有这个命令 阅读全文

摘要： 一、题目： AutoFM: an efficient factorization machine model via probabilistic auto-encoders AutoFM：通过概率自动编码器的高效分解机模型 二、摘要 Studies show that conventional fa 阅读全文

摘要： 一 、算法介绍 左边deep network，右边FM，所以叫deepFM 包含两个部分： Part1： FM(Factorization machines)，因子分解机部分 在传统的一阶线性回归之上，加了一个二次项，可以表达两两特征的相互关系。 这里的公式可以简化，减少计算量，下图来至于网络。 P 阅读全文

摘要： 一、自动编码器 1、AE.py import torch from torch import nn class AE(nn.Module): def __init__(self): super(AE, self).__init__() #[b, 784] => [b, 20] self.encode 阅读全文

摘要： 近年来，自然语言生成 (NLG) 取得了令人难以置信的进步。 2019 年初，OpenAI 发布了 GPT-2，这是一个巨大的预训练模型（1.5B 参数），能够生成类似人类质量的文本。 Generative Pretrained Transformer 2 (GPT-2) 顾名思义，基于 Trans 阅读全文

摘要： 1、官方文档 https://numpy.org/doc/stable/reference/generated/numpy.where.html 2、讲解 阅读全文

摘要： 一、入门代码 LMDB的全称是Lightning Memory-Mapped Database(快如闪电的内存映射数据库)，它的文件结构简单，包含一个数据文件和一个锁文件： LMDB文件可以同时由多个进程打开，具有极高的数据存取速度，访问简单，不需要运行单独的数据库管理进程，只要在访问数据的代码里引 阅读全文