08 2021 档案
摘要：一、基础 二、张量 三、Tensorflow2的常量与变量 四、Tensorflow2变量的赋值 四、Tensorflow2计算模型 五、Tensorflow2图执行模式 六、Tensorflow2的session会话 七、变量初始化 八、占位符 九、feed提交数据fetch提取数据 十、可视化
阅读全文
摘要：注：官方pytorch版本 https://download.pytorch.org/whl/torch_stable.html 一、卸载 卸载原有驱动 方法一：找到显卡驱动.run文件： $ sh NVIDIA-Linux-x86_64-418.126.02.run --uninstall 方法二
阅读全文
摘要：一、简介 ACL2017年中，腾讯AI-lab提出了Deep Pyramid Convolutional Neural Networks for Text Categorization(DPCNN)。论文中提出了一种基于word-level级别的网络-DPCNN，由于上一篇文章介绍的TextCNN
阅读全文
摘要：一、概述 链接：https://pan.baidu.com/s/18nfxLB2cDE-ZLPXuS-TCjg 提取码：v5li 关注公众号：嬉皮工匠 获取更多论文笔记～ 联邦学习(Federated Learning)结构由Server和若干Client组成，在联邦学习方法过程中，没有任何用户数据
阅读全文
摘要：https://zhuanlan.zhihu.com/p/210653076 https://zhuanlan.zhihu.com/p/212862132 一、概述 近日，Facebook 开源了一个新型库 Opacus，它支持使用差分隐私来训练 PyTorch 模型，扩展性优于目前的 SOTA 方
阅读全文
摘要：转自：https://zhuanlan.zhihu.com/p/91269728 本文分享一个“万物皆可盘”的NLP对抗训练实现，只需要四行代码即可调用。盘他。 最近，微软的FreeLB-Roberta [1] 靠着对抗训练 (Adversarial Training) 在GLUE榜上超越了Face
阅读全文
摘要：一、TensorBoard
阅读全文
摘要：一、运行模型-会话 注意： 不管是走try或者是except，最终结果都会走finally。 二、常量与变量 注意： （1）常量不用初始化，变量必须初始化。 （2）常量小写，变量大写。 （3）常量初始化必须在session里执行一遍。 三、常量的赋值 四、占位符 五、Feed提交数据和fetch提取
阅读全文
摘要：一、入门 二、计算图的概念 三、张量的概念 四、张量的类型 五、操作
阅读全文
摘要：一、main.py import torch import tqdm from sklearn.metrics import roc_auc_score from torch.utils.data import DataLoader import os import numpy as np from
阅读全文
摘要：pytorch保存模型非常简单，主要有两种方法： 只保存参数；（官方推荐） 保存整个模型 (结构+参数)。 由于保存整个模型将耗费大量的存储，故官方推荐只保存参数，然后在建好模型的基础上加载。本文介绍两种方法，但只就第一种方法进行举例详解。 一、只保存参数 1.保存 一般地，采用一条语句即可保存参数
阅读全文
摘要：一、前言 Jupyter Notebook是一个很好用的编程环境，个人觉得甚至比MATLAB还要好用一些，主要是测试代码的时候很方便，支持历史代码的修改和执行，用起来很方便~ 不过有时候，我们会建立多个虚拟环境，如果我们想要在对应的虚拟环境下测试代码时，则需要将 Jupyter Notebook也配
阅读全文
摘要：一、代码一 import pandas as pd import codecs from config.root_path import root import os from utils.data_process import get_label,text_preprocess import js
阅读全文
摘要：地址：https://skimai.com/fine-tuning-bert-for-sentiment-analysis/ Tutorial: Fine tuning BERT for Sentiment Analysis Originally published by Skim AI’s Mac
阅读全文
摘要：一、前言 文本分类不是生成式的任务，因此只使用Transformer的编码部分（Encoder）进行特征提取。如果不熟悉Transformer模型的原理请移步。 二、架构图 三、代码 1、自注意力模型 class TextSlfAttnNet(nn.Module): ''' 自注意力模型 ''' d
阅读全文
摘要：一、架构图 二、代码实现 class TextCNN(nn.Module): def __init__(self, config:TCNNConfig, char_size = 5000, pinyin_size=5000): super(TextCNN, self).__init__() self
阅读全文
摘要：一、架构图 二、代码 class TextBILSTM(nn.Module): def __init__(self, config:TRNNConfig, char_size = 5000, pinyin_size = 5000): super(TextBILSTM, self).__init__(
阅读全文
摘要：https://github.com/ymcui/Chinese-BERT-wwm 在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole Word Maskin
阅读全文
摘要：huggingface的transformers框架，囊括了BERT、GPT、GPT2、ToBERTa、T5等众多模型，同时支持pytorch和tensorflow 2，代码非常规范，使用也非常简单，但是模型使用的时候，要从他们的服务器上去下载模型，那么有没有办法，把这些预训练模型下载好，在使用时指
阅读全文
摘要：一、出处 https://www.sbert.net/examples/training/sts/README.html https://github.com/UKPLab/sentence-transformers/blob/master/examples/training/sts/trainin
阅读全文
摘要：1、摘要 BERT (Devlin et al., 2018) and RoBERTa (Liu et al., 2019) has set a new state-of-the-art performance on sentence-pair regression tasks like seman
阅读全文
摘要：一、引入 1有很多指标可以用来衡量向量的相似度，比如余弦距离、汉明距离、欧氏距离等。 在图像、视频、文本、音频领域，做向量的相似性搜索，有很多应用点，比如：图像识别，语音识别、垃圾邮件过滤。 这种基于相似度检索的方案，不同于机器学习模型的方案。比如用有监督学习模型来做人脸识别，模型的可解释性较低，而
阅读全文
摘要：1 set nocompatible 2 set ic 3 set hlsearch 4 set encoding=utf-8 5 set fileencodings=utf-8,ucs-bom,GB2312,big5 6 set cursorline 7 set autoindent 8 set
阅读全文
摘要：在这篇文章中，我将概述一些在PyTorch中加速深度学习模型训练时改动最小，影响最大的方法。对于每种方法，我会简要总结其思想，并估算预期的加速度，并讨论一些限制。我将着重于传达最重要的部分，并为每个部分给出额外的一些资源。大多数情况下，我会专注于可以直接在PyTorch中进行的更改，而不需要引入额外
阅读全文