随笔分类 - NLP
自然语言处理
摘要：转https://zhuanlan.zhihu.com/p/590547670 Contrastive Loss简介 对比损失在非监督学习中应用很广泛。最早源于2006年Yann LeCun的”Dimensionality Reduction by Learning an Invariant Map
阅读全文
摘要：对比学习中的温度系数是一个神秘的参数，大部分论文都默认采用小的温度系数来进行自监督对比学习（例如0.07，0.2）。然而并没有对采用小温度系数的解释，以及温度系数是如何影响学习过程的，即温度系数这个角色的意义。 今天给大家介绍一篇CVPR2021中研究对比损失（Contrastive Loss）温度
阅读全文
摘要：引子 问&答 是人和人之间非常重要的沟通方式，其关键在于：我们要理解对方的问题，并给出他想要的答案。设想这样一个场景，当你的女朋友or老婆大人在七夕前一晚，含情脉脉地跟你说 亲爱的，七夕快到了，可以给我换个新手机吗？ 而此时沉迷王者峡谷的你，也许会不假思索地回答 好啊亲爱的~ 昨天刚看到拼多多九块九
阅读全文
摘要：BERT-flow来自论文《On the Sentence Embeddings from Pre-trained Language Models》，中了EMNLP 2020，主要是用flow模型校正了BERT出来的句向量的分布，从而使得计算出来的cos相似度更为合理一些。由于笔者定时刷Arixv的
阅读全文
摘要：一、项目目录 二、data_clean生成数据 from common.root_path import root import os import pandas as pd class DataMerge(object): def __init__(self): self.data_path =
阅读全文
摘要：一、理论学习 1、胶囊结构 胶囊可以看成一种向量化的神经元。对于单个神经元而言，目前的深度网络中流动的数据均为标量。例如多层感知机的某一个神经元，其输入为若干个标量，输出为一个标量（不考虑批处理）；而对于胶囊而言，每个神经元输入为若干个向量，输出为一个向量（不考虑批处理）。前向传播如下所示： 其中I
阅读全文
摘要：中文字、词Bert向量生成利用Bert预训练模型生成中文的字、词向量，字向量是直接截取Bert的输出结果；词向量则是把词语中的每个字向量进行累计求平均（毕竟原生Bert是基于字符训练的），Bert预训练模型采用的是科大讯飞的chinese_wwm_ext_pytorch，网盘下载地址： 链接：htt
阅读全文
摘要：Focal Loss for Dense Object Detection 是ICCV2017的Best student paper,文章思路很简单但非常具有开拓性意义，效果也非常令人称赞。 GHM(gradient harmonizing mechanism) 发表于 “Gradient Harm
阅读全文
摘要：1.为什么需要好的权重初始化 网络训练的过程中, 容易出现梯度消失(梯度特别的接近0)和梯度爆炸(梯度特别的大)的情况,导致大部分反向传播得到的梯度不起作用或者起反作用. 研究人员希望能够有一种好的权重初始化方法: 让网络前向传播或者反向传播的时候, 卷积的输出和前传的梯度比较稳定. 合理的方差既保
阅读全文
摘要：一、xgboost类库实用小结 在XGBoost算法原理小结中，我们讨论了XGBoost的算法原理，这一片我们讨论如何使用XGBoost的Python类库，以及一些重要参数的意义和调参思路。 本文主要参考了XGBoost的Python文档 和 XGBoost的参数文档。 1. XGBoost类库概述
阅读全文
摘要：一、将收集到的语料进行文本预处理 1）train.txt预处理为train.csv，格式为id，内容，标签 使用excel打开train.txt然后选择分隔符为英文逗号，这样内容在一列，然后再为他们添加id，从1-900，接着添加标签，0，1，2分别表示财经，体育，军事。最后另存为csv文件。 2）
阅读全文
摘要：一、读取数据 二、数据集划分 三、准备建模 四、数据准备 五、构建模型 六、训练模型 七、版本二：模型归一化
阅读全文
摘要：一、简介 ACL2017年中，腾讯AI-lab提出了Deep Pyramid Convolutional Neural Networks for Text Categorization(DPCNN)。论文中提出了一种基于word-level级别的网络-DPCNN，由于上一篇文章介绍的TextCNN
阅读全文
摘要：一、概述 链接：https://pan.baidu.com/s/18nfxLB2cDE-ZLPXuS-TCjg 提取码：v5li 关注公众号：嬉皮工匠 获取更多论文笔记～ 联邦学习(Federated Learning)结构由Server和若干Client组成，在联邦学习方法过程中，没有任何用户数据
阅读全文
摘要：https://zhuanlan.zhihu.com/p/210653076 https://zhuanlan.zhihu.com/p/212862132 一、概述 近日，Facebook 开源了一个新型库 Opacus，它支持使用差分隐私来训练 PyTorch 模型，扩展性优于目前的 SOTA 方
阅读全文
摘要：转自：https://zhuanlan.zhihu.com/p/91269728 本文分享一个“万物皆可盘”的NLP对抗训练实现，只需要四行代码即可调用。盘他。 最近，微软的FreeLB-Roberta [1] 靠着对抗训练 (Adversarial Training) 在GLUE榜上超越了Face
阅读全文
摘要：一、TensorBoard
阅读全文
摘要：https://github.com/ymcui/Chinese-BERT-wwm 在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole Word Maskin
阅读全文
摘要：huggingface的transformers框架，囊括了BERT、GPT、GPT2、ToBERTa、T5等众多模型，同时支持pytorch和tensorflow 2，代码非常规范，使用也非常简单，但是模型使用的时候，要从他们的服务器上去下载模型，那么有没有办法，把这些预训练模型下载好，在使用时指
阅读全文
摘要：一、出处 https://www.sbert.net/examples/training/sts/README.html https://github.com/UKPLab/sentence-transformers/blob/master/examples/training/sts/trainin
阅读全文