Jerry_Jin

摘要： 前几天在群里大家讨论到了“Transformer如何解决梯度消失”这个问题，答案有提到残差的，也有提到LN（Layer Norm）的。这些是否都是正确答案呢？事实上这是一个非常有趣而综合的问题，它其实关联到挺多模型细节，比如“BERT为什么要warmup？”、“BERT的初始化标准差为什么是0.02 阅读全文

摘要： 大家都知道，BERT的MLM（Masked Language Model）任务在预训练和微调时的不一致，也就是预训练出现了[MASK]而下游任务微调时没有[MASK]，是经常被吐槽的问题，很多工作都认为这是影响BERT微调性能的重要原因，并针对性地提出了很多改进，如XL-NET、ELECTRA、Ma 阅读全文

摘要： 自SimCLR以来，CV中关于无监督特征学习的工作层出不穷，让人眼花缭乱。这些工作大多数都是基于对比学习的，即通过适当的方式构造正负样本进行分类学习的。然而，在众多类似的工作中总有一些特立独行的研究，比如Google的BYOL和最近的SimSiam，它们提出了单靠正样本就可以完成特征学习的方案，让人 阅读全文

摘要： Problem Ubuntu 20.04 Xrdp Black Screen Ubuntu 20.04 Xrdp 远程桌面黑屏 remote desktop Xrdp on Ubuntu 20.04,ubuntu 20 xrdp black screen,xrdp black screen ubun 阅读全文

摘要： 自从Transformer出来以后，Transformer便开始在NLP领域一统江湖。而Transformer在CV领域反响平平，一度认为不适合CV领域，直到最近计算机视觉领域出来几篇Transformer文章，性能直逼CNN的SOTA，给予了计算机视觉领域新的想象空间。本文不拘泥于Transfor 阅读全文

摘要： Ubuntu 18.04 / 20.04 自定义锁屏时间 GUI 方法： 设置->电源->blank screen 命令行方法： 方法一 设置自动锁屏时间为1小时（3600 秒） gsettings set org.gnome.desktop.session idle-delay 3600 方法二 阅读全文

摘要： What is attention？ 先简单描述一下attention机制是什么。相信做NLP的同学对这个机制不会很陌生，它在Attention is all you need可以说是大放异彩，在machine translation任务中，帮助深度模型在性能上有了很大的提升，输出了当时最好的sta 阅读全文

摘要： 原文地址时间：2018年Introductionend-to-end encoder-decoder模型存在一个问题：当将一张包括未见过的场景输入到网络中时，返回的结果仅仅就是一些显著的object，比如“there is a dog on the floor”，这样的结果与object detec 阅读全文

摘要： 一、前言 二、DBSCAN聚类算法 三、参数选择 四、DBSCAN算法迭代可视化展示 五、常用的评估方法：轮廓系数 六、用Python实现DBSCAN聚类算法 一、前言 去年学聚类算法的R语言的时候，有层次聚类、系统聚类、K-means聚类、K中心聚类，最后呢，被DBSCAN聚类算法迷上了，为什么呢 阅读全文

摘要： Problem: Whenever I run spyder, It results in the error below QXcbConnection: Failed to initialize XRandr Qt: XKEYBOARD extension not present on the X 阅读全文