摘要:
scikit learn中SVM的算法库分为两类,一类是分类的算法库,包括SVC, NuSVC,和LinearSVC 3个类。另一类是回归算法库,包括SVR, NuSVR,和LinearSVR 3个类。相关的类都包裹在sklearn.svm模块之中。 对于SVC, NuSVC,和LinearSVC 阅读全文
摘要:
[TOC] 本文翻译自 "Are BERT Features InterBERTible?" 从词袋模型到BERT Mikolov等人提出Word2Vec已经过去很长时间了。当时似乎每一个玩机器学习的人都能背出“ 国王 减去 男人 加上 女人 等于 女王 ”这条“咒语”。如今,这些可解释的词嵌入 阅读全文
摘要:
[TOC] 本文翻译自 "How Self Attention with Relative Position Representations works" , 介绍 Google的研究成果。 引言 本文基于Shaw 等人发表的论文 "《Self Attention with Relative P 阅读全文
摘要:
[TOC] 本文翻译自 "Why BERT has 3 Embedding Layers and Their Implementation Details" 引言 本文将阐述BERT中嵌入层的实现细节,包括token embeddings、segment embeddings, 和positio 阅读全文
摘要:
翻译自Jacob Devlin分享的slides [TOC] NLP中的预训练 词嵌入是利用深度学习解决自然语言处理问题的基础。 词嵌入(例如word2vec,GloVe)通常是在一个较大的语料库上利用词共现统计预训练得到的。例如下面两个句子中,由于 king 和 queen 附近的上下文时常相同或 阅读全文
摘要:
本文翻译自Jay Alammar的博客 "The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning)" [TOC] 2018年是机器学习模型处理文本(更准确地说,是自然语言处理或简称NLP)的转折点。我们对以何种方式 阅读全文
摘要:
本文翻译自 "Jay Alammar的博文The Illustrated Transformer" [TOC] 注意力是一个有助于提高神经机器翻译模型性能的机制。在这篇文章中,我们将着眼于Transformer——一个利用注意力来提高模型训练速度的模型。Transformer在特定任务中的性能优于G 阅读全文
摘要:
本文翻译自:博文 "What will happen when we apply CapsNet with dynamic routing to NLP?" 本文要讲的是研究人员在应用CapsNet(胶囊网络)进行文本分类时发现了什么。我们需要了解下列的网络层次以及相应的算法。 N gram卷积层 阅读全文
摘要:
"Awesome Repositories for Text Modeling" |repo|paper| |: :|: :| | "miracleyoo/DPCNN TextCNN Pytorch Inception" | "Deep Pyramid Convolutional Neural Ne 阅读全文
摘要:
"Awesome Repositories for NLI and Semantic Similarity" mainly record pytorch implementations for NLI and similarity computing |REPOSITORY|REFERENCE| | 阅读全文