随笔分类 - NLP
摘要:本节翻译在PYTORCH NLP系列最后一文。利用torchtext类来处理一个著名的数据集,包含了一些英文和德文句子。利用该数据处理sequence-to-sequence模型,通过注意力机制,可以将德语翻译成英语。基于 this tutorial from PyTorch community m
阅读全文
摘要:本文译自PYTORCH官网TEXT系列。本节主要利用torchtext中的文本分类数据集,包括: 这个例子展示了如何利用这些TextClassfication数据集中的一个来训练监督学习算法。 用ngrams加载数据 一个ngrams包特性被用来捕获一些关于本地词序的部分信息。在实际应用中,双字元(
阅读全文
摘要:Author: Sean Robertson 这是NLP从头学习系列的第三篇。之前都是利用自己写的函数与类来处理数据并完成NLP分类与生成任务。本节将学习利用torchtxt来处理。该项目为:教会网络从法语翻译成英语。 这个实现主要根据 sequence to sequence network,其中
阅读全文
摘要:Author: Sean Robertson 从头开始NLP的第二篇。第一篇用于对给定的名字进行分类,分类属于哪种语言。这次将学习如何从给定语言生成名字。 仍然手动实现一个小型RNN,不同的是之前输入一个名字的所有字母来输出一个类别,这次输入类别一次输出一个字母。递归预测来形成语言。也被称为“语言模
阅读全文
摘要:翻译总结于 pytorch官网 Author: Sean Robertson 构建一个基础的character-level RNN来分类单词。本文和接下来的两篇文章将会从头(数据处理)开始构建NLP模型。特别的没有利用各种已有的操作(torchtext),所以可以从底层来学习NLP模型的处理过程。
阅读全文