学习笔记（51）- texar

上次没有把texar安装成功。
螺旋式上升，这次再试试。

Texar: A Modularized, Versatile, and Extensible Toolkit for Text Generation
Zhiting Hu, Haoran Shi, Bowen Tan, Wentao Wang, Zichao Yang, Tiancheng Zhao, Junxian He, Lianhui Qin, Di Wang, Xuezhe Ma, Zhengzhong Liu, Xiaodan Liang, Wanrong Zhu, Devendra Sachan and Eric Xing
ACL 2019

官方提供了2个版本的实现， TensorFlow版本和(PyTorch版本)[https://github.com/asyml/texar-pytorch)

texar是一个支持多种机器学习任务的工具箱，尤其是自然语言处理和文本生成任务。
Texar提供了易用的机器学习模块，可支持任意模型和算法。
研究者和从业人员都可以使用Texar快速构建原型和实验。

可定制化、支持多种预训练模型，提供API。

模型/算法举例：RNN / Seq2seq、Transformer、Variational Autoencoder (VAE)、Classifier / Sequence Prediction
任务举例：语言模型、机器翻译、分类任务

texar是一个机器学习工具包，提供了一些任务的样例：

• bert + 句子分类（GLUE：'CoLA', 'MNLI', 'MRPC', 'XNLI', 'SST'）
• gpt-2 + 文本生成
• SST + 情感分类
• Attention + 机器翻译
• transformer + 机器翻译
• VAE + 文本生成
• xlnet + 文本生成/分类任务

以texar-pytorch仓库为例，测试文本生成效果：
文本生成的代码路径是examples目录：/vae_text、xlnet、gpt-2
关于VAE，作者提供了yahoo和ptb数据集在lstm和transfer上面的代码，共4个。其中yahoo的数据集较大，没有训练完成。