摘要：监督学习与无监督学习区别在于模型训练时是否需要人工标注的标签信息。 自监督学习（self-surpervised learning）：属于无监督学习，但区别在于无监督是不需要label，而自监督是模型自己构造label。 Bert NLP中文本的表示问题（即将单词表示为向量）： one hot ve 阅读全文

摘要：简介 transformer是一个sequence to sequence(seq2seq)的模型，它可以应用在语音识别(普通话到中文)、机器翻译(中文到英文)、语音翻译(普通话到英文)、nlp(input文本与问题，output答案)等众多领域。 seq2seq模型在transformer出现之前 阅读全文

摘要：一、引入 之前我们的神经网络的input通常是一个vector，现在我们的input变为大小不定的vector set，这样的场景有许多，比如语音信号、图网络等。 那么我们的output有如下三种情况，它们都有对应的场景，分别如句子中每个单词词性的判定、句子积极or消极判定、跨语言翻译，我们这里关注 阅读全文