随笔分类 - NLP
序列模型
摘要：序列建模 行为序列数据蕴含用户的兴趣偏好，对该信息的挖掘可以提高推荐结果的准确性。 行为序列建模可以归纳为两个方面： 特征工程 模型结构 特征是对某个行为过程的抽象表达，特征工程旨在更精确的刻画行为过程，需要对具体的业务场景有一定的理解。构建完特征后，还需要运用合适的技术有效地挖掘数据中的信息，所以
Word2vec学习
摘要：什么是Word2vec？为什么要有这么一个东西？ word2vec是 word embedding 的方式之一， 属于NLP领域。他是将词转化为「可计算」「结构化」的向量的过程。 Word2vec的两种训练方式 CBOW(Continuous Bag-of-Words Model)和Skip-gra
BERT
摘要：Word Embedding、RNN/LSTM/GRU+Seq2Seq+Attention+Self-Attention机制和Contextual Word Embedding(Universal Sentence Embedding) Fine-Tuning
