随笔分类 - nlp
首届中文NL2SQL挑战赛-step7记录
摘要:solo train_final_3000,dev_final_2800 修改了损失函数 train results Epoch: 0, ave loss: 3.9705981184689696, acc_wn: 0.736, acc_wc: 0.286, acc_wo: 0.342, acc_wv
阅读全文
首届中文NL2SQL挑战赛-step6
摘要:*1、同时跑矫正和不矫正的dev *2 、max col分为设置为2和3 ops只用 大于 小于 等于 *3、w相关模型单独跑 效果差 4、提高wc的acc,试图用wc去矫正wv *5、修改模型,不能argmax了,因为可以同列啊!! 6 ngram修改 模型从头整理: *1 提交的model重新跑
阅读全文
ELMO及前期工作 and Transformer及相关论文
摘要:论文1 https://arxiv.org/pdf/1705.00108.pdf Semi-supervised sequence tagging with bidirectional language models 理解序列标注中,如何使用动态embedding向量(bilstm) 1、上下文敏感
阅读全文
LSTM参数和结构的本质理解——num_units参数/batch_size/cell计算
摘要:参考 ———— 图例讲解 https://blog.csdn.net/u014518506/article/details/80445283 理解:cell其实只有一个 ; sequence length其实就是这个cell更新多少次;LSTM的参数总数其实从全连接层的角度来看就可以 源码分析 ht
阅读全文
MTLD -词汇复杂度的指标
摘要:论文: MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment 地址: https://link.springer.com/content/pdf/1
阅读全文
Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks-paper
摘要:Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks 作者信息:Kai Sheng Tai Stanford UniversityRichard Socher MetaMindCh
阅读全文
Parsing with Compositional Vector Grammars--paper
摘要:这篇和2012年的区别: 1)Max-Margin Training Objective J中RNN变为了CVG 2012-两个词向量合并并打分,这个-两个(词向量,POS)合并并打分 2012年: Socher et al. (2012) proposed to give every single
阅读全文
Reasoning With Neural Tensor Networks For Knowledge Base Completion-paper
摘要:https://www.socher.org/index.php/Main/ReasoningWithNeuralTensorNetworksForKnowledgeBaseCompletion 年份:2013 https://www.cnblogs.com/wuseguang/p/4168963.
阅读全文
Semantic Compositionality through Recursive Matrix-Vector Spaces-paper
摘要:Semantic Compositionality through Recursive Matrix-Vector Spaces 作者信息:Richard Socher Brody Huval Christopher D. Manning Andrew Y. Ngrichard@socher.org
阅读全文
Parsing Natural Scenes and Natural Language with Recursive Neural Networks-paper
摘要:Parsing Natural Scenes and Natural Language with Recursive Neural Networks作者信息: Richard Socher richard@socher.orgCliff Chiung-Yu Lin chiungyu@stanford
阅读全文
tree-lstm初探
摘要:https://zhuanlan.zhihu.com/p/35252733 可以先看看上面知乎文章里面的例子 Socher 等人于2012和2013年分别提出了两种区分词或短语类型的模型,即SU-RNN(Syntactically-Untied RNN)和MV-RNN(Matrix-Vector R
阅读全文
Hierarchical RNN
摘要:https://blog.csdn.net/liuchonge/article/details/73610734 https://blog.csdn.net/triplemeng/article/details/78269127 -- https://github.com/triplemeng/hi
阅读全文
RNN-LSTM-GRU-BIRNN
摘要:https://blog.csdn.net/wangyangzhizhou/article/details/76651116 共三篇 RNN的模型展开后多个时刻隐层互相连接,而所有循环神经网络都有一个重复的网络模块,RNN的重复网络模块很简单,如下下图,比如只有一个tanh层。 而LSTM的重复网络
阅读全文
lesson3-神经序列模型I-小象
摘要:优化目标函数: batch gradient descent:必须便利all训练数据 --》随机梯度下降,但不稳定~一个数据点就更新,快但不稳定--》minibatch,取m个随机数据点,求偏导数 why mini就ok:因为大数据是有冗余的,就像看24史-》万历十五年-》三国,稳定更新快,因为很多
阅读全文
lecture2-word2vec-七月在线nlp
摘要:离散表示: one-hot bag of words -- 词权重 ~不能表示顺序关系 TF-IDF (Term Frequency - Inverse Document Frequency) [0.693, 1.386, 0.693, 0.693, 1.099, 0, 0, 0, 0.693, 0
阅读全文
lecture1-Word2vec实战班-七月在线nlp
摘要:nltk的全称是natural language toolkit,是一套基于python的自然语言处理工具集。自带语料库、词性分类库、自带分类分词等功能、强大社区支持、很多简单版wrapper 文本处理: preprocess -》 分词 tokenize -》make features,成为数字化
阅读全文