02 2020 档案
摘要:目录: 1、Elmo与transformer的简单回顾 2、DAE与Masked Language Model 3、Bert模型详解与不同训练方法 4、如何把bert模型应用到实际项目中 5、如何对bert减肥(优化) 6、bert存在的问题 1、Elmo与transformer的简单回顾 一词多义
阅读全文
摘要:bert作为开创性的模型,可以用于大部分的场景,但也存在一些问题,不能用于生成,训练数据和测试数据的不一致(Discrepancy)。XLnet是比bert更强大的预训练模型,基于permutation实现了真正的双向学习,使用双流自注意力机制,结合transformers-XL的相对位置编码,效果
阅读全文
摘要:自然语言难在哪? 自然语言特点: 1、创新性,新词旧词;2、递归性;递归性为语言带来精确表达的能力;3、多义性,自然语言包含多粒度语言单位:字、词、短语、句子、语篇。自然语言理解的关键目标是自动消歧;4、主观性,与个体的社会阅历相关;5、社会性,社会结构影响人类语言 二、自然语言的未来 1、深度学习
阅读全文
摘要:ALbert第一作者蓝振忠解说: ALBERT的提出就是为了给BERT瘦身,让模型更大的BERT有算力能跑起来。作者通过权值共享和矩阵分解减少参数。降低了空间复杂度,但计算量并没有减少,所以在模型进行下游任务和预测的时候并不会更快。所以作者说现在优化BERT的方法也是往时间复杂度的方向优化。 ALB
阅读全文
摘要:目录: 基础部分回顾(词向量、语言模型) NLP的核心:学习不同语境下的语义表示 基于LSTM的词向量学习 深度学习中的层次表示以及Deep BI-LSTM ELMo模型 总结 1. 基础部分回顾(词向量、语言模型) 1.1 独热编码-词的表示 1.2 词向量-词的表示 我们为什么需要词向量?(On
阅读全文
摘要:高德API调取具体POI存在几个问题:调取次数限制、每次获取的数据量限制900。 推荐:在调取城市POI具体数据的基础上,先将城市区域切分网格,然后可以获取城市POI数据; 一个git解决全部问题:POI获取 运行app.py, 修改参数 :1、app.py内部切分城市区域网格颗粒度pology_s
阅读全文
摘要:数据结构:数据(基本类型(int,float,char))的组织方式 算法复杂度 时间复杂度:用来估计算法运行时间的一个单位;O(n)、O(1) 常见于for循环, 或者log(n)—常见于while循环。循环减半时复杂度为log(n) 常见时间复杂度排序 O(1) < O(logn)< O(n)
阅读全文
摘要:Batch 和Epoch 神经网络中参数更新常用随机梯度下降法,batch控制模型内部参数更新之前训练样本的个数;Epoch有一个或多个barch组成,控制通过训练数据集的完整传递的次数。 比如训练集有50000个样本,而我设定的batch size是50,也就是说每50个样本才更新一次参数,那么也
阅读全文