上一页 1 ··· 38 39 40 41 42 43 44 45 46 ··· 64 下一页
摘要: 之前训练模型,认为网络图构建完成,Loss肯定是呈现下降的,就没有太留心,知识关注F1的变化情况,找到最优的F1训练就停止了,认为模型就ok。 但实际中发现,我们要时刻关注网络的损失变化情况,batch size过小(6,8)都会导致模型不收敛,此时你就看不到损失的变化,只能根据F1优劣判断模型。 阅读全文
posted @ 2019-03-15 09:31 今夜无风 阅读(1636) 评论(0) 推荐(0) 编辑
摘要: 在实际的nlp实际任务中,你有一大堆的人工标注的关键词,来新的一句话,找出这句话中的关键词,以便你以后使用,那如何来做呢? 1)用到正则的 finditer()方法,返回你匹配的关键词的迭代对象,包含起始结束索引 2)增强list循环,提取数据 代码如下: 这里我只要开始索引,结果如下: 之后,你想 阅读全文
posted @ 2019-03-14 11:42 今夜无风 阅读(1275) 评论(0) 推荐(0) 编辑
摘要: 在编程时,我们要获取当前文件所在的路径,以适合所有的工程,建立相对路径。 python的os.path.dirname(__file__)非常好用,建议大家使用: 输出: 阅读全文
posted @ 2019-03-11 19:05 今夜无风 阅读(2324) 评论(0) 推荐(0) 编辑
摘要: 1、查看cuda版本 cat /usr/local/cuda/version.txt2、查看cudnn版本 cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 按照结果顺序读取出版本号 阅读全文
posted @ 2019-03-06 18:04 今夜无风 阅读(3964) 评论(0) 推荐(0) 编辑
摘要: 为了模型小型化,效率更高,使用TensorRT进行优化。前提是你必须要安装pycuda,可是费了我一番功夫。做一个笔记如下: 1.参考网址: https://wiki.tiker.net/PyCuda/Installation/Linux/ 2.配置代码 阅读全文
posted @ 2019-03-04 15:00 今夜无风 阅读(3718) 评论(0) 推荐(0) 编辑
摘要: 在自然语言处理中,我们有时对文本进行处理,需要去除一些特殊符号,保留中文,这是在预处理过程中常用到的。分享给你,希望对你有帮助! 阅读全文
posted @ 2019-02-28 16:22 今夜无风 阅读(744) 评论(0) 推荐(0) 编辑
摘要: 在深度学习模型真正上线去工作的时候,我们最为关注的就是效率,即实时处理能力。 在进行去停用词的过程中,耗费的时间非常大,主要原因为我将停用词存储到list中,但是list在查询过程中,效率非常低。之后,尝试将数据放入到字典中,键是词,值是任意的数字。 再进行去停用词操作,效率果然飞的彪起来啊。 所以 阅读全文
posted @ 2019-02-27 19:34 今夜无风 阅读(689) 评论(0) 推荐(0) 编辑
摘要: 最近已经训练好了一版基于DeepLearning的文本分类模型,TextCNN原理。在实际的预测中,如果默认模型会优先选择GPU那么每一次实例调用,都会加载GPU信息,这会造成很大的性能降低。 那么,在使用的过程中我们无关乎使用GPU还是CPU,使用CPU反而是很快的,所以在有GPU的服务器部署模型 阅读全文
posted @ 2019-02-21 17:17 今夜无风 阅读(1788) 评论(0) 推荐(0) 编辑
摘要: 最近在做二分类模型的调优工作。最终发现模型的正例精度在95%,而正例的召回率在83%,这是什么情况呢。 我把模型预测的2000条样本结果的错误标签和内容都打印出来,发现,在样本标注的时候,多数的正样本被错误的标注为负样本,这样模型学到正例的能力就变弱了,这样将大多数正样本预测为负样本的同时,负样本的 阅读全文
posted @ 2019-02-18 10:33 今夜无风 阅读(7618) 评论(0) 推荐(0) 编辑
摘要: 最近在使用注意力机制实现文本分类,我们需要观察每一个样本中,模型的重心放在哪里了,就是观察到权重最大的token。这时我们需要使用热力图进行可视化。 我这里用到:seaborn seaborn.heatmap seaborn.heatmap(data, vmin=None, vmax=None, c 阅读全文
posted @ 2019-02-14 16:40 今夜无风 阅读(5297) 评论(0) 推荐(0) 编辑
上一页 1 ··· 38 39 40 41 42 43 44 45 46 ··· 64 下一页