摘要: 一、命令方法 1.使用cp命令 需要注意的是这几个文件之间不要有空格 2.具有共同前缀 复制的文件是file1, file2, file3, file4 二、脚本方法 使用python脚本 shutil库 2. 将以上代码保存为move.py 3. 运行 $ python move.py /path 阅读全文
posted @ 2018-05-31 15:38 焦距 阅读(5494) 评论(0) 推荐(1) 编辑
摘要: 这里介绍一下文本预处理中常用的操作: 1.英文统一小写 2.分词 3.去噪 两种方式 (1)去停用词 包括中英文标点符号、以及噪音词,参考附录[1] (2)只保留指定词典中的词 这个词典与任务强相关,通常是当前任务重点关注的特征词 其中,为了保证分词的结果是我们想要的,通常需要调整jieba词典: 阅读全文
posted @ 2018-05-29 12:01 焦距 阅读(1008) 评论(0) 推荐(0) 编辑
摘要: 常用的中英字符/汉字: 英文字符可以从string包得到: 阅读全文
posted @ 2018-05-18 11:58 焦距 阅读(6316) 评论(0) 推荐(0) 编辑
摘要: 序贯(Sequential)模型 序贯模型是多个网络层的线性堆叠,也就是“一条路走到黑”。 可以通过向Sequential模型传递一个layer的list来构造该模型: from keras.models import Sequential from keras.layers import Dens 阅读全文
posted @ 2018-05-17 10:41 焦距 阅读(928) 评论(0) 推荐(0) 编辑
摘要: Keras FAQ:常见问题 如何引用Keras? 如果Keras对你的研究有帮助的话,请在你的文章中引用Keras。这里是一个使用BibTex的例子 @misc{chollet2015keras, author = {Chollet, François and others}, title = { 阅读全文
posted @ 2018-05-17 09:58 焦距 阅读(665) 评论(0) 推荐(0) 编辑
摘要: Keras项目github源码(python):keras-team/keras: Deep Learning for humans 里面的docs包含说明文档 中文文档:Keras中文文档 预训练模型的权重文件(Xception VGG16 VGG19 ResNet50 InceptionV3 I 阅读全文
posted @ 2018-05-16 21:07 焦距 阅读(170) 评论(0) 推荐(0) 编辑
摘要: 在用apt-get安装软件包的时候遇到E: Sub-process /usr/bin/dpkg returned an error code (1)问题,解决方法如下: 到此问题得以顺利解决。 参考:https://www.cnblogs.com/nkh222/p/8126455.html 阅读全文
posted @ 2018-05-16 16:17 焦距 阅读(48125) 评论(5) 推荐(10) 编辑
摘要: 一、用于对话系统的中英文语料 Datasets for Training Chatbot System 参考:GitHub - candlewill/Dialog_Corpus: 用于训练中英文对话系统的语料库 Datasets for Training Chatbot System 本项目收集了一 阅读全文
posted @ 2018-05-15 09:58 焦距 阅读(8828) 评论(0) 推荐(0) 编辑
摘要: 在训练深度学习模型的时候,通常将数据集切分为训练集和验证集.Keras提供了两种评估模型性能的方法: 使用自动切分的验证集 使用手动切分的验证集 一.自动切分 在Keras中,可以从数据集中切分出一部分作为验证集,并且在每次迭代(epoch)时在验证集中评估模型的性能. 具体地,调用model.fi 阅读全文
posted @ 2018-05-14 15:45 焦距 阅读(25966) 评论(2) 推荐(4) 编辑
摘要: 一、数值类型(int、float) # %d、%f是占位符>>> a = 3.1415926>>> print("%d"%a) #%d只能输出整数,int类3>>> print("%f"%a) #%f输出浮点数3.141593>>> print("%.2f"%a) #按照要求输出小数位数3.14>> 阅读全文
posted @ 2018-05-07 15:57 焦距 阅读(14922) 评论(0) 推荐(0) 编辑
摘要: 用keras训练好模型,再在django初始化加载模型,这个过程没有问题,但是在调用到模型执行model.predict()的时候就报错: 解决方法: 在django中加载模型后,先执行一次model.predict()操作,之后的调用就不会出问题了 参考:https://zhuanlan.zhih 阅读全文
posted @ 2018-04-26 21:03 焦距 阅读(1706) 评论(0) 推荐(0) 编辑
摘要: 1.Shell 数组数组中可以存放多个值。Bash Shell 只支持一维数组(不支持多维数组),初始化时不需要定义数组大小(与 PHP 类似)。 与大部分编程语言类似,数组元素的下标由0开始。 Shell 数组用括号来表示,元素用"空格"符号分割开,语法格式如下: 我们也可以使用下标来定义数组: 阅读全文
posted @ 2018-04-25 16:46 焦距 阅读(5257) 评论(0) 推荐(0) 编辑
摘要: Exception ignored in: <bound method BaseSession.__del__ of <tensorflow.python.client.session.Session object at 0x7fd3edd13e10>> Traceback (most recent 阅读全文
posted @ 2018-04-21 11:39 焦距 阅读(5427) 评论(0) 推荐(0) 编辑
摘要: 原因: h5py 和 numpy 版本冲突,h5py 官方已修复合并到 master 分支,但是还没发新版,在发版之前可以用降级 numpy 的方法跳过这个问题。 降级命令如下: 参考: https://wuwb.me/2018/03/h5py-futurewarning-problem-fix.h 阅读全文
posted @ 2018-04-20 19:34 焦距 阅读(3233) 评论(0) 推荐(0) 编辑
摘要: 下载安装下载WPS For Linux:http://community.wps.cn/download/ 直接下载:http://kdl.cc.ksosoft.com/wps-community/download/a21/wps-office_10.1.0.5672~a21_amd64.deb 安 阅读全文
posted @ 2018-04-12 11:53 焦距 阅读(273) 评论(0) 推荐(0) 编辑
摘要: 1.从原文件中随机选出若干行 可以直接用shuf命令就可以完成: shuf命令的说明: 2.把文件随机切分成若干部分 这里我的做法是先把文件全部打乱,再进行顺序切分 (1)全部打乱 (2)顺序切分 切分的方法有很多种:用split、head/tail、awk、sed都可以,根据实际需要选用即可 (可 阅读全文
posted @ 2018-04-10 10:34 焦距 阅读(3446) 评论(0) 推荐(0) 编辑
摘要: 2018-04-09 update 利用python中的内置函数 eval() ,函数说明: 样例1: 样例2: ********************************************************************************************* 阅读全文
posted @ 2018-04-09 12:03 焦距 阅读(23598) 评论(1) 推荐(0) 编辑
摘要: Python中针对dict字典有两种复制: (1)浅复制:利用 copy() 或者 dict() ;复制后对原dict的内部子对象(方括号[]内元素)进行操作时,由浅复制得到的dict会受该操作影响 (2)深复制:利用 deepcopy() ;复制后对原dict的内部子对象(方括号[]内元素)进行操 阅读全文
posted @ 2018-04-03 17:14 焦距 阅读(4156) 评论(0) 推荐(0) 编辑
摘要: sklearn中,计数向量化用CountVectorizer,tfidf向量化用TfidfVectorizer: TfidfVectorizer初始化对象时可以指定归一化参数norm : 'l1', 'l2' or None, optional Countvectorizer和TfidfVector 阅读全文
posted @ 2018-03-29 15:39 焦距 阅读(2617) 评论(0) 推荐(0) 编辑
摘要: 记正样本为P,负样本为N,下表比较完整地总结了准确率accuracy、精度precision、召回率recall、F1-score等评价指标的计算方式: (右键点击在新页面打开,可查看清晰图像) 简单版: *********************************************** 阅读全文
posted @ 2018-03-21 17:05 焦距 阅读(22823) 评论(0) 推荐(1) 编辑