摘要: 最近公司需要自己组装3090显卡,记录一下装机踩的坑。 首先安装Ubantu20.04,进入系统后有配置显卡所需环境有几个需要注意的地方: 一、网络设置 机器没有无线网卡只能使用usb共享手机热点联网;需要买外接网卡 chrome浏览器安装 wget https://dl.google.com/li 阅读全文
posted @ 2021-07-06 21:19 xiaonezha 阅读(596) 评论(0) 推荐(0) 编辑
摘要: 由于模型训练完之后需要上线部署,这个过程中需要将模型集成到当前的软件架构中,因此要根据软件架构考虑模型的实际部署方法。目前来看主流的部署方法有以下几种方案: 1.python服务接口 在python服务器上部署模型文件,给出一个http服务,后台通过这个服务就可以调用模型进行输入输出了。 优点:算法 阅读全文
posted @ 2021-07-06 21:10 xiaonezha 阅读(3638) 评论(0) 推荐(0) 编辑
摘要: 由于3090显卡只支持tf2.0以后的版本,而且随着显卡的更新换代,tf1.x版本也不支持更高级的显卡,所以有必要将1.x版本的代码转成2.0后的版本。 Tf2.0版本和tf1.0版本的主要区别 主要区别在于tf1.x是静态图,需要先把模型结构先定好,再进行训练 Tf2.0版本则是动态图,训练前不用 阅读全文
posted @ 2021-07-06 21:07 xiaonezha 阅读(526) 评论(0) 推荐(0) 编辑
摘要: 最近要做一个简单金融场景的对话问答系统,由于一开始没有业务数据,首先想到的就是话术模版问答,在调研了一些技术文章和系统后,发现比较常用的就是rasa,比较适合单一业务场景的对话,大厂的开放式问答可能是很多人自主研发的一套框架,对于很多中小厂则主流使用的是rasa,可以减少一部分基建的时间。 一个完整 阅读全文
posted @ 2021-07-06 20:58 xiaonezha 阅读(1270) 评论(0) 推荐(0) 编辑
摘要: 概率图模型是一类用途来表达相关关系的概率模型。它以图为表示工具,最常见的是用一个结点表示一个或一组随机变量,节点之间的边表示变量间的概率相关关系,即“变量相关图”。 根据边的性质不同,概率图模型可大致分为两类:第一类是使用有向无环图表示变量间的依赖关系,称为有向无环图或者贝叶斯网;第二类是使用无向图 阅读全文
posted @ 2020-05-25 21:53 xiaonezha 阅读(804) 评论(0) 推荐(0) 编辑
摘要: 目前一般使用tf-serving部署深度学习模型,使用tf-serving部署一般要先安装docker,然后使用docker构建serving镜像。 在部署的时候服务默认使用全部的gpu资源,可以指定镜像使用的某一块gpu显卡编号,但是不能指定服务占用gpu资源的百分比。 模型的推理过程还需要进行数 阅读全文
posted @ 2020-02-18 22:43 xiaonezha 阅读(535) 评论(0) 推荐(0) 编辑
摘要: 尝试了使用词频的词表征进行kmeans,效果不好,所以考虑看看使用word2vec的词表征会有什么不同。 1.加载word2vec import gensimmodel = gensim.models.KeyedVectors.load_word2vec_format('word2vector.bi 阅读全文
posted @ 2019-05-16 18:26 xiaonezha 阅读(5170) 评论(0) 推荐(0) 编辑
摘要: 最近处理中文数据集经常用到jieba,记录一下遇到的问题。 1.分词 最常用的就是jieba.cut(text) 一般还会使用jieba.posseg进行词性过滤 词性表: Ag 形语素 形容词性语素。形容词代码为 a,语素代码g前面置以A。 a 形容词 取英语形容词 adjective的第1个字母 阅读全文
posted @ 2019-05-16 11:33 xiaonezha 阅读(741) 评论(0) 推荐(0) 编辑
摘要: 最近做数据预处理遇到了一些小问题,记录一下。 1.数据的读取和存储 一般读取数据使用pandas里的read_csv pd.read_csv(path, sep=',', header=None, nrows=n) 另外通用的读取为: with open(filename, 'r', encodin 阅读全文
posted @ 2019-05-16 11:06 xiaonezha 阅读(361) 评论(0) 推荐(0) 编辑
摘要: 对于二分类问题,precision,recall,auc,f1_score的计算原理都比较熟悉,但是多分类问题的计算还是有一点小小的区别,在使用sklearn.metrics的时候需要注意一下; 对于sklearn.metrics下的roc_auc_score, precision_score, r 阅读全文
posted @ 2019-04-09 11:31 xiaonezha 阅读(6980) 评论(0) 推荐(0) 编辑