随笔分类 - Deep Learning
摘要：信息来源：智能推荐算法在直播场景中的应用，王洋 作者通过工程实践的角度介绍了直播过程中的用户推荐，几个重点总结一下。 1.数据的隐式反馈和显式反馈 2.显式反馈常用方法 3.隐式反馈常用方法 线上使用： 4.优缺点分析 召回模型是一种粗排思想，特点就是速度快 5. 特征分析 6.模型训练及更新
阅读全文
摘要：""" test """ import os import gensim import pickle import time import numpy as np DIR_PATH = os.path.dirname(os.path.abspath(__file__)) HASHTABLES = o
阅读全文
摘要：检索：解决的最大问题就是如何做到低延迟、快速匹配 采用局部敏感哈希：lsh FaceBook的开源数据包：pysparnn 解决问题：稀疏数据的近邻搜索！ 源代码网址:http://www.github.com/facebookresearch/pysparnn 测试源码： """ test """
阅读全文
摘要：jieba的用户自定义分词字典能够有效提升任务性能，必不可少。 在此之前，一直使用"user_dict.txt"为“txt”后缀的加载方式： jieba.load_userdict("./user_dict.txt") 但是当前为了保存加密需求，必须要对txt数据做序列化操作，起到一定的加密作用。通
阅读全文
摘要：构件好保存对象时，对json数据格式化存储有助于数据观察和规整 json.dump()的时候设置一下indent参数的值就ok 比如json.dump(json_dict, f, indent=4)，indent控制缩进 ensure_ascii=False，写入读取中文形式
阅读全文
摘要：答案选择技术最实质的应用就是用于检索式问答系统，本专栏本来是以介绍论文为主的，但是经过这段时间的沉淀，个人真心觉得论文看得再多，如果不将论文中的技术用于实际应用中也只是知其一不知其二，因此我尝试着将自己的实践分享出来，个人水平一般，但是希望与大家交流，一起进步！ 检索式问答系统最典型的一个例子就是F
阅读全文
摘要：bert的在推理性能是无可置疑的，将之应用到实际任务中，其实，重点就是要解决如何提高推理速度。albert是对bert的精简和优化，可以将之应用到项目。最近，做了一个测试： 1.数据源：tnews数据集，均是短文本，15个类别，形式如下 2.原始albert模型，~16M，如下 3.微调出ckpt模
阅读全文
摘要：工程实际上线部署，综合考虑并发和延迟，这块做了一个调研，希望能有所帮助。 地址：https://blog.einstein.ai/benchmarking-tensorrt-inference-server/
阅读全文
摘要：地址：https://github.com/microsoft/nlp-recipes 结合实践列举一些能够工业化应用的成熟工程
阅读全文
摘要：BERT六大瘦身大法 网络剪枝：包括从模型中删除一部分不太重要的权重从而产生稀疏的权重矩阵，或者直接去掉与注意力头相对应的整个矩阵等方法来实现模型的剪枝，还有一些模型通过正则化方法实现剪枝。 低秩分解：即将原来大的权重矩阵分解多个低秩的小矩阵从而减少了运算量。这种方法既可以用于标记嵌入以节省磁盘内存
阅读全文
摘要：从近几次做的工具来看，最终模型命中的数据总是要保存到本地，便于溯源。从便捷性来考虑，python自带的sqlite3是不错的选择。 数据库的使用并不存在难度，常用的sql语句即可实现增删改查。同时，为了业务需要，还要对数据库结果加密。 简单的使用： import sqlite3 def create
阅读全文
摘要：深度学习在广泛应用于目标检测、分类等计算机视觉任务中。但这些应用往往需要很大的计算量和能耗。例如处理一张图片分类，VGG-16需要做 150亿次计算，而YOLOv3需要执行390亿次计算。 这就带来一个问题，如何在低功耗的嵌入式系统或移动设备中部署深度学习呢？一种解决办法是将计算任务转移到云侧，但这
阅读全文
摘要：在去年11月份，NLP大神Manning联合谷歌做的ELECTRA一经发布，迅速火爆整个NLP圈，其中ELECTRA-small模型参数量仅为 BERT-base模型的1/10，性能却依然能与BERT、RoBERTa等模型相媲美。 在前不久，谷歌终于开源了ELECTRA，并发布了预训练模型，这对于缺
阅读全文
摘要：传统的基于协同过滤的推荐系统在实时性方面的弊端 面对具有大规模高维稀疏矩阵特征的用户-项目历史评分矩阵，传统的单纯的基于协同过滤的推荐系统存在计算量大，扩展性不强，推荐效率低等问题，严重影响实时推荐系统的实现，因此本文尝试在现有基于协同过滤的推荐系统上，引入局部敏感哈希(Local-Sensitiv
阅读全文
摘要：一.题外话 虽然是科普，不过笔者个人认为大道至简，也就是说越简单的东西很可能越值得探讨，或者另外一种说法越简单的东西越不好讲解；其实笔者认为这就是《编程之美》所要传递的——大道至简。 软件构建老师给我推荐的《走出软件作坊》还没看呢。 二.概述 高维数据检索（high-dimentional retr
阅读全文
摘要：GLUE 是一个用于评估通用 NLP 模型的基准，其排行榜可以在一定程度上反映 NLP 模型性能的高低。然而，现有的 GLUE 基准针对的是英文任务，无法评价 NLP 模型处理中文的能力。为了填补这一空白，国内关注 NLP 的热心人士发布了一个中文语言理解测评基准ChineseGLUE。Chines
阅读全文
摘要：机器之心编辑部 训练一亿参数量的全连接网络，44 核心 CPU 让 V100 甘拜下风，靠的居然是——哈希？ 深度学习模型的训练和推理加速近来是研究领域关注的重点。虽然普遍观点认为，GPU 相比 CPU 有更强的算力优势。但在近日，莱斯大学的计算机科学家们公布了新的研究成果，其提出的深度学习框架，在
阅读全文
摘要：当你要处理一个任务，比如说分类，手上就会有一批训练集和一批测试集，测试集使用来最终的评测。为了能更好的训练一个model并进行有效评估，首先要做的是将手头上的训练集划分出一个验证集，用以验证模型 之前的k折交叉验证没有考虑到标签分布的问题，或者干脆就random一批验证集，其实这样最终的模型会有隐患
阅读全文
摘要：批量下载requirements.txt中的第三方库 命令： pip wheel -w target_file_path -r requirements.txt 在windows环境中下载linux需要的包，通过 pip download 命令： pip download -d . torch==1
阅读全文
