随笔分类 - NLP
摘要：bert的在推理性能是无可置疑的，将之应用到实际任务中，其实，重点就是要解决如何提高推理速度。albert是对bert的精简和优化，可以将之应用到项目。最近，做了一个测试： 1.数据源：tnews数据集，均是短文本，15个类别，形式如下 2.原始albert模型，~16M，如下 3.微调出ckpt模
阅读全文
摘要：地址：https://github.com/microsoft/nlp-recipes 结合实践列举一些能够工业化应用的成熟工程
阅读全文
摘要：BERT六大瘦身大法 网络剪枝：包括从模型中删除一部分不太重要的权重从而产生稀疏的权重矩阵，或者直接去掉与注意力头相对应的整个矩阵等方法来实现模型的剪枝，还有一些模型通过正则化方法实现剪枝。 低秩分解：即将原来大的权重矩阵分解多个低秩的小矩阵从而减少了运算量。这种方法既可以用于标记嵌入以节省磁盘内存
阅读全文
摘要：从近几次做的工具来看，最终模型命中的数据总是要保存到本地，便于溯源。从便捷性来考虑，python自带的sqlite3是不错的选择。 数据库的使用并不存在难度，常用的sql语句即可实现增删改查。同时，为了业务需要，还要对数据库结果加密。 简单的使用： import sqlite3 def create
阅读全文
摘要：深度学习在广泛应用于目标检测、分类等计算机视觉任务中。但这些应用往往需要很大的计算量和能耗。例如处理一张图片分类，VGG-16需要做 150亿次计算，而YOLOv3需要执行390亿次计算。 这就带来一个问题，如何在低功耗的嵌入式系统或移动设备中部署深度学习呢？一种解决办法是将计算任务转移到云侧，但这
阅读全文
摘要：在去年11月份，NLP大神Manning联合谷歌做的ELECTRA一经发布，迅速火爆整个NLP圈，其中ELECTRA-small模型参数量仅为 BERT-base模型的1/10，性能却依然能与BERT、RoBERTa等模型相媲美。 在前不久，谷歌终于开源了ELECTRA，并发布了预训练模型，这对于缺
阅读全文
摘要：之前在研究lsh算法，糊里糊涂的，但是该算法的高速性能让我还是得把他搞懂。 借鉴之前阅读的各个大佬博客，从相思能推荐的角度完善了一版代码，花了两天时间才调试出来，看看以后能不能用得上。大家有需求的可以直接使用了，福利满满。嘎嘎嘎 功能：已知一个样本的二进制特征向量，从特征中心中找出特征相似的样本 源
阅读全文
摘要：传统的基于协同过滤的推荐系统在实时性方面的弊端 面对具有大规模高维稀疏矩阵特征的用户-项目历史评分矩阵，传统的单纯的基于协同过滤的推荐系统存在计算量大，扩展性不强，推荐效率低等问题，严重影响实时推荐系统的实现，因此本文尝试在现有基于协同过滤的推荐系统上，引入局部敏感哈希(Local-Sensitiv
阅读全文
摘要：转载至：https://blog.csdn.net/weixin_43336415/article/details/84898213
阅读全文
摘要：一.题外话 虽然是科普，不过笔者个人认为大道至简，也就是说越简单的东西很可能越值得探讨，或者另外一种说法越简单的东西越不好讲解；其实笔者认为这就是《编程之美》所要传递的——大道至简。 软件构建老师给我推荐的《走出软件作坊》还没看呢。 二.概述 高维数据检索（high-dimentional retr
阅读全文
摘要：学生模型以较少的参数学习老师的分布，在老师的知道下获得性能提升，可以作为模型压缩的一种思路，示例代码如下： """ Function：knowledge distillation """ import math import torch import torch.nn as nn import to
阅读全文
摘要：softmax(x) 函数：输入一个实数向量并返回一个概率分布 log_softmax(x) 函数：对经过softmax的函数经过一次对数运算 NLLLoss 损失：负对数似然损失，negative log likelihood loss，若𝑥𝑖=[𝑞1,𝑞2,...,𝑞𝑁]xi=[q1
阅读全文
摘要：API 输入：[ batch_size, channels, height_1, width_1 ] Conv2d输入参数：[ channels, output, height_2, width_2 ] 输出：[ batch_size,output, height_3, width_3 ] 实例：
阅读全文
摘要：直接上代码 from collections import Counter import numpy as np text = 'I love china. the dog on the ground' text = text.split() # print(text) vocab = dict(C
阅读全文
摘要：BERT强大的特征抽取能力在各方面的应用如火如荼的展开，今日准备要对BERT输出的特征进行组合，以期能具有更好地变现，现在对model对象做详细的分析。 直观上，我们能够利用bert的信息有：1）pool out [CLS]；2）encoder layer；3）hidden state first
阅读全文
摘要：pytorch几十行代码搞清楚模型的构建和训练 import torch import torch.nn as nn N, D_in, H, D_out = 64, 1000, 100, 10 # data x = torch.randn(N, D_in) y = torch.randn(N, D_
阅读全文
摘要：对于BERT后时代，不得不说强有力的预训练模型是刷榜、出色完成任务的基础，现在列举几个对此很有帮助的资源，同大家一起进步！！！ 一：互联网新闻情感分析复赛top8(8/2745)解决方案及总结； 地址：https://zhuanlan.zhihu.com/p/101554661 大佬的这篇知乎博客总
阅读全文
摘要：本次介绍假新闻赛道一第一名的构建思路，大家一起学习下 任务描述 文本是新闻信息的主要载体，对新闻文本的研究有助于虚假新闻的有效识别。虚假新闻文本检测，具体任务为：给定一个新闻事件的文本，判定该事件属于真实新闻还是虚假新闻。该任务可抽象为NLP领域的文本分类任务，根据新闻文本内容，判定该新闻是真新闻还
阅读全文
摘要：一、多模态智能信息检索技术设计1.设计检索的框架流程，设计检索评估方法完成的任务：用户搜索“苹果”，在限定性语境中，如何做到用户是需要找“苹果手机”，而不是水果“苹果”系统输入：一个关键词 输出：同输入词相关的若干词汇（可能是用户需要的敏感词汇）预计出现的问题： 1）输出相似或相关词汇由于模型的误判
阅读全文
摘要：1.现状 1）为啥诈骗检测的难度高： 诈骗的定义很模糊，很多情况下客户都根本不知道具体的诈骗 表面上诈骗是一个二分类问题（是或者不是），但仔细想想是一个多分类问题，因为每种不同的诈骗都可以当成一个单独的类型 单一类型的诈骗非常之多，普遍存在，同时诈骗的手段也在千变万化。需要不断更新检测手段，不能把赌
阅读全文
