02 2020 档案
摘要：学生模型以较少的参数学习老师的分布，在老师的知道下获得性能提升，可以作为模型压缩的一种思路，示例代码如下： """ Function：knowledge distillation """ import math import torch import torch.nn as nn import to
阅读全文
摘要：储备： \r 表示将光标移动到当前行的首位 print（，end=‘’）：打印时不换行 代码： print('\rTrain epoch: {} {}/{} [{}]{}%'.format(epoch, trained_samples, len(train_loader.dataset), '-'*
阅读全文
摘要：知乎大牛：https://zhuanlan.zhihu.com/p/53927068 背景 在PyTroch框架中，如果要自定义一个Net(网络，或者model，在本文中，model和Net拥有同样的意思)，通常需要继承自nn.Module然后实现自己的layer。比如，在下面的示例中，gemfie
阅读全文
摘要：softmax(x) 函数：输入一个实数向量并返回一个概率分布 log_softmax(x) 函数：对经过softmax的函数经过一次对数运算 NLLLoss 损失：负对数似然损失，negative log likelihood loss，若𝑥𝑖=[𝑞1,𝑞2,...,𝑞𝑁]xi=[q1
阅读全文
摘要：API 输入：[ batch_size, channels, height_1, width_1 ] Conv2d输入参数：[ channels, output, height_2, width_2 ] 输出：[ batch_size,output, height_3, width_3 ] 实例：
阅读全文
摘要：比尔. 威廉姆的《证券混沌操作法》 一致性获利法 ? 把趋势类指标macd的参数改称，5、34、5（原参数为12、26、9）。当波浪呈现比较明显的4浪的时候，当macd的diff值下穿（或上穿）零轴的时候，代表4浪完成的条件形成（即转市）。 调整macd的参数5、34、5，是为了判断第四浪调整结束的
阅读全文
摘要：直接上代码 from collections import Counter import numpy as np text = 'I love china. the dog on the ground' text = text.split() # print(text) vocab = dict(C
阅读全文
摘要：BERT强大的特征抽取能力在各方面的应用如火如荼的展开，今日准备要对BERT输出的特征进行组合，以期能具有更好地变现，现在对model对象做详细的分析。 直观上，我们能够利用bert的信息有：1）pool out [CLS]；2）encoder layer；3）hidden state first
阅读全文
摘要：pytorch几十行代码搞清楚模型的构建和训练 import torch import torch.nn as nn N, D_in, H, D_out = 64, 1000, 100, 10 # data x = torch.randn(N, D_in) y = torch.randn(N, D_
阅读全文
摘要：对于BERT后时代，不得不说强有力的预训练模型是刷榜、出色完成任务的基础，现在列举几个对此很有帮助的资源，同大家一起进步！！！ 一：互联网新闻情感分析复赛top8(8/2745)解决方案及总结； 地址：https://zhuanlan.zhihu.com/p/101554661 大佬的这篇知乎博客总
阅读全文
摘要：本次介绍假新闻赛道一第一名的构建思路，大家一起学习下 任务描述 文本是新闻信息的主要载体，对新闻文本的研究有助于虚假新闻的有效识别。虚假新闻文本检测，具体任务为：给定一个新闻事件的文本，判定该事件属于真实新闻还是虚假新闻。该任务可抽象为NLP领域的文本分类任务，根据新闻文本内容，判定该新闻是真新闻还
阅读全文
摘要：一、多模态智能信息检索技术设计1.设计检索的框架流程，设计检索评估方法完成的任务：用户搜索“苹果”，在限定性语境中，如何做到用户是需要找“苹果手机”，而不是水果“苹果”系统输入：一个关键词 输出：同输入词相关的若干词汇（可能是用户需要的敏感词汇）预计出现的问题： 1）输出相似或相关词汇由于模型的误判
阅读全文
摘要：1.现状 1）为啥诈骗检测的难度高： 诈骗的定义很模糊，很多情况下客户都根本不知道具体的诈骗 表面上诈骗是一个二分类问题（是或者不是），但仔细想想是一个多分类问题，因为每种不同的诈骗都可以当成一个单独的类型 单一类型的诈骗非常之多，普遍存在，同时诈骗的手段也在千变万化。需要不断更新检测手段，不能把赌
阅读全文
摘要：大数据+AI的结合，大家可以学习一下最新的技术组合 基于大数据分布式流处理技术的实时反欺诈解决方案 1.方案引入先进的Hadoop+Spark技术，解决了互联网渠道海量并发行为数据的毫秒级实时响应分析难题，帮助金融机构IT平台向更开放的分布式处理架构演进，轻松应对互联网+时代的大数据处理场景； 2.
阅读全文
摘要：TF2.0最新架构，去除之前版本的冗余、无用接口，具有简单性和易用性 1.使用tf.data加载数据 使用输入管道读取训练数据，输入管道使用tf.data创建 利用tf.feature_column描述特征，如分段和特征交叉 2.使用tf.keras构建、训练并验证模型，或者使用Premade Es
阅读全文
摘要：ChineseGLUE Language Understanding Evaluation benchmark for Chinese: datasets, baselines, pre-trained models, corpus and leaderboard 中文语言理解测评基准，包括代表性的
阅读全文
摘要：前言 在最近邻搜索（nearest neighbor search）问题中，给定一个查询（query），目标是要找到空间中离它最近的点。这里所说的空间可以是任意的空间，比如特征空间，或者语义空间。具体来说，在图像检索这个问题中，每张图像对应空间中的一个点，而所谓的“近”既可以是外观上的近（看着像），
阅读全文
摘要：文章名《How to Fine-Tune BERT for Text Classification》，2019，复旦大学 如何在文本分类中微调BERT模型？ 摘要：预训练语言模型已经被证明在学习通用语言表示方面有显著效果，作为一种最先进的预训练语言模型，BERT在多项理解任务中取得了惊人的成果。在本
阅读全文
摘要：文章名《Deepening Hidden Representations from Pre-trained Language Models for Natural Language Understanding》，2019，单位：上海交大 从预训练语言模型中深化语言表示 摘要：基于Transforme
阅读全文
摘要：摘要：预训练语言模型如BERT等已经极大地提高了多项自然处理任务的性能，然而预训练语言模型通常具需要很大计算资源，所以其很难在有限的资源设备上运行。为了加速推理、减小模型的尺寸而同时保留精度，首先提出了一个新颖的迁移蒸馏方法，它是一种基于迁移方法的知识蒸馏思路。利用整个新颖的KD方法，大量的知识编码
阅读全文
摘要：该文主要采用“知识蒸馏”方法对BERT（预训练语言模型）精简、优化，将较大模型压缩成较小的模型，最终目的是：提高模型推理的效率，让运行在智能手机等硬件设备上的深度学习模型具有轻量级、响应快及能源利用率高等特性。 在2019年的NLP领域预训练+微调的模型训练思路百家争鸣，ElMo、GPT、BERT、
阅读全文
摘要：Link,Paper,Type,Model,Date,Citations https://arxiv.org/abs/1801.06146,Universal Language Model Fine-tuning for Text Classification,New Model ,ULMFiT,1
阅读全文
摘要：给2020年NLP方向做一个指引： 2019 年，可谓是 NLP 发展历程中具有里程碑意义的一年，而其背后的最大功臣当属 BERT ！ 2018 年底才发布，BERT 仅用 2019 年一年的时间，便以「势如破竹」的姿态成为了 NLP 领域首屈一指的「红人」，BERT 相关的论文也如涌潮般发表出来。
阅读全文