摘要： 环境 Flask2.2.2 代码如下 from flask import Flask, request app = Flask(__name__) @app.route('/test/', methods=['POST']) def t(): return {'out': 1} if __name_ 阅读全文

摘要： 信息抽取，information extraction，简称IE，从无结构或者半结构的文本中抽取出结构化信息的任务 信息抽取方法分类 1根据抽取内容是否在原文中，分为 抽取式 和 生成式； 抽取式：空腹血糖控制在 7mmol/L > 空腹：7mmol/L 生成式：肿瘤为隆起溃疡性，位于胃窦处 > B 阅读全文

摘要： 位置编码，对句子中词汇位置进行编码 为什么需要位置编码 在任何语言中，词语的位置和顺序对句子的意思都至关重要； 在 RNN 中，以序列的模式逐个处理句子中的词语，这种网络结构天然保存了词语的顺序信息； 但在 词嵌入 时，单词并不是以 词在 句子中的顺序进行 embedding 的，而是很随意的把所有 阅读全文

摘要： Scaled Dot-Product Attention 在实际应用中，经常会用到 Attention 机制，其中最常用的是 Scaled Dot-Product Attention，它是通过计算query和key之间的点积 来作为 之间的相似度。 Scaled 指的是 Q和K计算得到的相似度 再经 阅读全文

摘要： 所谓自注意力机制就是通过某种运算来直接 计算得到句子 在编码过程中每个位置上的注意力权重；然后再以权重和的形式来计算得到整个句子的隐含向量表示。 自注意力机制的缺陷就是：模型在对当前位置的信息进行编码时，会过度的将注意力集中于自身的位置， 因此作者提出了通过多头注意力机制来解决这一问题。 实验证明， 阅读全文

摘要： 自注意力与注意力机制的区别在于，自注意力不依赖于外部信息，其 q k v 均来自内部，或者说来自输入 x， 就像我们看到一张狗的照片，尽管照片中有其他物体，但人类能自动聚焦到狗的身上， 自注意力更擅长捕捉内部相关性，能更好解决长距离依赖问题。 原理 首先，初始化 Embedding 和 Wq，Wk， 阅读全文

摘要： 有一部分没写完，或者写得不好，有时间会完善，故没有公开，有需要私信我 深度学习理论基础 与 代码实践 模型训练 tricks 总结 模型加速【1】入门篇 模型加速【2】-知识蒸馏 代码 深度学习 之 模型部署【1】-基础入门 深度学习 之 模型部署【2】-TensorRT 入门 深度学习 之 模型部 阅读全文

摘要： 下载 官网 http://ffmpeg.org/ 安装 解决即可，bin 目录下有 ffmpeg、ffplay、ffprobe 三个文件，将 bin 目录添加到 环境变量； 运行 ffmpeg -version 安装成功 使用 ffprobe 是用于查看媒体文件头信息的工具； ffplay 是用于播 阅读全文

摘要： 来张图说明一下 RNNCell nn.RNNCell(input_size, hidden_size, bias=True, nonlinearity=‘tanh’) h′=tanh(Wih​x+bih​+Whh​h+bhh​) input_size：输入数据X的特征值的数目。 hidden_siz 阅读全文

摘要： pytorch 部署 torchscript from torchvision.models import resnet34 import torch.nn.functional as F import torch.nn as nn import torch import cv2 #读取一张图片，并 阅读全文