摘要： 模型层间差分学习率 一般在微调Bert等预训练模型时使用，可以配合warmup，见warmup小记。 tensorflow 几行搞定，参考官方文档[1] import tensorflow_addons as tfa optimizers = [ tf.keras.optimizers.Adam(l 阅读全文

摘要： 什么是warmup 热身，在刚刚开始训练时以很小的学习率进行训练，使得网络熟悉数据，随着训练的进行学习率慢慢变大，到了一定程度，以设置的初始学习率进行训练，接着过了一些inter后，学习率再慢慢变小； 学习率变化：上升——平稳——下降 为什么用warmup 有助于减缓模型在初始阶段对mini-bat 阅读全文

摘要： 模型召回之SimCSE dataset unsuper import numpy as np import math class UnsuperviseData(tf.keras.utils.Sequence): def __init__(self, x_set, batch_size): self 阅读全文

摘要： 模型召回之DSSM 双塔模型 负样本构造：训练前构造或训练时批内构造 实现 model from transformers import AutoConfig,AutoTokenizer,TFAutoModel MODEL_NAME = "hfl/chinese-roberta-wwm-ext" t 阅读全文

摘要： 方案： https://github.com/PaddlePaddle/PaddleNLP/tree/develop/applications/neural_search 模型召回：双塔模型 DSSM、sentence-bert、simcse 向量检索利器：ANN [1] 最近邻搜索 (Neares 阅读全文

摘要： 环境： python3.6 tensorflow2.6.0 使用 tf.saved_model.load 加载模型错误 AttributeError: '_UserObject' object has no attribute 'add_slot' 解决方案1： 升级到 tensorflow 2.7 阅读全文

摘要： 对比学习的核心就是loss的编写，记录下loss的tensorflow实现 def unsupervise_loss(y_pred, alpha=0.05): idxs = tf.range(y_pred.shape[0]) y_true = idxs + 1 - idxs % 2 * 2 y_pr 阅读全文

摘要： 本文简述对抗训练在图像的的实践方法，关于对抗训练的理论和NLP应用请参阅参考文献【1】。 可以采用两种方法： 在原始样本训练模型，在对抗样本微调 混合正常样本和对抗样本一起训练 完成模型训练后，构造对抗样本 from tensorflow.keras.losses import MSE import 阅读全文

摘要： 技术架构 整体可以分为 检索召回、排序 搜索相关的策略大体分为如下： query 理解->分词，纠错，意图识别，term weight 等 召回-> bool检索，倒排索引, bm25, tf-idf, 语义相似度 等 排序-> learning to ranking，深度模型 等 尽快划分为不同阶 阅读全文

摘要： 针对前文所述 机器学习模型部署摘要 中docker+fastapi部署机器学习的一个完整示例 outline fastapi简单示例 基于文件内容检测的机器学习&fastapi 在docker容器部署 Install pip install fastapi pip install "uvicorn[ 阅读全文

摘要： 1、如果是实时的、小数据量的预测应用，则采用的SOA调用Rserve或者python-httpserve来进行应用；这种应用方式有个缺点是需要启用服务来进行预测，也就是需要跨环境，从Java跨到R或者Python环境。对于性能，基本上我们用Rserver方式，针对一次1000条或者更少请求的预测，可 阅读全文

摘要： 一般提升模型效果从两个大的方面入手 数据层面：数据增强、特征工程等 模型层面：调参，模型融合 **模型融合：**通过融合多个不同的模型，可能提升机器学习的性能。这一方法在各种机器学习比赛中广泛应用， 也是在比赛的攻坚时刻冲刺Top的关键。而融合模型往往又可以从模型结果，模型自身，样本集等不同的角度进 阅读全文

摘要： ELF初识 ELF的全称是Executable and Linking Format，这个名字相当关键，包含了ELF所需要支持的两个功能——执行和链接。不管是ELF，还是Windows的PE，抑或是MacOS的Mach-O，其根本目的都是为了能让处理器正确执行我们所编写的代码。 ELF Header 阅读全文

摘要： 针对大型数据集，数据过大无法加载到内存，使用增量训练方式 sklearn def generator(all_file_path): for filename in all_file_path: try: bytedata = open(filename, "rb").read() except: 阅读全文

摘要： 常量 进行忽略大小写匹配 re.IGNORECASE 让 \w, \W, \b, \B, \d, \D, \s 和 \S 只匹配ASCII，而不是Unicode re.ASCII DOT表示.，ALL表示所有，连起来就是.匹配所有，包括换行符\n。默认模式下.是不能匹配行符\n的 re.DOTALL 阅读全文