摘要： 模型融合（Model Fusion）和模型集成（Model Ensemble）是在机器学习和数据挖掘领域中常涉及的两种提升模型性能的方法，它们之间存在一些区别： 一、概念含义 模型融合： 侧重于将不同类型的模型或者基于不同特征表示的模型进行有机结合，以生成一个新的、综合性能更好的模型。它通常会涉及到 阅读全文

摘要： 一、使用threading模块的Thread类 1.1 介绍 这是 Python 中最基本的创建线程的方法。通过定义一个函数，然后将这个函数作为参数传递给Thread类的构造函数来创建线程。每个线程对象代表一个独立的执行线程。 1.2 代码示例 import threading import tim 阅读全文

摘要： 框架 flask 应用场景 当接收到请求，但数据处理比较耗时，希望请求过来时先返回一个响应，再慢慢处理数据，处理完成后再将结果返回给另一个地址。 流程：接收到请求，立即返回响应。再处理数据，处理完成后将结果响应给预先定义的URL。 import traceback import requests f 阅读全文

摘要： 一、内在偏见与外在偏见 1、内在偏见：训练前数据集中存在的刻板印象； 2、外在偏见：用来衡量偏差如何在下游任务中传播。通常包括微调，然后评估其关于性别和种族等敏感属性的表现； 3、许多NLP应用程序对现有的语言模型进行了微调，这些模型将外在偏见和内在偏见交织在一起。 二、10种度量方法 2.1 内在 阅读全文

摘要： 一、对抗学习 1.1 ADV-标准对抗 主要思想：防止鉴别器识别受保护的属性。以对抗性方法训练模型，并明确掩盖受保护信息。 损失函数： 1.2 EADV-优化对抗 ADV存在的问题：在某些情况下，即使对抗性组件似乎做得很完美，仍有相当数量的受保护信息，并且可以从编码的表示中提取。 EADV主要思想： 阅读全文

摘要： 一、模型蒸馏 1.1 蒸馏简介 知识蒸馏是指通过教师模型指导学生模型训练，通过蒸馏的方式让学生模型学习到教师模型的知识，最终使学生模型达到或媲美教师模型的准确度。 在模型压缩中，教师模型是一个预训练好的复杂的模型，而学生模型是一个规模较小的模型。如分类任务中，由训练好的教师模型在相同的数据下，通过将 阅读全文

摘要： 1.PackagesNotFoundError: The following packages are not available from current channels: 原因: 在anaconda默认的网站中没有自己想要的包，解决办法就是更换这些网站，可以使用命令的方法（自行搜索），还有就是 阅读全文

摘要： 一、LLM与PLM主要区别： 1. LLM表现出PLM所没有的Emergent Abilities（涌现能力）,这些能力是LLM在复杂任务上表现惊人的关键，使得得人工智能算法前所未有的强大，但这些能力是如何获得的还不具有理论支持;2. LLM将彻底改变人类开发和使用人工智能算法的方式。与小型PLM不 阅读全文

摘要： 对比学习的一个关键思想： 如何构建对比的数据对，更细致的如何构建正样本和负样本，更好的正样本和负样本能够帮助模型更好的理解数据。 一、CIEAR 预训练模型主要解决的是token级别的特征抽取，很少做句子级别的特征抽取。BERT仅仅在词嵌入的表现优秀，但是在句子级别的建模任务表现不一定会有多优秀。本 阅读全文

摘要： 一、数据并行（DP ） 1、概念：相同的模型分布在不同的GPU上，在不同的GPU上使用不同的数据。每一张GPU上有相同的参数，在训练的时候每一个GPU训练不同的数据，相当于增大了训练时候的batch_size。 数据并行基于一个假设：所有节点都可以放下整个模型。这个假设在某些模型上（如GPT3）是不 阅读全文