
何も捨てることができない人には,何も変えることはできない
发布于
2024-11-22
发布于
2024-11-18
发布于
2024-11-13
发布于
2022-4-16
发布于
2022-4-15
摘要:
Hello World 阅读全文

摘要:
PPO 众所周知,PPO在LLM应用下, t时刻下,State就变成了query+output(<t) Reference是初始模型,举个例子可以认为是deepseek V3+SFT之后的模型,是不变的,是fozen model 从头开始推导一次: t0时刻: query输入到policy mode 阅读全文
摘要:
1. 基础知识 1.1 KL散度 1.1.1 定义 KL散度(Kullback-Leibler Divergence)是信息论中的一个重要概念,用于衡量两个概率分布之间的差异。它评估分布 在多大程度上与分布 不一致。 离散分布下的公式 \[D_{\text{KL}}(P \| 阅读全文
摘要:
Named Entity Recognition (NER),即命名实体识别,是自然语言处理(NLP)中的一种基本任务,旨在识别文本中的特定实体并将其分类为预定义的类别。常见的命名实体类别包括: 人名(PERSON):识别文本中的人名,例如 "马云"、"Elon Musk"。 地名(LOCATION 阅读全文
摘要:
BLEU BLEU ( Bilingual Evaluation Understudy ) 是一种常用的自动化评估机器翻译(MT)质量的指标,用于衡量机器翻译系统输出与参考翻译之间的相似度。它被广泛应用于自然语言处理(NLP)领域,特别是在机器翻译任务中,用来量化翻译结果的质量。 BLEU的工作原理 阅读全文
摘要:
#include<bits/stdc++.h> using namespace std; typedef long long ll; typedef long double ld; ll inv[100000001]; bool check(ll x) { if(x==1||x==0) return 阅读全文
