摘要：
训练参数问题： val_size：验证集切分，以dpo为例（研究dpo的原因在于：dpo训练集更庞大，不好控制，验证集应该人工设置，那么模型在验证集上的效果才能反映用户的真实需求；使用val_size方式，eval与train同源，并不总是能很好的反映真实的需求） 运行流程：workflow.py- 阅读全文
摘要：
信息熵： 信息熵torch代码 event = {'a':2 , 'b':2, 'c':4} # 信息熵分：1.5 event2 = {'a':1 , 'b':1, 'c':1} # 信息熵分：1.585 p_e = [ v/sum(event.values()) for v in event.va 阅读全文
摘要：
基础操作： 数据处理：LLaMA-Factory-main\src\llamafactory\data\preprocess.py 训练示例： 请首先阅读example相关示例：LLaMA-Factory-main\examples\README_zh.md 2、指令微调：LLaMA-Factory 阅读全文
摘要：
stop: List of string。【生成文本时，碰到此token就会停下，但结果不会包含此token】 stop_token_ids: List of string。【生成id时，碰到此id就会停止，会包含此id，比如 tokenizer.eos_token_id [im_end]】 最终判 阅读全文
摘要：
LLM 编码： tokenizer = AutoTokenizer.from_pretrained(modelpath) text="你好" tokenizer.tokenize(text) # 直接编码 chat_text = tokenizer.apply_chat_template(text, 阅读全文
摘要：
编译安装 pip卸载cmake、torch、k2 安装 cmake 3.22.3版本、k2、kaldi_feat【官方提供|install_dir】、torch==2.0.1【】 缺cuda export LD_LIBRARY_PATH=/usr/local/cuda11.7/lib64:$LD_L 阅读全文
摘要：
1. Var方差在pytorch中的差别： tlist = input.tolist() print(input) print(np.mean(tlist), np.var(tlist)) print(torch.mean(input), torch.var(input)) 可以看到numpy与to 阅读全文
摘要：
import torch from torch import nn x = torch.randint(0, 10, size=(5, 280,80)) length = torch.tensor([10,9,9,9,9]) x.size(),x.shape,x[0].shape,length # 阅读全文
摘要：
成员初始化列表用于在构造对象时给类或者结构体成员设置初值。 语法为: 构造函数(): 成员1(参数值1),成员2(参数值2)...{} 成员初始化列表的作用和优点: 可以为非静态数据成员赋予初始值 初始化顺序与成员在类中的定义顺序一致 效率比在构造函数体内赋值初始化高 可以为只读成员常量和引用成员提 阅读全文
摘要：
class K2SpeechRecognitionDataset(torch.utils.data.Dataset): The PyTorch Dataset for the speech recognition task using k2 library. This dataset expects 阅读全文
摘要：
Gumbel-Softmax是一种用于对离散分布进行采样的技术，通常应用于生成模型和强化学习中。下面是对Gumbel-Softmax的分析： Gumbel分布 Gumbel分布是一种连续概率分布，它的概率密度函数可以用以下公式表示： $$f(x)=\frac{1}{\beta}e^{-\frac{x 阅读全文
pytest自动化测试
摘要：
到code-server官网，下载已经编译好的code-server即可，不需要root权限，地址：code_server下载 进入到bin文件，运行 ./code-server 如果是在linux服务器上：vi ~/.config/code-server/config.yaml， 重新设置密码和对 阅读全文
摘要：
1、获取线程ID（线程是操作系统中最小的调度单位） import threading t = threading.currentThread() #线程ID print('Thread id : %d' % t.ident) #线程NAME print('Thread name : %s' % t. 阅读全文
摘要：
Openfst 弧的2个标注分别表示：消耗的输入、发出的输出，希腊字母<epsion>表示沿弧的空输入或空输出 FSM（Finite State Machines,有限状态机） 有限个状态 同一时刻只能处于同一个状态 不同状态可以互相转换 ==> 状态是无序的 FSA（Finite State ac 阅读全文
摘要：
默认安装方式 https://www.boost.org，官网下载 ***.tar.gz 离线安装包 sh ./bootstrap.sh 安装 ./b2 install 指定安装目录方式 https://www.boost.org，官网下载 ***.tar.gz 离线安装包 sh ./bootstr 阅读全文
摘要： 
Git学废了吗 阅读全文
Git学废了吗 阅读全文
摘要：
np.mean(n:array , axis=..|-1)，axis=0|-1则squeeze第0维，axis默认返回所有数据均值 阅读全文
摘要：
引入，在使用kaldi语音识别框架时，碰到 import scipy.cluster.vq as vq (centroids, labels) = vq.kmeans2(data, self.K, minit="points", iter=100) 距离类型 1.欧式距离 2.曼哈顿距离 3.切比雪 阅读全文
摘要： 
查看远程服务器编码locale，查看语言环境 设置utf-8即可 阅读全文
查看远程服务器编码locale，查看语言环境 设置utf-8即可 阅读全文