12 2024 档案
Linux常用命令总结
摘要：du -sh * ：用于显示当前目录下每个文件和子目录的大小。以下是这个命令中各个部分的作用： du：代表 "disk usage"（磁盘使用情况），用于估算文件和目录所占用的磁盘空间。 -s：代表 "summarize"（汇总），用于显示每个指定文件或目录的总大小，而不是每个文件的详细信息。 -h
LLaMA (以LLaMA2为例，文末附加对比1 2 3 三个版本的变化）
摘要：一、背景 LLaMA 2 和 LLaMA2-Chat 参数规模：70亿、130亿和700亿 数据和训练规模： 上下文长度 训练资源 性能表现： 二、预训练 pretraining 1. 预训练数据 · 训练语料来自公开课用的数据源，不包括Meta的产品或服务数据 · 在2万亿个数据tokens上进行
vllm
摘要：声明：本文大部分来自于 【大猿搬砖简记】 的公众号文章，但为了方便本人学习，进行了整理，同时在这个清晰的框架内添加了一些总结性质的内容，如需看原文请在其公众号中搜索：图解大模型计算加速系列。特此声明。 一、背景知识 LLM推理通常为两阶段： prefill 和 decode。 通常会使用KV cac
基于人类反馈的强化学习 RLHF
摘要：1.强化学习和语言模型的联系 agent: 语言模型本身 state: prompt(input tokens) action: 选择哪个token作为下一个token（贪婪，top k,top p） reward model：当生成‘好的回复’语言模型应当被奖励，当生成‘差的回复’语言模型不会受到
显存计算指南
摘要：1. 基础知识 存储单位转换: 1 GB = 1024 MB 1 MB = 1024 KB 1 KB = 1024 Byte 1 Byte = 8 Bit 数据精度: FP32: 32 Bits = 4 Bytes FP16: 16 Bits = 2 Bytes 2. 输入输出计算 以 Llama
