摘要：
GRPO （Group Relative Policy Optimization ） GRPO https://arxiv.org/pdf/2402.03300 对于每个question q，GRPO从old policy πold 采样一组输出 \({o_1, o_2 ...,o 阅读全文
posted @ 2025-02-17 19:23 Antel 阅读(51) 评论(0) 推荐(0) 编辑
摘要：
chatglm.cpp的一个主要特点就是以量化的形式对大模型进行优化，使其在CPU上能够进行高效推理。 本文主要查看chatglm.cpp是如何对模型进行量化的 chatglm.cpp在使用时主要分成两步： 使用convert.py将模型进行量化，得到ggml格式 使用./build/bin/mai 阅读全文
posted @ 2023-11-08 22:00 Antel 阅读(445) 评论(0) 推荐(0) 编辑
摘要：
量化 ggml中的张量为ggml_tensor， ggml_tensor有几个值得注意的属性： enum ggml_op op 表示这个tensor是从哪个操作得到。 enum ggml_type type，为tensor的格式， ggml_type的定义如下： enum ggml_type { G 阅读全文
posted @ 2023-11-07 20:15 Antel 阅读(701) 评论(3) 推荐(0) 编辑
摘要：
在了解PPO之前，首先需要了解Policy Gradient，PPO是建立在PG上的。 ### Policy Gradient 基本参考[【强化学习2】Policy Gradient - LGC的文章 - 知乎](https://zhuanlan.zhihu.com/p/66205274)进行整理。 阅读全文
posted @ 2023-07-25 00:03 Antel 阅读(4340) 评论(0) 推荐(0) 编辑
摘要：
TensorRT的使用，尝试对LLM进行加速。本文为采坑记录 环境：ubuntu20.04, cuda 12.2, pytorch 2.0.1, tensorrt 8.6.1, torch_tensorrt 1.4.0, transformer 0.6.0 设备有限，仅打算尝试[opt-1.3b]( 阅读全文
posted @ 2023-07-18 20:25 Antel 阅读(2376) 评论(5) 推荐(1) 编辑
摘要：
目录 记录下遇到的各种工具，感谢前人栽树，后人乘凉。 目录按照字母顺序，大小写不敏感 目录目录工具DeepSpeedFSDPggmllamma.cpplangchainLLVMMegatronNCCLpoetryTritonTVMXLA 工具 DeepSpeed DeepSpeed是对transfo 阅读全文
posted @ 2023-07-03 20:05 Antel 阅读(1228) 评论(0) 推荐(0) 编辑
摘要：
目录AGIAIGCCCGERF (误差函数)FLOPSHadamard product (哈达玛积)Heaviside function (赫维赛德函数)KL散度vanilla不定期更新中 AGI Artificial General Intelligence 通用人工智能 AIGC Artific 阅读全文
posted @ 2022-10-27 20:36 Antel 阅读(164) 评论(0) 推荐(0) 编辑
摘要：
一直对spark sql中的join操作感到迷惑， 如果join之前的操作没有进行persist DataFrame的话，是否会存在让之前的transformation重复执行的问题，以及重复多少次。 看一个例子 考虑在map1/map2处设置一个累加器，join之后，看看map1/map2到底执行 阅读全文
posted @ 2022-09-16 19:00 Antel 阅读(238) 评论(3) 推荐(0) 编辑
摘要：
在使用Spark,尤其是Spark SQL时，经常会出现一些奇奇怪怪的效率低下问题。比如说，如果lineage比较长的时候，或者lineage比较复杂需要shuffle的时候，可能存在一定的rdd复用问题。 通常在需要复用一个rdd的时候，建议进行persist。但是在实际情况下，又会经常出现不确定 阅读全文
posted @ 2022-09-16 18:59 Antel 阅读(462) 评论(0) 推荐(0) 编辑
