2023年10月11日
LLM采样后处理总结：LLM的后处理的cpp实现
摘要： LLM采样后处理总结：LLM的后处理的cpp实现 在经过LLM的lm_head之后，会得到[batch, vocab_size]大小的矩阵向量，此时需要对输出的逻辑张量进行采样，除了beam_search的贪心策略，还有repetition_penalty、temperature、top_k、top 阅读全文
posted @ 2023-10-11 18:09 wildkid1024 阅读(432) 评论(0) 推荐(0) 编辑