随笔分类 - llm
Explainability for Large Language Models: A Survey
摘要：一、引言 可解释性代表的是一种以人类能够理解的方式解释模型行为的能力。 拥有可解释性有两个好处：①可解释性可以以人类能够理解的方式来很好的解释模型预测背后的原理，使普通人可以理解LLM的能力、缺陷。②对于研究者来说，可解释性可以帮助识别出偏见、风险和一些性能改进的领域。 二、LLM的训练 下游微调范
阅读全文
与大模型相关的知识
摘要：1.一篇很好的关于自监督学习的讲解：https://zhuanlan.zhihu.com/p/108906502 2.大模型需要的算力：https://zhuanlan.zhihu.com/p/672573246 3.微调分为全参微调和高效参数微调
阅读全文
论文阅读2-思维链
摘要：论文1：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models （ICLR） 思维链是一系列导致最终输出的中间自然语言推理步骤，我们将这种方法称为思维链提示。 作者在算术、常识和符号推理上进行了实验，表明思维链提示优
阅读全文
论文阅读1--llm对于因果方向的影响
摘要：论文1：Causal Reasoning and Large Language Models: Opening a New Frontier for Causality文章根据LLM在因果发现、反事实推理和实际因果关系方面的评估结果表明，它们可以取得很好的效果，这是通过大量的文本训练模仿该领域知识模
阅读全文
