核心思路：构造出system2系统，生产更好的数据；然后微调system1，达到更好的效果。
system2系统：
1. Rephrase and Respond 蒸馏
RaR 是一种 System 2 方法，它首先提示语言模型以进一步阐述的方式来复述原始问题，然后基于复述的问题生成响应，目的是提供更优的输出。
2.System 2 Attention 蒸馏
Weston 和 Sukhbaatar (2023) 提出了 System 2 Attention (S2A)，这种方法有助于减少模型的推理陷阱，例如依赖输入中的偏见信息或关注不相关的上下文。S2A是一种两阶段推理方法，其中第一阶段重写输入，使其不包含不需要的信息，例如偏见或无关的背景，第二阶段关注较短的重写上下文（与扩展上下文的RaR相反）
数据筛选：
-
输出的自洽性：对 S_II (x^i ; p_θ) 进行总共 N 次采样，并接受多数投票响应；如果没有多数投票获胜者，则丢弃该示例。
-
输入扰动下的自洽性：以输出不变的方式扰动输入 x^i，例如改变提示中多项选择题的顺序，并计算每次扰动的 S_II；如果输出不一致，则丢弃该示例。
其实结果可以微调也可以考虑对齐。论文地址：https://arxiv.org/pdf/2407.06023v2
