MCTS notes
采样 trajectory，从尾部到头考虑每个节点，重新计算探索它的奖励。
如果是在一棵树上，我们可以在采样的时候考虑究竟是走谁。MCTS 认为如果你对一个子树探索次数很多，就得给别人一些机会，即使这个子树的reward很高。我们用 表示 点的得分，具体式子感觉很奇怪，我不知道为什么又开根又 ，可能是求导或者做函数分析得到的。这个 需要平衡探索 reward 和在子树里面探索的次数。
感觉这些函数设计很奇怪啊，完全不知道为什么要这么写式子
pipeline 其实很自然，优先选没有探索过的节点探索（这里在没探索过的点里面随机选一个），撞到南墙之后更新这条链上所有点的状态。如果某个点的所有后继都探索过了，就选 比较大的探索。
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码？零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾（3.3-3.9）
· winform 绘制太阳，地球，月球 运作规律