11 2021 档案
摘要：重采样 重采样的主要方法有残差重采样、多项式重采样、最优重采样、分层重采样和最优传输重采样等。 （说实话我还没搞清楚和信号处理那边差不多的上下重采样之类之间的关系） 这篇文章介绍的重采样是针对之前提到的蒙特卡罗序列采样时为了避免重要性权重过大导致小部分粒子占据大部分权重，选择用粒子数目来表示比例的一
阅读全文
摘要：发现网上看到的序列蒙特卡罗的中文理解很少，就稍微整理一下自己看到的，欢迎讨论~ 内容引入 许多现实世界的数据分析任务都涉及从一些给定的观察数据中估计预测未知的数据。大多数应用场景下可以使用一些先验知识来辅助建模，即贝叶斯模型【通过未知量的先验分布以及与这些量与观测值相关的似然函数得到后验分布来刻画和
阅读全文
摘要：注：本节内容是对Sutton的《Reinforcement Learning: An introduction》第九章的理解整理~ 这里是第四、五节 上节讲到使用函数逼近状态值时使用的优化方法，随机梯度法可以用来求解各种函数最值。最简单的莫过于**线性关系！**近似函数是权值向量的线性函数。
阅读全文
摘要：本篇是对自己学习《最优化方法》的一些脉络、思路的记载，也有可能会有一点点思考。 贯穿本学期课程的主要内容实际上是泰勒公式和线性系统的择一性。当然主要是因为线性情况比较好求解，且任何函数取局部都可以线性近似，解决线性问题具有一般意义。 泰勒公式 一般来讲 ，泰勒公式展开只需要用到二阶即可。其本质意义在
阅读全文
摘要：很多游戏、实际问题等的结构都和图有关，在图结构中寻找最优解也就是在图结构中进行搜索。有搜索自然就有广度优先、深度优先和启发式搜索三种方式。 广度优先 顾名思义，先从广度开始：检查完一个结点的全部后继结点才会开始搜索新的结点的后继结点。在实际实施过程中，经常使用队列结构来存储访问结点（先进先出） 一般
阅读全文
摘要：注：本节内容是对Sutton的《Reinforcement Learning：An Introduction》第九章的理解整理~ 这里是第三节 回顾之前所说，我们希望能够找到比较好的函数参数使得逼近效果尽可能地好（给出了状态重要性分布），接下来这一节讨论的是可以使用什么方法来逼近呢？ **一定要记住
阅读全文
摘要：注：本节内容是对Sutton的《Reinforcement Learning：An Introduction》第九章的理解整理~ 这里是第一、二节 我们知道 强化学习主要是通过对状态或动作状态组的值函数估计来进行决策。在之前的讨论中，每个状态的状态值函数只受前继、后继状态的影响，一次更新只影响一个状
阅读全文
