07 2020 档案
摘要：一、指数族分布指的是概率密度函数都能够表述成以下形式的概率分布。 其中fai(x)是充分统计量，A(ita)是对数配分函数。ita是规范化参数。【配分函数其实就是归一化因子的概念，为了使概率满足概率总和为1的约束】 指数族分布包括Gauss分布，bernoulli分布（0，1分布）,beta分布，g
阅读全文
摘要：%参考：matlab help 文件 %例子中：状态变量为离散分布，值域为{'fair','loaded'};观测变量为离散分布，值域为{'one','two','three','four','five','six'}%符号说明：%states: 隐变量序列；%seq：观测变量系列；%tr:状态转移
阅读全文
摘要：1.强化学习与传统控制流程对比 传统控制流程：强化学习流程：reference：控制量(一般是根据某个性能指标进行控制：比如滑移率)。Part of reward function and observations：部分R、部分S，输入Agent( Agent = RL algorithm+poli
阅读全文
摘要：1.1 CAN总线输出数据表头： 解析CAN数据的相关基础知识： 1.channel：CAN通道。 2.Identifier：在某个时间点发送一条报文，该报文的ID号，将这个ID号对照解析文件，从而进行报文解析。 3.Is Standard：判断是否是标准帧。 CAN的消息帧格式有两种，分别是CAN
阅读全文
摘要：贝尔曼最优方程推导（来源：B站up主：shuhuai008） 1.明确一下概念间的关系 2.反证法证明 v*(s)=max(a)_q*(s,a) 3.“套娃”得到贝尔曼最优方程 参考资料： 1.https://www.bilibili.com/video/BV1RA411q7wt?p=5，B站UP主
阅读全文
摘要：由于随机变量Z是离散的，所以是状态转移矩阵，如果变量是连续的，则是状态转移函数，比如马尔科夫决策过程中的状态转移函数P{s',r|s,a}，也叫动态特性。 状态转移矩阵示例 表示zt变量有三个状态c1,c2,c3,分别转移到zt+1时刻的c1,c2,c3的概率。（数值待定）
阅读全文
摘要：function [Jammer,restnode]=intlintest(adj_matrix,k) u = adj_matrix; n = length(adj_matrix); f = sum(u); % 因为是对称矩阵，行和列和相同，所以无需两个都考虑； %f = sum(u)+sum(u'
阅读全文
摘要：马尔可夫决策过程：MDP 一、MDP模型表示 首先引出马尔可夫决策过程的几个相关变量集合：A={at},S={st},R={rt+1},t=1,2,...T or ∞。A表示Action，S表示State，R表示Reward，这几个均是静态的随机变量，可以是离散的，也可以是连续的。 ①如果变量是离散
阅读全文
摘要：function []=datapro714()% 处理的数据截止7/14/20% [csvdata,~,rawcsvdata] = xlsread('who_covid_19_sit_rep_time_series.csv');[~,~,rawconfirmed] = xlsread('time_
阅读全文
摘要：省赛（2020/7/16~2020/7/20） 最终选题：C题：数据驱动的疫情特征描述、防疫效果度量及"重启"策略建模 复盘发现存在问题： 1.赛前关于算法和编程没有做好分工，导致比赛时任务不明确，容易产生冲突意见，合作效率低。应该要一个人专门负责算法的了解，一个人专门进行编程，一个人专门负责写作。
阅读全文
摘要：标题、图、表格编号修改：（首先确定标题的格式，创建标题样式，具体参考博客：word小技巧：创建样式） 1.可以自动编号的标题样式创建 要实现将正文 按照改成一级标题、二级标题格式，并且实现二级标题的自动编号如下： 需要进行以下步骤： ①创建样式。 一级标题在之前博文中（word小技巧：修改样式）中提
阅读全文
摘要：利用样式修改格式的简便方法： ①查看样式栏中否是已经有“想要的格式”的样式；或者文档中是否有“想要的格式”的字段；如果没有，转②；如果有，转③。 ②创建样式（大小标题，图片，表格...） 右键点击下面红圈中样式（可任选一个样式或者创建样式），点击“修改” 在这个界面上可以修改简单的文字格式 若要进一
阅读全文
摘要：0.强化学习（reinforcement learning），特点是引入奖励机制。【强化学习属于机器学习框架中的什么部分？】 1.引出MDP的思路 =>Random variable =>Stchastic Process =>Markov chain/Process =>Markov Reward
阅读全文
摘要：Viterbi算法用于解决HMM的decoding问题和用动态规划求解最短路径的共通点【个人理解】 HMM小结： （来源：B站up主：shuhuai008，板书） 注意： ①likelihood=probability of evidence ：都可以表示似然。 ②Inference包括求后验(de
阅读全文
摘要：一：问题描述 Learning问题就是参数估计问题，也就是求模型参数λ，具体形式为 ：λ_hat=argmax P(O|λ) 【通过最大化似然求得最优模型参数 λ；优化算法用EM，可类比GMM模型中求θ用的EM】 二、EM算法应用于HMM-learning模型的公式推导（具体可参考之前博客GMM：E
阅读全文
摘要：内容主要分成数据+算法：①数据：matlab预处理；②1类模型(统计机器学习)+2类模型(概率图)： 主要讲解模型：①统计机器学习：SVM，NN ②概率图：Bayes Network、GMM、HMM 两个派别的部分典型算法 一、数据：1.可以用于机器学习的数据（连续值，有类别值（有监督）、无类别（无
阅读全文
摘要：一、HMM：一个模型，两个假设，三个问题。 思路：HMM=>在机器学习大框架中的位置=>模型参数（示意图及定义）=>模型假设=>模型的应用：三个问题（及其数值求解算法）=>各个问题的具体应用场景（看文献） （来源：B站up主，shuhuai008，板书） 前向算法后向算法公式推导思路： 二、求解Ev
阅读全文
摘要：根据logP(X|θ)的两种分解方式，从两个角度导出EM公式： 一、从（最大化ELBO，最小化KL散度）角度导出EM公式： （来源：B站up主：shuhuai008,板书） 备注： argmaxP(X|θ)=argmaxELBO<=>minimize KL<=> q(z)=P(Z|X,θ) 【固定X
阅读全文
摘要：EM算法收敛性证明： 来源：B站up:shuhuai008,板书 EM（expectation maximization algorithm）:期望最大算法，分为“期望”和“最大两部分，分别用“E-step”和“M”step解决。 一、收敛性证明： 其中，Q(t)是Q(θ(t)，θ(t))的简略表达
阅读全文
摘要：高斯混合模型（Gaussian Mixture model） 来源：B站up主：shuhuai008，板书 问题：“高斯”？，“混合”？ 可从两个角度理解 一、从几何角度看：高斯混合模型就是若干个高斯模型的“加权平均”。 混合高斯分布的公式 此处的x（小写）可以指代任意一个样本xi，利用公式（3）可
阅读全文
摘要：来源：B站up主：shuhuai008，板书 一、D-separation D划分是根据状态变量集合Xa,Xb,Xc之间的条件独立性存在的规则（上一博客规则①②③），对概率图进行划分的一种方式。 二、全局Markov性质 全局Markov性质是？？ 三、Markov Blanket 在概率图中与xi
阅读全文
摘要：来源：B站up主Shuhuai008：板书 概率图框架： 概率图可分为有向（Bayes Network）和无向（Markov Netwrok），其中从（随机变量服从离散或者连续概率分布）的分类角度可分为高斯图（连续）和其他（离散）。 概率基本概念： Bayes是一个概率的概念，可从基本的规则推导而来
阅读全文
浙公网安备 33010602011771号