Application of Opposition-Based Reinforcement Learning in Image Segmentation

论文笔记:Application of Opposition-Based Reinforcement Learning in Image Segmentation

这是一个番外篇的论文笔记。了解一下强化学习(RL)在图像方面可以有那些应用的切入点。

Application of Opposition-Based Reinforcement Learning in Image Segmentation

Farhang Sahba1’3, Hamid R. Tizhooshl’3, Magdy M. M. A. Salama2

这篇文章是用RL的方法做图像分割。The main purpose of this work is to demonstrate the ability that a reinforcement learning agent can be trained using a very limited number of samples and also can gain extra knowledge during the segmentation process. This is a major advantage in contrast to other approaches (like supervised methods) which either need a large training set or significant amount of expert or apriori knowledge. RL方法的优点在于可以用较少的样本来进行训练,并且能得到额外的知识,而监督学习通常需要较大的训练集。而所谓的oppsition-based 方法是为了解决 difficult to derive the state-action information especially when we need to store past experiences 而采取的一种加速算法。下面主要就是先介绍reinforcement learning的相关知识,以及opposition-based相关,以及本文的方法。

opposition based theory 用来优化 Q-learning,基本思路就是对于state和action,在做一次动作以后,找到s 的对跖点,和a的对跖点,这样就形成四个组合,也就是说,在只采取一步的行动,就能个更新四个点,于是原则上得到了四倍的效率。用Q-learning的话就是对Q-matrix的操作。


这里写图片描述

算法流程如下所示:


这里写图片描述

这个算法在切分之后有artifacts, 所以要用形态学开运算进行一下后处理。The reinforcement learning agent determines the local thresholding value and the size of structuring element for each individual sub-image. 也就是说,这个RL策略是用来选择local threshold以及形态学结构元的尺寸。

框图如下:


这里写图片描述

下面就是定义states, actions 和reward/punishment。states就是图像的状态,也就是可以反映出图像质量的一些参数:


这里写图片描述

而actions就是阈值和结构元大小,都被在某个范围内离散化了,因此就是固定的选取某个参数组合,然后看看效果好坏,给出一个reward,依次下去,从而找到最优解。


这里写图片描述

2018年06月19日17:07:59

太阳每天都是新的,而且会永远常新。 —— 哲学家,赫拉克利特

posted @ 2018-06-19 17:11  毛利小九郎  阅读(131)  评论(0编辑  收藏  举报