Siggraph 2013 paper reading abstract – Color & Compositing
2013-05-29 16:53 smyb000 阅读(457) 评论(0) 编辑 收藏 举报Note: All the paper links are from Ke-Sen Huang 's page. To see the orignal verison, please refer to SIGGRAPH 2013 papers on the web.
User-Assisted Image Compositing for Photographic Lighting
这篇文章所做的工作是将若干张（上百张）相机固定，光照变化的图像进行后处理，组成一幅光照均匀或者有其他特效的图像。该工作通过分析这些图的颜色信息，来将对图像成像做出贡献的光源分成三种基本光(Basis Lights)：填充光(Fill Light)——对应于环境光，用来描述阴影区域的明暗程度；边缘光(Edge Light)——用来突出图像中物体固有的边缘以及棱角，运用的原理是边缘在所有的图像中都很突出，而不是偶然的由于光源的角度和位置导致非常明显的棱角，通过解最小二乘来计算边缘光；漫反射颜色光(Difussion Color Light) ——表征物体固有的颜色，作者提出一个模型用来分离漫反射及高光。
图2. 三种基本光。左：边缘光(Edge Light) 中：漫反射颜色光(Difussion Color Light) 右：填充光(Fill Light)
有了这三种光之后，用户可以调整不同的光分量的权重，得到一些效果。作者了定义若干种对光照的调整子(Modifier)，得到不同的光照效果。
比如可以对某个物体单独调整光照(Per-Object Lighting Modifier)，做软阴影的效果(Soft Lighting Modifier)以及对图像中区域进行光照调整(Regional Lighting Modifier).
对一个场景计算基本光需要10分钟左右的时间，这些计算可以预先离线计算好，用户交互界面至于要调整基本光权重以及勾画出所要得到特殊效果的区域，操作十分简单。
2013.5.29
Example-Based Video Color Grading
Example-Based Video Color Grading 
Nicolas Bonneel (Harvard University), Kalyan Sunkavalli, Sylvain Paris (Adobe Research), Hanspeter Pfister (Harvard University)
图3. 输入与输出。 左：输入视频，右上角为前景mask。 中：模板视频，右上角为前景mask。 右：输出视频。
这篇文章所做的工作是将输入的视频片段（图1）转换为模型片段的风格，作者提出的方法能够保证色彩转换的真实度，同时不产生artifact。作者将微分几何中的概念用到颜色转换模型的处理中，这是文章的卖点。
图4. Pipeline。左：输入视频与模板视频。 中：第一步——逐帧匹配模板视频关键帧。 右：第二步——色彩变换平滑。
算法分为两步，如图4所示。在第一步中，作者定义了自己提出的色彩匹配算法，先用颜色直方图匹配的方法匹配亮度(Luminance)，得到亮度变换，再求得色度(Chrominance)的仿射变换(affine transform)。可选地，系统用Snapcut + Matting + Spatio temporal filter 来得到时间一致的前景mask，这样，前景和背景可以分开进行色彩匹配，来得到更真实的效果。在实施颜色变换之前，需要将输入视频的每一帧与预先算出的模板视频关键帧进行匹配，具体地，先用K-medoids聚类方法得到关键帧，再将每一帧和关键帧进行比较，取距离最小的进行匹配。在第二步中，作者引入微分几何中的概念，找到“曲率”低的点作为固定帧，对“曲率”高的帧的颜色变化进行插值，使得色彩变化即使在发生突变的帧上也能保持一致性。
2013.5.30
