布拉格捷克理工大学研究团队:Prisma进化版
还记得 Prisma 吗?就是能把拍摄的照片转化为各种名画风格的修图软件,神经网络的深度学习后,想要波普还是梵高风的图片都不在话下。
现在,它的进化版本来了。这回是布拉格捷克理工大学的研究团队创造的算法,这种人工智能技术能将动态画面转化为不同的风格。在演示视频中,原本正常的一段自拍视频加入了铜像、素描、油画的风格,呈现出奇特的画面感。
目前,研究团队还未公布这项技术的原理,论文要等到今年夏末才会正式公开。从效果来看,团队需要利用上机器学习原理,识别出人物主体和背景。它有点像前段时间两个不同研究团队将图片和视频进行处理后的综合效果。
康奈尔大学与 Adobe 团队研究的是通过深度学习对图片进行后期处理和颜色的调校。这套算法能将其中一张照片的风格完整迁移到另一张图片中,包括光线、明暗和色调。一张日光满城的照片可以转换为夜晚华灯初上的夜景,但图片的构图不会被改变,效果还是很逼真的。
在计算机大量学习了不同图片等元素后,你就不需要教会算法什么是建筑物或者天空的颜色应该如何匹配,它自己就明白当城市入夜的倒影应该如何展示。这种算法只会对图像的颜色和色调进行调整,也能够保留细节,不会产生线条变形等奇怪的画风。
不仅是静态的图片,对于视频研究人员们也有一些尝试,比如让视频里的名人说点你爱听的话。美国斯坦福大学、德国普朗克信息研究学院(Max Planck Institute for Informatics)、埃朗根纽伦堡大学(University of Erlangen-Nuremberg)的研究团队开发了一款叫做 Face2Face 的软件,软件能够识别一个人说话时的动作和表情,并把这重现在另一个人的脸上。
这个技术是通过一种密集光度一致性办法(Dense Photometric Consistency measure),达到跟踪源和目标视频中脸部表情的实时转换,由于间隔的时间很短,使得“复制”面部表情成为可能,不过现在还没办法实现声音也一样模仿出来。
捷克的研究团队则是直接把原本 Prisma 的效果搬到了动态视频上来,很多大公司也在进行相关研究。Facebook 在 F8 上发布了 AR 相机,Snapchat 和 Instagram 等社交软件此前也尝试过不同的 AR 滤镜。
如果这篇文章帮助到了你,你可以请作者喝一杯咖啡