2009暑假学习总结(CG软件介绍4)
人脸建模动画一直是角色创作的重点和难点,今天向大家介绍几款软件:FaceGen,Lipsync,facestation,LifeMode Head,FaceRobot。国内做人脸相关科研的也不少,可以从这些软件中寻找一些思路。
FaceGen是一款很牛的软件,它实际上将人脸的数据都参数化了,通过一些参数来对人脸的形状,纹理进行调整。由于都是存储的参数,因此他存储的文件大小很小,只有几十K。下图为FaceGen的软件界面,你可以方便地调整人头的性别、年龄、漫画夸张效果、种族等;同样也有很多参数可以调整人脸的各种形状,纹理效果,也可以实现各种表情与口型变形(是基于类似Maya下的Blend shape插值方法的)。
另外,它也支持给人头配上一些简单的眼镜,头发等。
做人脸识别的人,最不好找的就是三维人脸数据库。而且已有的三维扫描人脸数据,我们还需要做复杂的数据预处理工作。这里我们可以利用facegen随机生成的人脸模型,且这些人脸模型的拓扑结构,对应关系都是一样的。这样用这样数据来验证我们初始的想法,也是一个思路。
FaceGen还有一个比较牛的功能,就是他从照片生成对应三维人脸模型的效果特别好,而且操作简单,只需要在照片上点5个特征点就可以了。我曾经做过好几个试验,生成模型和真实人脸非常像。它的缺点是计算速度比较慢,在我的电脑上重建一个三维人脸需要5,6分钟。
另外,FaceGen还支持提供SDK,允许用户把这个软件的功能集成到自己的程序中去,价格好像才300美元,对于一些大的项目也可以考虑直接购买它的SDK。实际上,poser软件中的人脸重建模块就是用的FaceGen的功能。
在FaceGen的主页上也总结了一些常用的人脸动画工具,感兴趣的可以进一步了解:
· Off-line Authoring Tools - from audio and/or text
- Face FX (OC3 Entertainment)
- Fatlips 3D. Max plugin. (Yulsoft)
- Lipsync SDK (Annosoft)
- Magpie Pro. Standalone. Automatically uses FaceGen models. (Third Wish Software)
- ProductionSync. SDK. (Automatic Sync Technologies)
- Visage Technologies toolkit and plugins. Automatically uses FaceGen models.
· Off-line Authoring Tools - from motion capture
- Face Robot. Standalone. (Softimage)
- Motionbuilder. Standalone. (Autodesk)
· Real-time audio-based SDKs
- InstantSync. (Automatic Sync Technologies)
- Face FX Live (OC3 Entertainment)
- Microsoft SAPI
- Realtime Lipsync SDK (Annosoft)
- Visage Technologies SDK. Automatically uses FaceGen models.
· Full service facial animation studios
其中Lipsync就可以直接下载一个生成口型动画的exe文件,输入一段语音后,自动生成相对应的口型动画,感兴趣的可以去试一试。
Microsoft SAPI是微软的语音应用程序界面,是一套免费的语音识别合成开发工具,而且支持中文,上面有些软件的语音处理方面就是用SAPI实现的。
Facestation也是一个挺牛的软件,最突出的是它能够从一个摄像头拍摄到的人脸视频,得到22个特征点的三维运动数据,并且驱动三维人脸动画。其中视频信息生成表情动画,语音生成对应的口型动画。
而且它还支持实时的视频采集,在maya中实时的生成相对应的三维人脸动画,这一点对于调表情动画来说很方便。
我觉得Facestation的缺点有:第一是设置太复杂,用户需要花不少时间去设置连接参数,自动化更高一些就好了;第二是默认的Blend shape表情网格太少,只有16组,表情表现力不够(可能是为了减少计算量,确保实时性);第三是跟踪时对拍摄光照,背景环境要求较高,也容易出现跟踪错误,在实际工作时,考虑在人脸特征点贴一些标示物,估计效果会更好些。
Facestation也能实现从正侧面照片重建三维人脸模型,但效果明显不如FaceGen的好
LifeMode Head这一款软件是基于宏肌肉的,通过控制肌肉的收缩紧张度来控制人脸表情动画。LifeMode Head有两点值得我们借鉴,一是它的动画库中除了提供一般的人脸动画姿势,还提供了一些animation clip,即一小段表情动画序列。二是他支持一种类似多轨非线性编辑,可以把各种表情,小段动画序列放到时间轴上,融合生成最终的动画效果。
FaceRobot也是一款很牛的软件,用户只需要在自定义人脸网格点一些特征点,调整一下特征线,就可以自动进行人脸装配。原来艺术家需要花很长时间调整的工作,现在很简单就可以生成了,而且效果很好。不多说了,贴几张软件帮助中的图片。