4d facs 扫描,让数字替身说话更真实

要弄个活生生的数字凯文,以往那是只有大预算的电影工作室才敢想的事儿。不过现在,Reallusion 这家公司想颠覆一下传统。他们这回的办法是,把以前那些只供少数人玩的专业技术给大家都用上。这就得靠一套特别的扫描流程,加上 Headshot 和 Face Tools 这些关键工具才行。流程是这么开始的:先给那个人做个专业的3D扫描,咱们的目标就是把原始数据抓回来,不管是体型、高分辨率的皮肤纹理,还是脸上那细密的皱纹,全都得要。这是后面一系列操作的基础。 除了静态的3D表情,4D FACS扫描还能捕捉到每秒30帧的动作数据。高兴、伤心、惊讶这些情绪表现得特别真实,连说话时的嘴形变化也被准确记录了下来。把这些数据汇集起来后,就能做出一个特别真实的数字复刻体了。通过在绑定过程中加入很多形变参数,就能把演员的真实个性完美呈现出来。 监控表情变化的时候,视频存档比看几千个网格要方便得多。挑基础表情的时候,我们通常更看重那些标志性的或者很自然的样子,而不是夸张的极端状态。为了把扫描数据转成CC角色,Wrap3D在重拓扑环节里起了大作用。只要把扫描模型和CC基础模型对齐,就能生成一个外形和外观都高度相似的角色。 除了全身扫描的数据,单独来个高分辨率的头部扫描也很关键。这样才能把所有细微的面部差别都保留下来。用ZBrush能把这些表面细节投射到CC头部的网格上,连眼睛、睫毛、牙齿这些地方都能优化得很好。ZBrush Face Tools还能让我们把烘焙好的贴图轻松带回到Character Creator里去。 身体绑定有自动化的骨骼调整帮忙,只需要把CC基础网格的姿势跟扫描模型对好就行。GoZ还能把所有高分辨率网格的细节无缝传到CC的纹理贴图里。等身体绑定完了,咱们就能调整蒙皮权重了。衣服套好之后,在Character Creator里就能应用动作了,还能在iClone里做更高级的编辑。 ZBrush 面部工具特别擅长做自定义表情和动态皱纹效果。它能从导入的扫描模型里提取出13个核心表情。这些表情被用来做CC的表情形变和皱纹纹理。只要点一下鼠标,主要的形变和对应的动态皱纹贴图就会自动更新回去。 除了13个主要表情外,还有超过140个次级混合形状插槽可以用4D扫描数据来定制。你既可以用GoZ来轻松编辑这些形变,也可以直接通过OBJ文件把想要的形变集导进去。 为了让数字替身说话更真实,可以把4D扫描的说话脚本整合进来精修口型同步的嘴部动作。 全身和面部绑定完了之后就得用Character Creator里的逼真数字人着色器来修细节了。这个着色器有专门针对皮肤、眼睛、牙齿和头发的组件,还有次表面散射这些高级特性。这些元素配合起来就能在实时渲染中把扫描角色的细微特征给抠得特别准。 用CC智能毛发系统就能做出跟原演员差不多的发型了。这种头发看着逼真还有物理效果,在实时引擎里跑得也快。 眉毛和胡子也能随脸型变来变去,跟着说话或者做表情的时候一起动。 最后咱们可以把这个扫描项目保存成一个完整的CC演员。或者也可以选择只保存头部和身体的形变、皮肤材质这些单独的数据文件。 为了方便在不同的3D工具之间干活儿,Character Creator不光提供了FBX和USD格式的输出选项。它还能给主流的3D应用程序自动分配着色器和骨骼映射呢。