[译] 使用 iPhone X 与 Maya 实现快速面部捕捉「终于解决」

idea (53) 2023-03-25 08:03

Hi,大家好,我是编程小6,很荣幸遇见你,我把这些年在开发过程中遇到的问题或想法写出来,今天说一说[译] 使用 iPhone X 与 Maya 实现快速面部捕捉「终于解决」,希望能够帮助你!!!。

  • 原文地址:Using iPhone X With Maya For Quick And Cheap Facial Capture
  • 原文作者:IAN HAMILTON
  • 译文出自:掘金翻译计划
  • 本文永久链接:github.com/xitu/gold-m…
  • 译者:ALVINYEH
  • 校对者:luochen1992、melon8
[译] 使用 iPhone X 与 Maya 实现快速面部捕捉「终于解决」_https://bianchenghao6.com/blog_idea_第1张

iPhone X 能否成为一个快速、廉价、简单的面部捕捉系统?大约在一个月前,Kite & Lightning 的科里·斯特拉斯伯格收到了苹果公司的一部 iPhone X。不到一天,他就在用 TrueDepth 相机和 ARKit 来测试软件。他想看看这台手机是否可以用于他们的游戏和电影内容。

Kite & Lightning 是 Oculus VR 开发工具包早期的创新者,还使用一些引人注目的人物捕捉技术构建了像 Senza Peso 那样等突破性的体验。现在,他们正在建造巴比伦皇家战役。游戏围绕着这些有巨大态度的 “beby” 角色展开。他想知道是否可以通过使用 iPhone X 面部捕捉来更快更廉价地完成赋予这些角色一个比较大的个性,他在周末花一些时间在上面。

“我认为目前我得出的一个重大结论是:iPhone X 所捕获数据非常微妙、稳定而且不会过度平滑”,斯特拉斯伯格在一封电子邮件中写道:“它实际上能够捕捉到非常微妙的动作,甚至是微小的抽搐,它已经足够干净(无噪音),可以在手机上直接使用,当然这取决于你的标准。”

他认为这是一种相对便宜的面部捕捉的可行方法。该系统也是可移动的,可以使它更容易建立和部署。苹果收购了一家名为 Faceshift 的公司,该公司似乎为这项功能提供了很大的动力。虽然斯特拉斯伯格指出 Faceshift 的解决方案还有其他一些很酷的功能,但他已经能够用苹果所发布的 iPhone X 提取出足够的表现力,这可能对虚拟现实的制作仍然是有用的。

  • YouTube 视频链接:https://youtu.be/w047Dbo-fGQ

捕捉过程

下面是斯特拉斯伯格概述为了获取 iPhone X 的面部捕捉数据,并用它来激活动画角色在 Maya 中的表情全过程:

  • 使用苹果 ARKit 和 Unity,我导入了一个正在开发中的 Bebylon 角色,并将其面部表情混合形状和 ARKit 输出的面部捕捉数据挂钩。 这让我可以根据自己的表情来驱动婴儿的脸部动画。
  • 我需要捕捉这个表情数据,以便导入到 Maya 中。我添加了一个记录函数,将面部表情数据传入文本文件中。然后保存在本地的 iPhone 上。捕获的每一个表情从起始到停止都会被存成一个单独的文本文件,并且可以在捕获应用程序中命名或重命名。
  • 我通过 USB 将文本文件从 iPhone X 复制到桌面。
  • 为了导入到 Maya 中,捕捉的数据需要重新格式化,因此我编写了一个简单的桌面应用程序来实现这一点。它能够获取所选的文本文件并将它们转换为 Maya .anim 文件。
  • 我将 .anim 文件导入到 Maya 和 voila 中,你的角色会模仿你在捕捉过程中在 iPhone 看到的自己的样子。

据斯特拉斯伯格所说,他看到数据中出现了几个小漏洞,认为可能是他的代码所造成的。此外,尽管捕获发生在 60 帧每秒,但是这个过程目前呈现在 30 帧每秒,所以你可以看到一些质量上的损失。根据斯特拉斯伯格的说法,这一点在“马唇”部分中最为显著。

“这个系统真正的美妙之处在于它非常快和容易捕捉(就在你的手机上),然后导入到 Maya 或游戏引擎中,”斯特拉斯伯格写道:“在任何时候都没有涉及到真正的处理过程,数据看起来也很干净,并且可以直接通过手机来使用未经修改的数据。”

[译] 使用 iPhone X 与 Maya 实现快速面部捕捉「终于解决」_https://bianchenghao6.com/blog_idea_第2张

下一步

斯特拉斯伯格希望能将 iPhone X 安装在头盔上,然后同时用 Xsens 套装进行全身运动,同时还能人脸捕捉。

“我非常有信心,通过调整形状融合变形器的参数雕塑造型,以及添加适当的皱纹贴图,可以在脸部动画时使皮肤变形,从而能够显着改善 beby 这个角色。”斯特拉斯伯格写道:“同样,使用捕捉到的数据来驱动次级混合变形,表情将感觉更有活力和生动。”


掘金翻译计划 是一个翻译优质互联网技术文章的社区,文章来源为 掘金 上的英文分享文章。内容覆盖 Android、iOS、前端、后端、区块链、产品、设计、人工智能等领域,想要查看更多优质译文请持续关注 掘金翻译计划、官方微博、知乎专栏。

发表回复