澎湃龙江
引领数字生活| 共创澎湃未来
在元宇宙里克隆真人?Unity元宇宙的背后竟是游戏宅
发布时间:2022-01-24 浏览量:706

玩家一动,就把「据说买不起机器假肢只好坐轮椅」的NPC吓到冲刺速度赛苏炳添。


1.gif


在一个有巫师存在的宇宙中,猎魔人的坐骑闲来俯卧撑一下,好像也讲得通哦。


「身边枪林弹雨,NPC八风不动」的哏,已经让「加拿大邓超」贱贱老师拍成热卖电影了。


2.gif


三十多年来,游戏的NPC似乎从视觉效果到互动智能都有进步,但有无质变,实在不好说。


毕竟它们和那些只会复读「英雄要不要光临我的小店」、运动轨迹诡异的古早NPC实无不同。


3.gif


曾有人开玩笑:互联网时代的技术进步,三分之二是宅圈需求刺激推动的。


仔细想想,这话还真不假。在晚近的过去,在线看片的需求让数据传输技术获得革命性的突破。在不远的未来,游戏宅对五毛钱视效和低智NPC的鄙视,说不定也将同等地改变元宇宙呢。


对此,Unity微微一笑,公布了5年前公司已开始用于游戏建模和制作NPC的AI。


是不是有「大家在山上慢慢爬,我在山顶恭候」的贱贱感?在大佬抓紧砸钱、企业拼命抢位的元宇宙急流中,Unity已经有足够实力在自家的游戏引擎里搭建一个足够真实的虚拟现实世界。


而且更欠的是,Unity似乎不担心「元宇宙如何变现」的天问。


01


元宇宙里大搞NPC

还记得复仇者联盟4最终大战那个恢弘的场面吗?


4.gif


这背后强大的渲染技术正是来自曾6次获得奥斯卡最佳视觉效果奖,由著名导演Peter Jackson创建的Weta Digital(维塔数字)。


2021年11月9日,Unity出资16.25亿美元收购了Weta Digital。


由此,Unity也开始了在「元宇宙」这条路上的大步流星。


不过,Unity公司的高管们是逐渐开窍的:


一开始他们只求让游戏里的NPC看起来更真实,行为脱离智障。


不过公司高管慢慢发现,力求真实细腻的游戏建模与NPC互动的AI引擎,可以反用于真实世界中,让各种企业和单位使用这些引擎完成各种需求。


而这些企业输入的数据,又能用于完善Unity的AI引擎,让Unity的虚拟建模逐渐成为真实世界的数码克隆版。在当下就能搭上元宇宙的顺风船了。


5.jpg


说到元宇宙,也就不得不提Unity在技术开放日上揭秘到数字人制作流程。


而下面这位「真人」小姐姐便是其中之一。


她会嘟嘴卖萌,也会紧皱眉头生气,甚至让你不禁怀疑,如果有了她还需要再捏造二次元老婆么。



不过,对于量产的NPC来说,还需要点儿别的东西。


02


NPC如何「变人」?

想要把现实中的人给「元」了,显然需要非常大量且富有多样性的数据和标注,例如人物建模、姿势等等。


然而,使用现成的数据集是不行的。不仅因为数据量太少,而且其中存在的隐私和偏见问题也饱受非议。


既然真实世界的数据不好用,那我们自己合成总行了吧。


于是,一个新兴的替代方案诞生了——合成数据。


6.gif


然而,这个想法从一开始就遇到了阻碍:合成数据的生成器很难搞。


为此,Unity推出了一个全新的解决方案「PeopleSansPeople」。包含高了度参数化且直接可以应用于仿真的3D人体数据、参数化照明和拍摄系统、参数化环境生成器,以及完全可操纵和可扩展的领域随机生成器。


顾名思义,这个项目是从将采样自实景生活中真人外观的数据随机化开始,进而基于这些数据打造合成数据模型,将真人虚拟NPC化,也让NPC更加有真实感。


7.png

https://arxiv.org/pdf/2112.09290.pdf


通过PeopleSansPeople,用户可以在JSON注释文件中生成带有完美匹配亚像素的2D/3D边界框的RGB图像、符合COCO标准的人体关键点以及语义/实例分割掩码。


此外,PeopleSansPeople还利用了Detectron2 Key.point R-CNN变体进行了基准合成数据的训练。


8.png


结果显示,利用合成数据对网络进行预训练,并在目标真实世界的数据上进行微调之后,可以让关键点的AP评分达到60.37±0.48(COCO test-dev2017)。优于单独使用相同真实数据训练的模型(AP为55.80)和使用ImageNet预训练的模型(AP为57.50)。


9.jpg


「PeopleSansPeople」包含了一个针对macOS和Linux的大规模(1M以上)数据集:


  • 28个不同年龄和种族的3D人体模型,不同的服装(21,952个独特的服装纹理);

  • 39个动画短片,具有完全随机的人体姿态、体型等;

  • 完全参数化的照明(位置、颜色、角度和强度)和拍摄(位置、视场、焦距)设置;

  • 一组物体基元,作为分散注意力的物体和具有不同质地的遮挡物;

  • 一组来自COCO未标记的1600张自然图像,作为物体的背景和纹理。


10.jpg


生成分享海报