用语音就能创作3D动画,这款插件为VR沙盒游戏带来可能

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

自这两年VR逐渐被人熟知以来,VR的杀手级应用一直被讨论,虽然优秀的内容不少,但真正能大规模打开市场的爆款寥寥无几。基于大IP的《半衰期:爱莉克斯》可能是破圈最成功的VR游戏之一,吸引了许多PC版《半衰期》玩家,自该作于去年3月上线至今,市面上还没能出现第二款超越的作品。即使是Oculus Studios重磅发行的《荣誉勋章:超越巅峰》,也未能达到粉丝们的预期。

1_l8OAnlIn723taT8HUnUZSg

那么人们不禁猜想,什么样的内容才能吸引广大消费者争相体验?参考以往PC端、Switch端的一些爆款游戏,像《我的世界》、《塞尔达传奇》这种开放世界游戏总能吸引源源不断的玩家,甚至能让掌机等硬件产品也成为爆款。

因此,或许VR也需要一款规模足够大的开放世界/沙盒游戏,然而这样的愿景可能因为种种技术原因(硬件、传输速度等等)一直未能实现。

近期,一个叫Gordon Midwood的游戏开发者推出了一个有趣的3D创作插件:Anything World,如果用于VR中,有望让沉浸式3D创作更简单,成为一种不管是谁都可以使用的有趣应用。

据青亭网了解,Anything World是一个Unity插件,该插件除了可以在网页端在线体验,技术还应用于《Rabbids Playground》、《Speak To Anything》等AR游戏,将AI语音识别与互动游戏相结合。

其特点是操作简单,通过语音识别就能创作3D动画,实时生成动物、汽车等3D模型,还可以用语音设定不同角色的动作,包括追赶、跟随、驾驶、攻击等等。它的使用方法足够简单,即使没有3D开发经验的人也可以轻松进行创作,无需手动建模、骨骼绑定、纹理渲染、多边形优化等复杂的工序,而且不需要购买或导入3D模型,该插件中已经包含大量角色和内容。

1_YJVlQHHV3Ux3alwb_17K-g

也就是说,利用Anthing World插件,你只需要动动嘴,就能开启上帝模式创建3D动画和场景。实际玩法上,你更像是在讲故事,而该插件会利用Unity引擎将你描绘的故事用3D实时展现出来。

Anything World开发团队表示:这是一款适用于主流大众的3D内容创作系统,除了设定3D场景、虚拟角色和行为外,3D动物还自带声音,可以根据与你的语音指令互动,并提供反馈,因此你可以直接创建对话内容,或者利用系统语音代替你对话。适用人群包括:3D游戏/内容开发者、设计师、教育者、艺术家、创作爱好者等等。而未来的应用场景则包括:沙盒游戏、大学课程、3D创作、VR等等。

关于原理

为了实现自然流畅的3D创作体验感,Anything World的AI算法需要识别和理解使用者的意图,同时还需要让动画足够生动活泼且支持互动。据悉,开发者利用Google Poly和Sketchfab平台的3D模型来训练机器学习算法,让算法自己分析模型的元数据,因此算法在识别语音后,会尽量采用符合语音信息的3D模型。

ezgif-6-7a1c65ea447c

在找到合适的3D资源后,Anything World会通过另一个算法去分析模型,并将模型与相识物体的开源点云数据集进行对比,从而对3D模型进行分类。比如,算法可能会将3D模型分类为两足动物、四足动物、昆虫、蛇、鸟、车、汽车、宇宙飞船等等。

完成分类后,算法会进一步分类3D模型的不同组成部分,比如动物腿、车轮等等,目的是为了将这些部分的网格进行分离,或是移动。接下来,会根据分类结果应用物理模拟动画着色器,它将融合整个3D模型不同部位的动作。然后,会在输出的3D模型中加入行走等一些预设动作,让它变得更智能,可以与语音指令互动。

1_N6i2SPzXbKO_0gIpdyr7DA

据悉,机器学习算法整个处理流程大约需要1到2个小时,不过在资源库中积累足够多智能模型后,变可以支持实时生成。此外,Anything World还会采用一个更加基础的算法模型,可以快速生成3D模型,但省略了骨骼绑定和动作设置环节。开发者表示:随着这个插件被越来越多人使用,会有越来越多的3D模型被使用和处理,未来资源库的规模也将不断扩大。

1_Ku6iq0INvgGtZXmruJfocA

有趣的是,尽管谷歌将于今年中旬关闭Poly平台,但是Anything World已经将部分3D模型保存在自己的数据库中,因此用户也可以继续使用这些模型。

关于未来规划

据了解,Anything World CEO Gordon Midwood之前是一名游戏开发者,后来与艺术家好友合作,开始为Alexa开发语音计算插件。于是再后来,二人决定将3D游戏开发与语音计算结合,开发出Anything World。

ezgif-6-7267ee60f506

据了解,Anything World近期完成了一笔融资,将用于扩大团队,并进一步提升和优化3D创作插件。对于未来,Midwood也有很多规划,比如:

1)利用自动权重功能,根据分类结果来实现自动的骨骼绑定和蒙皮;

2)开发UE接口;

3)支持Three.js、Babylon.js等Web 3D引擎;

4)兼容高多边形精模;

5)支持接入自定义模型或3D空间平台;

6)支持3D模型上传并输出为智能模型;

7)内置bug反馈机制,帮助机器学习算法识别错误,并自我修复和学习。

ezgif-6-686e6c06e1a8

此外,还将寻求更多合作伙伴,将语音生成3D动画技术应用于更多场景,比如:

○ 类似于Roblox的沙盒游戏;

○ Split Milk Studios等独立游戏开发公司;

○ Koala等教育科技公司;

○ VR语言学习方案商;

○ RemotelyHQ等线上会议解决方案;

○ 类似于Global Game Jam的黑客马拉松活动或游戏开发竞赛;

○ AR滤镜;

○ 社交平台表情。

对于3D创作的意义

如果将Anything World技术用来开发一款VR沙盒游戏,也许有望成为一款杀手级应用,就像我的世界在电脑端吸引各个年龄层用户那样。不过,在VR中长时间进行创作的同时,舒适感也同样重要,尽量将游戏时间控制在一定范围内,避免使用者开始眩晕,影响体验。因此可以缩减完成游戏中任务所需的时间,避免让玩家将过多时间用于材料收集等等。

ezgif-6-a3629042bc5c

与此同时,Anything World的语音识别功能将简化游戏互动的方式,带来更多灵活、自然的操作。总之,Anything World的目的不是提供专业的3D创作平台,而是更注重简化创作方式,降低使用门槛,加快3D创作速度。对于优质内容依然缺乏的VR来讲,有一款低门槛、易使用的创作工具很重要。

对于未来的空间计算和交互式3D教育来讲,Anything World有望带来积极的影响,让更多人可以轻松使用AR/VR技术。据体验者称,他只观看了不到半小时的教学视频就能够上手Anything World,使用方法足够简单。

目前,你可以在网页端体验Anything World的Demo,现在只能识别预设的语音,目的是为了让你体验语音识别创作的效果。参考:Medium

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册

freemoviexxx.cc freemoviexxx freemoviexxx