佳能VR通话体验:低门槛临场通讯方案,但延迟、建模问题明显

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

此前,佳能曾在CES 2022上展示了一种沉浸式、交互式的VR通话方案:Kokomo,该方案的特点是兼容VR头显和手机,允许VR用户和非VR用户在3D场景或VST模式中通话。近期,该方案推出了抢先预览版本,部分外媒对其进行体验,并分享了实际体验感。

IMG_0019-copy

据青亭网了解,Kokomo的原理听起来很简单,只需要一部手机和一台VR头显,比如Quest 2。不过,它具体是如何操作的呢?原来,该方案允许VR用户使用写实的3D Avatar与其他VR用户进行通话,整个过程如下:

首先用手机端app扫描人脸,并生成写实的3D人像模型,该模型将代替VR用户被头显遮住的面部。接着,你需要输入身高,以调整3D虚拟形象的尺寸。

3D形象生成后,Kokomo允许你选择沙漠等虚拟场景,然后便会在场景中叠加你的3D形象。不过由于3D图像分割、建模等技术局限,Kokomo中显示的3D人像并不完美,大部分时间有明显的图像缺失,模拟头显下面部的效果也不佳(只有20%时间有效)。

在进行通话时,VR用户需要将手机放在面前几步远的位置(大概腰的高度),并戴上VR头显。VR中会显示其他VR用户的虚拟化身,而这些虚拟化身的动作,则是由手机摄像头来实时捕捉。

尽管这种设置看起来比较复杂,但实际上比以往需要使用专业动捕、容积摄影工作室的方案成本更低,更容易使用。如果未来Kokomo的实时建模效果能继续提升,将有望成为一种很好的低门槛远程呈现(telepresence)方案。当然,实时传输3D内容在延迟等方面依然存在问题,短期内可能难以解决。体验者表示:在测试过程中,与我通话的虚拟化身刷新率可能只有3-4fps,通话体验并不顺畅,打破了沉浸感。

Kokomo的另一个问题是,尽管加入了预先3D建模流程,但在通话中却仅以2D形式显示虚拟化身,这可能是出于对算力、数据传输限制的考虑。

因此,现阶段佳能不打算对Kokomo服务收费,而是希望从早期用户使用中获得反馈,进一步完善产品。

IMG_0020-copy IMG_0018-copy

参考:TechCrunch

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:小新
分享到QQ 分享到微信

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册