MIT新研究:用怪诞的形状和颜色,来让VR里的朋友了解你的情绪

青亭网( ID:qingtinwang )--链接科技前沿,服务商业创新

今年3月时Facebook曾透露,为了解决VR头像缺乏生气、不够形象的问题,Reality Lab欲通过3D动捕技术来捕捉用户准确的面部表情和情绪,打造逼真的动态VR头像。从演示视频中来看,其系统对夸张的人脸活动可实现准确捕捉,头像外形与真人的相似度也很高。

190603-axe-vr-demo-tease_zlztc7

当然以现有的技术,Facebook的这款头像系统还难以普及,而且其对于细微表情的模拟可能也没有那么好。

发明者Bernal谈原理

看起来,距离在VR中实现真正的“数字分身”还有很长一段距离,但这并不妨碍我们去尝试。比如近期,美国麻省理工学院媒体实验室流体界面小组的一名博士生Guillermo Bernal,他就依靠自己研发的VR情绪感知与表现系统Emotional Beasts获得了该校年度Harold与Arlene Schnitzer视觉艺术奖第一名。

据了解,Bernal的研发成果其实是一个两部分解决方案,首先,Bernal在VR头显上加入多个微型生物传感器,并配备一个情绪感知头盔,接着,将传感器收集到的微动作数据传输给Emotional Beasts系统,转化成在VR中可视化的色彩或纹理。

EmotionalBeasts.jpg.1400x1400

Emotional Beasts对于不同情绪的表现

Bernal希望通过Emotional Beasts来表达人的细微情绪,比如:即将生气的样子、忍不住冲动而尴尬的样子、谨慎又好奇的样子,不过这些面部情绪并不是通过对用户表情的复制来完成,而是采用了独特的方式。

从视频和图片来看,该解决方案不管是硬件外形,还是软件画风都足够硬核,密集恐惧症、尖端恐惧症患者看了应该会很难受。至于为什么要这么设计呢,大概是出于对艺术和功能的考量,不过抛开它们鲜艳的色彩和华丽的外形,Bernal在该方案中加入了许多巧思,就让我们一一来看看。

用于VR头显的传感器

190603-axe-vr-demo-embed-5_bwepjx

添加定制传感器的HTC Vive

Bernal的情绪感知系统设计十分精密,他在一台HTC Vive VR头显加了一层搭载微型传感器的柔性印刷电路板,上面的传感器可识别大脑信号(EEG等)、皮电活动、声带和肌肉活动还加入红外线眼球追踪传感器,在头显的泡棉外面,他还加上了干电极,用于检测用户额头的皮肤张力,以及皮肤水分(是否出汗),这些数据可显示出用户是否情绪激动。太阳穴位置上的泡棉上还加入了心跳检测器,而且Bernal还将Vive的麦克风加入了识别语气的功能。

190603-axe-vr-demo-embed-4_utr6d9

除了改造的头显,Bernal还研发了一种五颜六色的尖顶帽子(戴上去仿佛变成外星人),这款帽子的特点是非常柔软,其搭载光学纤维,在识别到用户活动后,会释放不同图案的LED光,供传感器识别。Bernal称:帽子上LED灯的原理与神经网络从大脑中释放微伏信号很像。

190603-axe-vr-demo-embed-2_jmxw7j

搭载光学显微的布料帽子

关于Emotional Beasts系统

G_Bernal_Schnitzer.png.1400x1400

传感器在收集到大量信号后,会传输到运行特殊算法的单片机中进行计算,为Emotional Beasts情绪表现系统提供用户的多种信息,如:身体状况、焦虑和压力/兴奋等级,并推算用户行为和决定与生理状态改变的关系。

190603-axe-vr-demo-embed-8_ehhil5

接着,Emotional Beasts会通过开源的Unreal图形引擎将这些情绪和身体数据渲染成3D可视化的人像纹理(看起来十分抽象),也就是说,VR虚拟形象的外观采用根据情绪而变化的线条或外壳,比如:快乐和悲伤可通过线条收缩和颜色的变化来表达。同时,Bernal也提出通过3D颗粒来表现用户情绪,VR形象外表的颗粒可通过颜色、亮度来显示情绪指数(生气的时候可变成红色)。

1560337187660 1560337242598

关于挑战与机遇

EmotionalBeasts.jpg.1400x1400 (2)

尽管Emotional Beasts的原理听起来很酷,但人类的情绪本身十分复杂,这一点Bernal也承认,提高情绪识别和计算的准确性依赖大量数据支持。毕竟,并不是每个人表现情绪的方式都相同,就好比一个西方白人和一个亚洲中年女子,他们表达愤怒的方式肯定有很大区别,文化和地域对其有很深影响。

由于生物信息属于用户隐私,因此很难在市面上找到公开数据,因此Bernal计划在今年夏天开发一款简易版Emotional Beasts系统,供全球用户测试。他希望通过这种方式,在获得许可的情况下合法获取人类情绪信息,创建一个全球情绪数据库。

190603-axe-vr-demo-embed_h7va5h

关于未来应用场景,Bernal认为除了VR社交,Emotional Beasts还可以结合AI系统,来识别早期精神疾病。的确,目前已经有公司在用VR头显来识别自闭症、阿尔茨海默症等.HoloLens联合发明者Avi Bar-Zeev此前也表示:通过结合眼球追踪、EEG、皮电反应、脉搏和血压传感器,VR在情绪识别上也会大有作为。

190603-axe-vr-demo-embed-6_ibondt 190603-axe-vr-demo-embed-9_twgsdz190603-axe-vr-demo-embed-3_ykpv9x

本文系青亭网翻译自:The Daily BeastMIT Media LabMIT

更多精彩内容,关注青亭网微信号(ID:qingtinwang),或者来微博@青亭网与我们互动!转载请注明版权和原文链接!
青亭网

微信扫码关注青亭网

青亭网

青亭 | 前沿科技交流群01

责任编辑:hi188
分享到QQ 分享到微信
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册