深析:估值45亿美金的Magic Leap的“技术缺陷”在哪?

 

20161025103229866

镜头问题:模糊,色彩偏差和重影问题

笔者最近研究了Magic Leap公司的《全新的早晨》视频,据他们称是“于2016年4月8日直接用Magic Leap公司的技术进行拍摄,并未使用特效或者合成镜头”。之所以选择这部视频是因为其有着文字内容,还有许多线条轮廓(我知道这些应该是什么形状)。通过比较我就能更轻松地找到存在的问题。图像上看起来的整体感觉是有些模糊,存在着不少镜头问题。

模糊问题

Resolution-01B-crop

在视频第0分58秒左侧的细节能够看到视频中桌面上有两块贴纸,其中用3个1080p的红色像素点标记出来了。我都用4倍显示出来了,这样大家就能看清细节了。

注意看这些贴纸,相机的像素足以清晰地看到字母“t”中间的十字线(单词“Summit”那里),以及字母“a”中间的圆圈(单词“Miura”那里),然而由于镜头模糊导致还是看不清。

色彩偏差问题

Resolution-01B-chroma-crop

如果你去看最上面那个框中的字母“a”,就应该能注意到右侧许多1080p像素都有的蓝色模糊的地方。这些色彩偏差在这一帧上清晰可见。这种偏差反映了RGB三原色不集中,从而导致有模糊的问题。

下一个问题则是,到底是相机本身的问题?还是Magic Leap公司技术不到位导致了这些视频不正常?一般用普通相机的话,越远离图像中央的话,色差就越明显。

在边上的截自0分53秒的图中,顶上有一个名字“Hillary”(与前总统候选人希拉里没有关系)而下面中间位置有一个“Wielicki”。显然“Wielicki”色彩偏差的要明显而且严重得多,虽然这个单词实际上是在图片的居中位置。这种从上到中间色彩偏差越来越明显的趋势,排除了相机是色彩偏差的源头的可能。那么由此可以推断,色彩偏差的源头就是Magic Leap公司的镜头技术问题了。

重影问题

ML-new-morning-upper-lower-crops2

在整部视频中随时都能看见重影问题,而且越往下和往左的话,问题就越明显。这与上次提到的帧刷新不同步导致重影的成因并不相同。因为这次问题出现的时候镜头没有移动,而且与位置有关。

下面我又一系列不同的帧,其中左上方、中间和右上方(标记为UL,UC,UR)的内容都很相似,其实中间一排,下方一排的也差不多。我尽力在这九个中去找图像最清晰的(通过改变左下方的图像)。我做了好几次来确定对焦问题和运动模糊,得到的结论都一样,下方和左边的重影问题永远都要严重得多。

这种问题看起来不是聚焦问题,也不是运动模糊问题。要注意的是左下方方格内(标记为“LL”)的图像中,字母“D”就有着比右边错位得多的重影。如果是对焦问题的话,应该是中间重影模糊严重,而不是只朝一个方向越来越模糊。

Magic Leap已对光场技术注册商标,开发者现可申请

通常,同样大小的重影是因为平面反射造成的。而曲面反射,比如摄像机的镜头或者哈哈镜就会增强或者减弱这种效应。这说明了视频中出现的问题与平面的反射有关,这就有可能是一个平面波导管或者斜的打光板造成的。

而图像靠近下方和左方就会变差的事实说明图像来源是右前方。通常图像在经过导波管等光学器件之后质量都会变差。

还可以注意到右边的第三个图像文字下方的水平线看起来有些锯齿状。

什么?有锯齿?有可能是反映图像分辨率为720p的线索

Magic Leap最新爆料:语音助手似iPhone,价格并不太贵

出乎我预料的是看到了呈对角线排列的阶梯状黑线效果,尤其是那些模糊的镜头中。现代几乎所有图像渲染技术都会有“抗锯齿”来平滑边缘渲染效果,利用调整灰度值来光滑这些黑线。由于已经有了镜头和相机出问题,所以我没想到还会有锯齿。除了“TODAY”字样和“YESTERDAY”字样以及其符号下面有明显的锯齿以外,其他地方锯齿并不明显。

在看这部视频时们很难不去注意到这些锯齿,因为它们还会四处移动吸引你的视线。锯齿的移动也是一条线索,因为它们会随着摄像机的移动而改变位置。

我在下方选取了一条有锯齿的线,然后在下面我利用Photoshop画了四条线来模拟这个效果。结果我放大了两倍,这样就能看清细节了。要注意的是Magic Leap公司视频中,除了锯齿以外,还有许多深色的点。这些锯齿线之间的点是由于线之间形成了角度,还有一些变形,导致线条上下多个像素渲染的时候偏离了原来的角度,从而挤在一起形成了深色的点。在Magic Leap视频中的线是上面分成三段锯齿的,而下面分成了4段。

resolution-jaggies-02

在红线以下是我自己利用Photoshop模拟的这种效果,基于的是1080p清晰度的图,背景选色也选自原图。我首先使用了一个薄到只有4个像素高的举行来模拟线,然后略为倾斜(上下差距近似为1度)然后旋转到跟视频中一致的角度,利用的是“最邻近法”(没有光滑处理或者抗锯齿)放大,这样就得到第三条线“渲染得到的锯齿”。然后我用高斯法处理,选择了2个像素为半径,从而模拟到了镜头中的模糊效果,这与Magic Leap视频中的效果很相似,我称之为“2.0 高斯处理锯齿”。我就再没用色彩偏差处理了(白线上下表层的色彩变化),这个效应会进一步软化/模糊这个图像。

看看结果你就会发现,深浅的点的分布恰如Magic Leap公司视频里的一样。但是要注意的是上下均有7段锯齿。然而我和视频里采用的线条角度是一样的,这就证明了视频中锯齿的线的高度为1个像素。而分辨率则根据锯齿的不同则应该是我的4/7(也就是说Magic Leap 的图像分辨率与1080p比起来是4:7)。

QQ图片20161115184205

那么把1080p乘以4/7大概就是617条线,比720p质量略低一些。这种方式比较粗略,还要假设图像没有故意被他们用相机扭曲过(让图像看起来很差)。

为了比较一下,如果光线渲染的时候使用了抗锯齿的话有何不同,我制作了“AA 渲染”版本,然后用相同的高斯法处理出模糊效果。结果是就跟视频中别的线条一样,看不出来明显的锯齿,也没有改变线条的厚度。

QQ图片20161115184216

好吧,我猜有人要说“但是杂志上面都讲这部视频看起来非常棒啊”

我经常说如果要做视频演示,“如果要我选是要做好产品本身还是做好演示内容,我会选择做好演示内容”。也就是说“要选给你产品增光加彩的部分,去掉暴露缺陷的部分”。

如果你的视频中满是快速闪过的图像和动作,让人无暇顾及细节,然后还有平滑的旋绕效果,那么只有图像学专家才能注意到分辨率的高低或者镜头有何问题。如果你把文字放得很大,或者很前面,让他很容易就能读到。那么大部分人都认为你的分辨率会特别特别高。一般来说,在演示视频中,我们没有高分辨率的话,是不会给别人文字去读的。

QQ图片20161115184229

我在图像处理和显示设备上有38年的工作经历了,看过了各种各样的产品演示视频。就我的经验而言,大部分人都不能看出分辨率的问题,然而有意思的是,他们都认为自己可以看得出来。所以那些不是专家的人,给我提交他们的体验报告的时候,我通常都不屑于顾。就算是图像方面的专家,也可能会给快速闪过制作精美的演示视频蒙蔽,更别说那些大权在握的审核人。

就现在而言,我还看不出来那些文章作者和投资人从这部视频上看到的东西。但是我想告诉大家的是,Magic Leap公司在YouTube上发布的视频其实在今天的标准看来图像质量很差。

Magic Leap聚焦效果

ML-Out-of-Focus

0:41 不聚焦

ML-In-of-Focus

0:47 变得聚焦

Resolution-01B-full-frame

1:00 最大聚焦

ML-back-out-of-Focus

1:05 重新不聚焦

Magic Leap公司很强调“聚散度”的重要性,也就是焦距和空间距离之间的契合程度。这就是Magic Leap公司和其他比如微软HoloLens的区别所在。
如果只有一个镜头,或者只有一只眼睛,是很难分辨出来3d空间的距离的,这样就很依赖于摄像机的聚焦方式。你可以从图中看出各种截图中的不同聚焦体现出来的效果。

他们在“爬珠峰”那一段中演示了聚焦的效果。Magic Leap公司在我们讨论的这部视频中则留下来了一些物体,让聚焦有迹可循,左下角的笑脸,边上的水瓶和桌面整理橱。

在这一段结束的时候(也就是1分05秒暂停)你能看到珠峰的全息图相对于摄像机的角度而言严重失去对焦,但是右边要好一些。而写着“Notices”的看起来远一些,却恰好对上焦点了。而同样角度的贴纸则跟珠峰的全息图一样左边略为失去焦点右边则更聚焦。

QQ图片20161115184257

这种焦点特征证明了这部视频中使用了焦点系统来生成那幅全息图。不过,也有可能是利用电脑计算出来的模糊特效伪装成有焦点的样子。但是别人报道过说他们用了焦点效果,所以我宁愿相信视频中他们没有“作弊”地去伪装特效。

在1分05秒的那一帧截图中,左下角的“15000 ft”字样同样失去了对焦,而且还有重影,这样一来就很难分辨出来哪些是故意做出来的焦点效果,而哪些又只是相机差导致的重影。由于布景问题,图像中最差的部分也恰好就是对焦偏的最远的部分。这有可能是个巧合,也有可能是他们故意布置出来的。

通过显示设备来看现实世界是什么体验

QQ图片20161115184242

总的来说,从显示方法中重新观察这个世界的时候还是比较还原的,没有多少严重的失真。至于导波管等结构则无迹可寻。通过这种显示来看电脑显示器,或者别的光源的话会很有意思的。

视频中的亮度很低,白墙看起来都是灰色的,只有几盏台灯能照着它们。家具和其他的一些东西都在黑暗当中。这种布置就让图像显得鹤立鸡群,而且图像还会限制亮度以保护人的眼睛,否则就会跟HoloLens一样光太强甚至会有影子。

总结

Magic Leap神秘显示技术曝光:不是自家专利,或为微型OLED

分辨率看似为720p,而实际上有些镜头都没有达到这个分辨率。我对显示质量有些不满,因为确实本身就不太好。还有很多图像问题覆盖了许多像素。
在好的方面说,他们能够用光学手段来展示景深,世界在他们手里变得非常酷炫。可能在黑暗一些的环境看不太出来一些遮罩手法上存在的问题。

我还很好奇这种分辨率怎么转码称FOV格式,以及怎么样支持多焦镜头。如果不算他们能够撞大运地提前搞出来光线扫描技术,那么实现720p到1080p如今都是有可能的。尤其是如果每只眼睛都分别需要一块的话,在任何生产技术中(LCOS、DLP或者微型OLED)都很适用。这些都是真正支持多焦镜头的电梯,需要很多高分辨的显示器。对于我,一个研究了18年显示技术的人来说,这绝非易事。

显然Magic Leap公司肯定展示了什么厉害的玩意,让投资人一下投资了14亿美元。希望这是Magic Leap还没公开的绝招吧。

(本文编译自kguttag)

本文是全系列中第5 / 7篇:

文章下二维码15

责任编辑:zenghui
分享到QQ 分享到微信

0 条评论

头像发表我的观点

取消

  • 昵称 *
  • 邮箱 *
  • 网址

登录

忘记密码 ?

切换登录

注册