北大教授查红彬:三维场景重建与数据获取仍有难点

5月9日,“2016虚拟现实技术创新及产业发展大会”在北京国家会议中心举行。北京大学查红彬教授发表《三维场景重建与数据获取》的演讲。

以下为演讲全文:

9

各位来宾、各位同行早上好,非常感谢会议主持方给我这个机会今天来这里跟大家交流,我今天要讲的题目是三维场景重建与数据获取,我本人主要做计算机视觉的,三维重建这块是计算机视觉里面非常重要的话题,虚拟现实这块很多同行也会非常感兴趣。我今天的报告还有一个特点,相对来说是偏技术一点、偏学术一点,我想今天有很多专家一定会给大家奉献大菜,我的目的、我的责任是来出一道小菜,让大家也能换换胃口,所以写了这么一个题目。

三维场景的重建意味着我们要通过计算机技术能把现实生活中的场景重建起来,反过来说是想把现实世界搬到计算机里去。今天到场很多来宾很熟悉,无论讲虚拟现实、增强现实也好乃至游戏、医疗方面的应用都需要把周围场景的一部分或者全部搬到计算机里去,这个我们搞计算机视觉的人认为是重建系统,这个重建场景数据最终要建立模型,这个事情听起来很容易,但是说对一个小的物体来说可能相对比较容易,但是因为我们把应用场景放大、放宽,这个事情就不那么简单了。

这里给大家看到这样一些例子,左边是现实场景当中的一些照片,右边是想把它在计算机里截的模型,像个雕像,这可能比较简单,有很多设备能够建立模型获取数据,有的东西非常难了,人脸看着很简单,但是人脸有变形,表情总是在变化,这时候本身也是要对付变形的对象问题,所以也不简单。那么其他的像树木、草木、有些公司接触到这样的对象物,结构非常复杂也不是那么容易的,运动的物体、运动的车辆甚至很大的建筑物这些东西都会给我们带来很多麻烦,如果我们看到中间的场景是个街道,里边有很多行人、各种各样的建筑物、各种不同对象出现的时候要在计算机里建立它的动态模型应该说是个很大的挑战。所以我们要把真实世界搬到计算机里去,是我们要打通一堵墙体是把现实和三维、虚拟分割开的墙体,这方面是有很多工作要做的。

看一个例子,我们要建一个所谓街道街区的场景,并不是简单的一台摄像机,简单的传感器能做到的,要使传感器结合起来,不同传感器用起来,同时要使传感器移动起来,车子上装了很多各种各样的传感器,包括扫描仪、计算机等等传感器,通过车辆在街道上行走我们获取数字这个已经很流行了,包括很多公司里的街景车都是做这样的事情,这样工作本身是需要很复杂的系统。这是我们看到车子运行的情况,左上角是车子运行,不同颜色是不同传感器得到的数据,数据进来之后我们想办法把它集成到同一个坐标系、同一个空间里,我们要做这样的事情,这样最终得到像右上角看着是一个点云,这个里面除了静态的场景之外还有动态的,有运动目标。在这个基础之上还要进行大量的数据处理,要进行分拨,把场景当中不同的要素分割出来打上标记就是右下角看到的场景,这个场景是北京大学东门和东南门之间的区域,周围用车子行走就能得到这样的场景,下面可以分割出不同的对象。最终像左下角看到的要视觉出来,这个场景里哪些是建筑物、哪些是人、哪些是路面、哪些是树木,一连串的工作做下来之后我们看到牵扯的要素非常多,需要解释的问题也是非常复杂的。所以把刚才我讲过的这样一些情况给综合起来我们会发现,确实现在要解决的问题、面临的困难还是相当多的,大家可以看到有好几点,我这里讲的都是困难,所以它本身是需要跟很多人做应用的。

这当中有三个关健词,第一个是3D,第二是大规模,室内空间甚至不能算复杂的东西,我们在室外、街道、城市甚至是整个地球上,所以是largescale,所以我们看到复杂度是相当大的,对象本身的复杂度、结构复杂度相当大。应用当中我们要考虑到它本身的变化、计算速度、程序运行所需要的时间代价这样都是运动给我们带来的问题。另外不同对象之间位置关系相当复杂,搞计算机视觉的人最头痛的问题就是所谓的遮挡,东西前后要遮挡之后就很难办了,这个遮挡要在这个地方出现。另外还有其他很多数据怎么来?从数据获取到处理过程再把它作为模型用起来,这里边牵扯到不同的学科,一个是计算机视觉、一个是计算机中间学,这两个东西本来在原来定位当中由从图象到描述是相向而成的,现在要想办法连起来,这里也牵扯了很多学科方面的事情。等等。这是我们所讲到的这些问题。

要解决这些问题有很多研究课题要做,这些是我们实验室做的研究课题,牵扯几个方面,一是在前期数据获取方面要通过不同方法获取到数据,这里边可以有多时点的算法和跟踪,后面有后处理的方式,有形状分析、匹配、运动对象的加截变形变异等等,应用方面主要在数字文化遗产、智能交通方面有应用,这是我们要做的事情它的背景情况。后面我用两分钟做个很小的介绍,介绍我们的工作,这个工作是应教授做的事情,事情不大非常简单。

第二个我今天想做个广告宣传他们做的事情,我也做个广告,但是广告不是事情是人,应教授考虑做什么事情呢,建物体的模型,动态的模型怎么办?通常办法是多试点,不同地方放摄像机,同时获取数据来建模型,那么多试点摄像机之间要同步,位置定位好通常不是容易的事情,可能在实验室环境之下多少能做,但是外边做不到,怎么解决多试点的问题?诞生了像图里看到的,放两个镜子,途径在两面镜子的相交,是非常简单的主意,今天主办方是光学单位,这个多少和光学有关系。物体放在两面镜子前面放上摄像机看一看,得到一个图象,就是同一个物体看到多个反射形成的镜像,我们进行分析就是多试点的受镜,只不过是多试点条件下得到的,这样用一个试点就能得到多试点图象来进行处理,就是一个简单的主意,当然很多几何上的东西,这位教授是数学的,用很多的数学的推理考虑重建的问题等等最后证明他的方法是可行的,而且也非常简单。为什么简单?大家看到对象物找到一点,然后找到一个理想的圆或者椭圆这个标的就能用起来了,他用了这样一些方法。优点就是在于用一个试点做,对动态的对象也能做了,这是一个例子,小的玩具只要生成5个试点的镜像就能做三维模型了。更复杂一点的,他买了两个大镜子回来放到实验室里,他站在实验室里举手示意,把图象截取下来,最后形成了右下角这个图象,他能够把动态的东西用一个很简单的方法重建出来这样就能够取得通常比较难取得的事情。这就是我今天的一点小菜,谢谢大家!

青亭网声明:所有会议实录均为现场速记整理,未经演讲者审阅,青亭网载登此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

文章下二维码15

责任编辑:
分享到QQ 分享到微信

0 条评论

头像发表我的观点

取消

  • 昵称 *
  • 邮箱 *
  • 网址

登录

忘记密码 ?

切换登录

注册