瞧一瞧：了解Magi从cLea心p的技术背景一，就卷不难为它洗白

核心提示：了解MagicLeap的技术背景，就不难为它洗白MagicLeap因为阿里巴巴投资的传闻和一周前的概念影片在近期可谓引火上身，短短几天

MagicLeap因为阿里巴巴投资的传闻和一周前的概念影片在近期可谓引火上身，短短几天时间内，从概念影片经网络到社交网络，成了当红炸子鸡。要知道，MagicLeap在2014年10月获得了来自Google、高通、传奇娱乐、ThomasTull、KKR、VulcanCapital、KleinerPerkinsCaufield&Byers、AndreessenHorowitz和ObviousVentures等机构和投资人共计5.42亿美元的B轮投资，融资完成后，GoogleAndroid及Chrome前团队负责人、现Google公司CEOSundarPichai加入MagicLeap的董事会。

的确，不像近期热门的微软HoloLens，MagicLeap做为下一代内容呈现和互动平台混合现实（MixedReality）领域的竞争者，至今并没有实机demo展示，仅有出自官方YouTube帐号的两段影片，但这并不妨碍我们从这家公司近年来申请的专利和引进的专家来分析他们的技术方向。

光学呈像

目前为止，无论是虚拟实境（VR）应用还是扩增实境（AR）应用，图像本身的路径基本上都经历这样的过

程：光–镜头–传感器–数字化CV算法–LCD/LED显示器，最终我们看到的AR/VR内容，都是透过LCD/LED显示器传入人眼。而LCD/LED本身在耗电、重量、体积等方面存在缺陷，是AR/VR用户体验发展的主要瓶颈之一。

而MagicLeap拥有一种名为FiberOpticProjector的核心技术，这种投影仪与传统意义上的投影相比，尺寸更小，功耗更低，可以透过一根直径1毫米、长9毫米的光纤投出几英寸彩色图像。

谈及FiberOpticProjector的原理，我们就要从已经加盟了MagicLeap的华盛顿大学EricSeibel教授说起。Prof.EricSeibel致力于研究内视镜已有数十载，他的研究团队曾在2013年公开展示一种直径1毫米、基于光纤扫瞄的内视镜。相比原来动辄几厘米直径的内视镜而言，这是一种变革性的进步。它的原理简单来说就如下图内视镜由基于MEMS的驱动器Actuator、单光纤、镜头组、直径1毫米的套管组成。当内视镜工作时，微电脑经由控制多个驱动器，精确控制光纤末端的扫瞄路径，透过画直径由小变大的同心圆来完成整个画面的图像扫瞄，再将数据回传给电脑合成图像。

MagicLeap的FiberOpticProjector和这个内视镜工作原理类似，只是光纤末端并不是用来采集图像，而是发出显示图像的光线，透过驱动器能快速的扫瞄，让镜头末端得以逐个投出图像。这个原理听起来简单，要在工程上实现是非常了不起的。

上面我们提到过，这种基于光纤扫瞄的显示设备有功耗低、重量轻、体积小等优点，而且可以透过多个光纤末端阵列堆叠的方式来实现FOV（FieldofView）显示。

而对于这种光纤扫瞄投影仪的画质，想必大家也不必过于担心。透过GooglePatent的检索，我们发现这家公司已经在为美国国防部研制分辨率达到4K级别的光纤扫瞄显示设备。

CG和CV

说完光学呈像原理，我们再来说说MagicLeap在电脑视觉技术（ComputerVision，以下简称CV）方面的成就。

上图来自MagicLeap近期的宣传影片，这些都是CG特效，并且MagicLeap自己也承认影片里的都是特效。这样用于表达idea的概念影片在硅谷公司里很常见，并不值得指摘。

接下来，我们重点针对上图里的这两组进行分析。一如HoloLens在去年10月首次亮相展示的宣传影片，纵然MagicLeap在影片里明确标注了Nospecialeffetsorcompositing，很多人还是倾向对它们持怀疑态度。

不过，要真正在技术和学术上讨论MagicLeap在CV和CG技术领域展现的成果和远景，就需要建立两个假设：第一，影片是在MagicLeap设备上使用他们的原创技术生成的，意即他们没有说谎；第二，影片是透过他们的设备即时采集、处理并展示的，即从外界感知环境数据到获得AR效果图像的整体时间在33ms~67ms这个时间范围内。

第一张图中，躲在桌下的小机器人被发现后，惊慌失措向摄影机打了个招呼。过程中摄影机持续在移动，中间桌子对小机器人发生了部份遮挡。在这个场景里：

首先是三维讯息感知：电脑必须透过传感器感知三维环境讯息，这个传感器可以是普通RGB镜头，也可以是TOF或结构光深度镜头，但是选择不同的镜头也决定了接下来算法的复杂程度。第二步是三维场景重构，这也是最重要的一步，需要透过所获得的环境讯息，即时对场景进行三维重构。这里就用到了大家最近在AR领域反覆提及的SLAM算法，该算法在即时构建三维场景的同时，能够准确地定位拍摄相机（或拍摄者）的位置。有了三维环境和位置这两个资讯，接下来的图形渲染工作才能进行。目前对于RGBD来构造三维场景的SLAM算法相对比较多，最著名的当属微软英国剑桥研究院和帝国理工AndrewDavison教授（接下来会多次提到这位教授的名字）共同开发的KinectFusion；如果用RGB镜头的话，也有LSDSemi-denseSLAM和DTAM等算法来获得相对丰富的三维场景点云端资讯。

▲KinectFusion重构效果。

▲LSDSemi-denseSLAM重构效果。▲DTAM重构效果。

其中DTAM也是刚才提到过那位AndrewDavison教授的重要研究工作。

第三步，三维场景辨识：当我们透过第二步获得了丰富的三维场景讯息后，接下来需要让电脑理解三维场景，即让电脑认知什么是地板，什么是天花板、什么是桌子，是一张什么桌子，桌子的材质是什么？目前在研究领域，3D场景与物体的辨识才属于起步阶段，受到数据集和采集方式，目前并没有显著的突破。因此在MagicLeap放出的demo影片里，他们巧妙地只使用了桌子，一些可以有效辨识的物体。这方面的研究工作，领先者又是那位AndrewDavison教授，他领导的实验室在CVPR2013会议上提出的SLAM++算法，可以透过RGBD镜头进行SLAM的同时，进行即时物体辨识，并完成物体的物理建模。▲SALM++的三维重构和辨识效果。第四步，物理建模与仿真：在辨识出三维物体之后，虚拟物件（小机器人）需要和物件互动（例如：碰撞），则需要对三维物体的材质进行辨识。由于demo中展示的是刚体碰撞效果，仿真上相对容易。那我们推广一下，如果是即时的流体材质仿真，就需要提到CG研究领域的physicallybasedrendering。该技术透过建立物体的物理数学模型，在电脑中模仿互动中物体的物理变化。如果有一天MagicLeap真要实现概念影片中鲸鱼的效果，大量的水滴溅射效果在移动设备上的即时计算模仿也会是很大的工程门槛。第五步，即时CG图像渲染：在完成北京精神科医院哪家好
了所有呈现效果的仿真计算之后，便是将AR效果即时渲染出来，进而投射在显示设备上。这是个相对成熟的工程问题，也有很多工程师可以回答这个问题，这里不再赘述。

第二个demo展示更多的是CG图像的视觉效果和分辨率，而AR的特性透过现有很多AR开源包都能够实现，更多是硬件工程上的工作，不属于这个章节的讨论范畴。

透过上面这五步，我们可以得到一个流水线程序。从电脑工程上来说，这个流水线覆盖了传感器讯号处理、三维重构、三维物体辨识、电脑图形学4个领域。在MagicLeap所展示出来的demo中都体现了现在电脑科学领域的最新研究成果，而它所体现出来的流畅性和继承性，也代表了目前电脑工程领域的最高工业水平。做为电脑科学的研究人员和电脑工程的从业人员，我都愿意为这些进步拍手按赞。当然，这一切都建立在本章开头的两个假设上。

虽然近期中国技术型创业公司环境显得浮躁，但怀疑MagicLeapB轮资方中任意一方的DD（尽职调查）能力都不算明智，希望这篇文章能做为一个引子，大家重新冷静考虑中国内外技术的差距和相对优势。

另外，我愿意相信现在MagicLeap设备的尺寸非常大，稍稍分析一下上面这些算法的计算量，就至少需要两台配备顶级GPU的顶配台式机。即时MagicLeap自己开发了全套FPGA（短时间内SoC北京精神病医院
的可能性不大）实现，其发热量和功耗也暂时无法支撑它成为一款便携设备。但任何一项技术在理论上得到突破后都需要漫长的工程等待，何况高通参投了MagicLeap。

HoloLens？

至于HoloLens，微软现阶段还没有什么担心的余地，目前MagicLeap的核心技术微软几乎都有，AndrewDavison几乎所有重要论文都北京看耳鼻喉的医院
是和微软剑桥研究院合作的，本来相对偏弱的CG技术也透过收购Intel手中的Havok得到补强。加上强大的开发者社交，未来市场里一定少不了微软的位置。

zgYlh1