微软HoloLens，黑科技背后的故事？

今天，微软Kinect技术的参与者Alex Kipman介绍了来自微软的新一代虚拟现实技术——全息图。借助头戴式耳机，全息图允许用户以实际环境为载体，实时处理和获取虚拟信息。例如，在墙上获取消息，查找联系人，在地上和家具房玩游戏，直接在客厅墙上进行Skype视频通话，以及观看球赛。事实上，用户甚至不需要任何信息载体，所有的数据都是通过耳机直接呈现给用户的。

同时，微软也发布了自己的全息图技术设备。从外观上看，很可能这款设备采用了微软此前购买的ODG智能眼镜技术。据报道，HoloLens拥有透明镜头，内置高端CPU和GPU。

看完这个视频，绝对是爽屌。沉寂了这么多年的微软，似乎终于崛起了。如何评价HoloLens的黑科技？

以下是正文：

引用宣传视频中的一句话：

这是科幻小说，微软把它变成了科学事实。

HoloLens所达到的效果并不是微软家族的创新，已经在各种科幻电影中传播开来。HoloLens是Oculus Kinect Jetson TK1集成的嵌入式怪兽，卡在鼻梁上。弥补把Kinect带到你头上的情况。微软做到了！

让我们把HoloLens介绍给没有看宣传视频的孩子。HoloLens是Glass的高级版本，基于深度相机、高性能处理器和双屏显示。看起来是这样的。详见微软官网。

根据我目前看到的信息，HoloLens需要的技术支持包括三个部分：

实时3D计算是游戏环节的烂摊子。可以说，在《阿凡达》之后，一个时代的大幕已经拉开。经过NVIDIA、英特尔等公司的苦心经营，实时双摄像头渲染已经成熟。最后，微软将这项技术推向了更广阔的领域。下面的效果现在是游戏级别的。

精确的姿态确定和位置确定根据网上流传的信息，可以肯定微软采用了基于深度识别的SLAM(实时定位和地图构建)技术。这里解释一下什么是SLAM，即利用传感器获取有限的环境信息，如视觉信息、深度信息、自身加速度和角速度等，来确定它们的相对或绝对位置，完成地图的构建。

SLAM的精度对于最终的显示效果非常重要，所以姿态确定不是问题。几十个电容陀螺仪或者几百个MEMS只是复制几个代码，但开发者_如何转开发是如何确定位置是微软的本事。当然，微软多年来一直在击败整个行业，Kinect正在成为行业标准(发表了多少论文)。想想我们使用的激光雷达的价格。真的快要哭了。

在电影中，用一个小探测器扫描了隧道的全景，并呈现了全息图。对应现实《普罗米修斯》，用的就是这种东西，相当于一辆低配奥迪A8的价格，可以同时发射几十道激光束进行扫描。谷歌无人驾驶汽车也使用这种激光雷达进行实时路况分析。

微软所做的，就是为了达到三年前科幻电影的效果！

注意这张图。微软建议你应该在进入房间前进行扫描。在这里，你明显是用Deep Camera生成点云，然后用三角面片SLAM(这也是我实验室的一个兄弟在微软实习的时候做的毕业设计，微软在这项技术上积累了很多)。如果确定是类似kinect的红外摄像头，可以认为他会有Kinect的所有问题，比如检测黑色物体和光滑表面。

可以说，HoloLens的核心难点是深度检测和相关的手势识别。这是微软的专长。所以，HoloLens是戴在鼻梁上的Kinect。

为什么SLAM对HoloLens非常重要？只有实现可靠的SLAM，才能知道眼镜的空间坐标及其相对于各种室内障碍物的位置，同时识别各种室内装饰物的形状，这是宣传视频中人机交互的基础。

视频中，男主角总是在动，画面的稳定性很好。

注意这里在上图中，我们可以看到每个曲面的拟合度都达到了SLAM级别。

图像识别技术在这里，我们注意到一个细节。三维空间中显示的UI与Autodesk Fusion的UI非常相似。自动桌领先一步了吗？从官网的一张图片可以看到，欧特克正在使用。

作为一个半工程师，我买Leap Motion只是为了玩Solidworks Fusion。现在有了HoloLens，不知道比Fusion体验酸了多少倍。当我参观东区时，我的眼睛看到了东区的景象。我不能再震惊了。

这三项技术近年来已经成熟，为全息透镜的产品化做出了贡献。谷歌眼镜之前也有类似的想法，Hololens将它推向了现实。

其实Hololens取得的效果并不新鲜。早在冷战结束时，武装直升机飞行员就利用头盔中的信息来操作机枪瞄准的方向。这两年，我军也装备了。当时，苏35的“背卡宾枪”向后发射的导弹是用尾椎雷达和头盔瞄准具实现的。

此外，上图中使用了类似的技术。

但是，根据技术分析，Hololens可能会遇到以下一系列困难：

首先是功耗。逆向计算视觉、SLAM和三维虚拟现实通常是计算密集型任务。

。Hololens 是时势造英雄的产品，这种计算量在二十年前可是阿拉莫斯实验室用于核聚变模拟的计算量。现在只要耗电量跟的上，NVIDIA 的 Tegra K1 还有 Intel 家的协处理器在嵌入式上飙计算量没问题。

第二，是在开放环境、欠光线环境的识别度问题。我对此持保守态度，得拿到产品再说。

第三，是定位精准度问题。这是老大难问题了。

事实上，上图中这种配合将成为很长一段时间内的主流。

如果修的不是自来水管而是血管，看到的是通过 B 超技术实时扫描出来的人体内部，那么未来的医院会是怎么样的。

如果显示的不是自来水管的 manual，而是实时匹配无人机的爆炸视图，那么以后的工厂和 DIY 是怎么样的。

让人难以想象的是，这一切居然要成真了！

微软研究院养了那么多人真的不是白养的。目前来看，微软在这些技术上解决的都非常好。

另外十分看好 HoloLens+ 无人机的交互。拿到货以后我要做的第一件事情就是把我们的无人机系统移植上去。这画面太美。我简直不敢想。

还有多系统配合，这是像 iPhone 可以推动 21 世纪历史进程的玩意。

买买买！

估计 Google 也会坐不住了，也会有大动作，相关技术大部分（包括廉价的深度摄像头）都是开源的，估计很快会有公司扛包出现类似设备的开源硬件和软件，市场一刺激华强北也不会安分，投资空间有多大。各位手里有钱的主，都掂量掂量吧。由 iPhone 引发的历史轨迹就是证明。

看起来，全息估计不会成为主流发展方向了。

不过，我最好奇的还是，这个东西进入中国以后，广电会不会要求接入都要审批（显然会抢电视机的饭碗）。