HoloLens的显示瓶颈——聚散冲突（accommodation-vergence conflict）

magic leap的聚散匹配（accommodation-vergence matching）

关于magic leap遮挡效果和颜色效果的假想

1、HoloLens的显示瓶颈——聚散冲突（accommodation-vergence conflict）

聚散冲突（accommodation-vergence conflict）

（Helmet Mounted Displays）

全息光波导光学（holographic waveguide optics）

深度隐喻（depth cues）

双眼视差（binocular-disparity ）

单眼暗示（

monocular cues）

聚散匹配（accommodation-vergence matching）

聚散冲突（accommodation-vergence conflict）

（实在不好意思，这篇文章是十个月前写的，很多东西在现在我看来是错的，但是现在不写知乎了，也就不改了）利益相关，朋友研发的眼球追踪视线系统（eyegaze system）和magic leap有合作。—————————————————————————————————————列个目录Magic leap和HoloLens最大的区别在于它们的显示技术，hololens目前在显示上最大的问题除了FOV之外还有两个，一个是，另一个就是 不能显示比当前环境亮的物体 ，而magic leap可以解决第一点。据我军方的朋友说，目前他们军方使用的是头盔式显示器，而用的正是HoloLens的全息光波导光学（holographic waveguide optics）技术。这样一说，大家就明白了，HoloLens的技术是军方正在用的，而magic leap的技术是军方正在开发研究中的。重点来了，大家都知道 HoloLens 的显示技术是。产生的方法只有——就是离你越近的物体两只眼睛看到的图像差别越大。但是，眼睛除了有双眼视差外，还有，比如我们后问题到的accommodation（单眼的focus）。我在开发HoloLens的时候发现，HoloLens 会严格控制全息图像的距离来保证如图，两米的距离是最舒适的。全息物体显示离你2米之内，则会导致，因为左右眼看到的图像差别太大。而这个2米的舒适距离，几乎让我们身体不能直接接触到全息物体，(#‵′)靠，所有交互很难受，总感觉和交互物体之间隔了个空！！这边是HoloLens 最大的局限性。明明辐辏（明明显示很近的物体，眼睛都converge了，可是屏幕偏偏在焦点后面。（偏眼科专业知识，这一段可以跳过）

在 自然的观察（natural viewing） 下，Vergence和Accommodation其实是有 联系（linked） 的。它们之间形成了 适应和辐辏的条件反射（accommodation convergence reflex） 。

简单理解，就是眼睛的这两个机制会一起动。如下图，眼睛的焦点在不同距离之间的移动时，Vergence和Accommodation一起发生了变化。



如图，从左到右的变化中，当convergence（双眼往鼻子的方向靠拢并旋转）时，accommodation也跟着引发连锁反应（伴随着晶状体变形和瞳孔放大）。



—————————————————————————————————————

两只眼睛正向或反向移动都称为辐辏 （vergence） ，为了获得 双眼单视（single binocular vision） 。

当看近处物体时，我们称 汇聚（ convergence） ，此时两只眼睛是朝内的；converge的目的正是让你聚焦的地方变清晰。

而看远处物体时，双眼朝外，我们叫做 分散（ divergence ） 。



我们都玩过斗鸡眼（cross eyed viewing）吧？就是两只眼睛都朝着鼻子的方向看。这时你慢慢朝远处望去，双眼汇聚的焦点越来越远，远到无穷远，这时双眼实现平行了。

我们都知道近视眼这个lens看近处看多了，拉不回去了（又叫近视眼）。睫状肌拉长又被压扁极其富有弹性，这个弹性就是15 屈光度（dioptres）。

而眼睛的 适应（ Accommodation） ，它改变了optical power。

从图中可以看到，晶状体是有弹性的，看近处的物体时，晶状体被压扁了，从而达到在视网膜上清晰成像的目的。而optical power正是 通过睫状体（ ciliary body）的收缩（contraction） 来调节的……而睫状肌收缩和放松的过程就叫accommodation。

晶状体的形状（

lens shape）

瞳孔的大小（pupil size）

深度线索（focus cue）

2、magic leap的 accommodation-vergence matching

VRD（virtual retinal display，虚拟视网膜显示）

retinal scan display (RSD)

retinal projector (RP)

动态数字化光场信号（Dynamic Digitized Lightfield Signal）

Being able to generate images indistinguishable from real objects and then being able to place those images seamlessly into the real world.

连续对焦（continuous focus）

动态重新对焦（refocus dynamically），

实像（real image）

虚像（virtual image）

accommodation-vergence matching

Intellectually, I know this drone is an elaborate simulation, but as far as my eyes are concerned it’s really there, in that ordinary office.It is a virtual object, but there is no evidence of pixels or digital artifacts in its three-dimensional fullness.

refractive powerconstrict如果上面没看懂，我再用简单的话描述一遍：在现实生活中我们感到『深度』是因为物体表面反射自然光线形成的『场』。两个物体间不同的场就形成了不同的深度。传统的显示技术（包括HoloLens和oculus都只能将物体显示在单一的平面上），所以丢失了然后视觉系统就傻逼了，具体感觉就是眼压增加甚至恶心。—————————————————————————————————————（图为magic leap原型机）你可以看到它的细长的管道和凸起的电枢（armatures）。我们注意一下它墙上那张图——Magicl Leap的显示技术叫也有人叫或者。用到的技术正是按照magic leap某朋友的说法，这种显示生成的图像无法区分虚拟物体和现实物体，从而让虚拟图像和现实世界建立起了完美的连接：我们把它拆分成两个核心问题：（1）光场；（2）视网膜投影。（1）光场显示解决accommodation-vergence matching的正是magic leap作为光场输出的特殊功能——，而这个功能正对应lytro上的来模拟物体距离我们的远近。近眼光场的两次对焦：下面是lytro拍的光场视频，记录了开花的过程。我的眼睛可以选择凝视在不同的焦点上。聚焦在两边的花上：后面的花清晰前面的花清晰。我们把上面这幅光场视频用magic leap显示出来，如下：（中间的图像是左右眼叠加后得到的）传统的显示器，比如手机电脑电视，包括oculus和HoloLens……你直接看到的，都是。但是，通过一个光学系统（optical system），射到你眼睛里的像是而magic leap 投影的虚像，用户的眼睛聚焦在不同深度都感觉舒服，从而达到正如wired所说：

感觉上，他已经分辨不出magic leap里的是现实物体还是虚拟物体了，而且看不出上面的像素。

数字光场（digital light field ），

autostereoscopic visual effect（自动立体视觉效果）

近眼光场显示（near-eye light field display）

衍射受限斑点（diffraction limited spot）

把电脑绘制好的激光或者说射到用户视网膜上成像。从视觉上来说，它是目前非常完美的显示技术，用户感觉东西就像在眼前一样。magic Leap自己说叫：，也是目前为一种能够完全复现你看到的场景的技术。目前军方正在研究的是——。我们可以看到左右眼各一个显示器，每个显示器上都有一块屈光度不同的屈光镜！ @Botao Amber Hu 所说，光场是四维的。怎么理解呢？我现在把光场在下面这张二维平面上展开，原本的二维图片在这里就成了一个点，横向和纵向地排列在光场里。（左下）而你视觉系统感受到的图像。（右下）正好对应lytro光场相机的64个CMES。（现在普遍的分辨率为1080P，而如果将1080P的二维图像光场化则需要1080×1920个1090P的图像二维排列）上面三张在你视觉系统感知到的图像：—————————————————————————————————————（2）视网膜投影——激光二极管直接在视网膜上绘制图像，对于我们正常人来说可以缓解和预防近视眼，请想象你虚拟一个离你七八米的全息巨幕来办公……另外的好处就是可以让那些晶状体玻璃体角膜受伤的盲人恢复视力，直接把图像画到视网膜上，而跳过了它们，不过前提是你得有良好的视网膜和黄斑……（畅想几十年后的可植入设备，可能直接把图像输入到你的视觉神经，而跳过视网膜，即使你全盲）虽然是激光射在了眼睛里，却不会伤害人眼的光学系统，因为1、强度低；2、分散在大面积的视网膜上而不是点；3、时间周期长。因为激光的伤害主要是集中在狭小的区域内造成的。VRD的三原光的光子源（photon source）产生相干光束（coherent beam of light），比magic Leap用的激光二极管（laser diode）就是一种相干光束。它会在视网膜上绘制一个。在渲染时，光束的强度会变化以匹配图像的强度，而在光束生成后，调整便完成了。最后这个调节过的光束再scan到视网膜上。关于相干光束（coherent beam of light），有张很直观的图便于大家理解：

因为是光子打到眼睛里，所以在亮的地方就显得比较透明，（无法显示比环境暗的虚拟物体），wired中说道：

I can get the virtual drone to line up in front of a bright office lamp and perceive that it is faintly transparent, but that hint does not impede the strong sense of it being present.

3、关于magic leap遮挡效果和颜色效果的假想

虚像

叠映（superimpose）

调节现实（mediate reality）

遮挡（occlusion）

—————————————————————————————————————关于第二点光线的问题，magic leap也无法吸收掉那些进去用户眼睛的环境光线，只能降低往眼睛里投射的光子。但是和传统的显示相比，magic leap具有极其广阔的色域color gamut，在亮度还原方面也是非常出色的，想象你在室外阳光直射下玩iPhone或者用HoloLens，极高的亮度让你几乎看不清iPhone和HoloLens上的内容，但是magic leap不会。目前有一家正尝试将VRD技术用到VR显示上的产品，叫glyphVRD三个词中的virtual，是指虚拟成像中的，是一个物理学概念，而不同于虚拟现实强调的虚拟。和glyph不同，Magic leap的AR是把投影的虚像在你眼睛已经看到的真实物体的实像上。对于叠加来说，最大的难点在于，用通俗的话说就是用相机capture到将要进入你眼睛的光，然后用计算机合成一组虚拟的光子去替代这一部分光，从而做到的效果。（Magic leap最有可能的产品形态是eyeTap，下图为 Generation Glass。）——————————————————————————————————————————————————————修路中—————————————————（后面为正在写的草稿部分……请无视）

正常年轻人眼睛的焦点可以从无限远处聚焦到距离眼睛只有25cm的地方，这样的焦点转换大概耗时350毫秒。



AirScouter

目前已知的做VRD系统的公司，是日本的Brother Industries，它们的产品早在2010年9月就有过展示。一个点光源的发射器（point source emits）发出的光波，辐射出一个个越来越大的圈。而眼睛的瞳孔，会看到波长的前段（wavefront）。—————————————————————————————————————最近传闻他们要用硅光子学（silicon photonics）来构造光场芯片（light-field chip）。LF