一篇文章带你了解AR增强现实

增强现实（AR）技术：从原理到未来的全面解析

1. 引言：当虚拟照进现实——AR技术的生活化启蒙

场景理解：清晨，一位游客在罗马斗兽场前举起手机，屏幕上废墟瞬间复原为古罗马帝国的辉煌建筑；外科医生在手术中透过AR眼镜，看到患者血管的3D投影与真实组织精确叠加；设计师在空荡的客厅里，通过平板电脑将虚拟家具以厘米级精度摆放在实景中。这些场景并非科幻电影片段，而是增强现实（Augmented Reality）技术正在改变人类认知世界的真实写照。

从《Pokémon GO》引爆全球的虚实互动狂潮，到宜家AR应用让家具预览突破空间限制，再到汽车HUD将导航信息投射至挡风玻璃，AR技术正通过‌空间计算‌重新定义现实与数字世界的边界。据IDC预测，2024年全球AR/VR设备出货量78.2万台（不含非显示AI智能眼镜），标志着这项技术正在从实验室走向大众生活。

2. AR技术的基本概念

2.1 AR的定义

AR之父Ronald Azuma在1997年提出经典定义：增强现实是‌将虚拟信息与真实环境实时融合的三维注册系统‌，具备三个核心特征：

‌虚实融合‌：可同时感知虚拟数字内容和实际物理环境；

‌ ‌三维注册‌：基于环境理解构建空间坐标系；

人机交互‌：支持用户通过自然方式与混合环境互动。

通俗理解就是能够在真实环境基础上叠加显示虚拟的元素，这些虚拟元素对于真实环境来说起到增强其信息表达的作用。

2.2 区分于VR/MR/XR

在虚拟-现实的连续统中，AR处于中间位置：

‌VR（虚拟现实）‌：完全封闭的虚拟环境；‌AR（增强现实）‌：虚拟内容叠加在真实场景；‌MR（混合现实）‌：虚实对象可相互作用的深度融合。

如果想详细了解AR、VR、MR、XR的定义区别与关联可查看我的另一篇文章：

一篇文章带你弄清楚到底什么是AR、VR、MR、XR_vr和ar的概念及区别-CSDN博客

3. AR实现原理

我们将AR技术原理拆解成如下流程：

“如何显示”→“显示在哪”→“如何互动”三个环节。

3.1 如何显示（虚实融合）

首先，如何显示？

广义概念上AR的硬件呈现形态有很多，手机AR、汽车HUD、头戴式AR（眼镜、头盔等），那这里我们重点讲头戴式的AR。

提到AR眼镜的显示原理，我们就不得不与VR进行对比，有请下面这张经典图片：

上图中左边是VR的显示原理，核心器件是显示器、光学透镜，将透镜置于显示器与人眼之间，显示内容得到聚焦与放大，在结合VR头盔结构与其他零部件达到VR沉浸式显示效果。

上图右边是AR显示原理，核心器件是显示器（光引擎）、光学透镜、半反半透光学器件，因为AR是需要透视（see-through）的，所以显示器不能遮挡，故需要进行光线的反射与折射。保证虚拟信息和实际环境的同时感知。目前AR光学技术已经从“棱镜”发展到“BirdBath”再发展到“光波导”技术。这里关于光学这一块我们先不展开，后期会出一期详细分析AR光学的文章。

在显示效果上还需进行更为复杂的处理来实现虚实一致性，包括模糊一致性，光照一致性、遮挡关系等等。这都需要基于物理环境感知进行算法设计来实现，本文不展开讨论。

3.2 显示在哪（三维注册）

其次，显示是实现了，那虚拟增强的信息需要显示在视野的哪里呢？

对于最初级的AR来说，这不是一个问题，虚拟信息显示在你视野的某个地方（开发之初确定），在你进行头部转动和移动的过程中，虚拟信息是随动的，信息永远都在你的面前。

不过在很多场景中，如果仅仅实现上述场景是无法满足使用需求的，如，在导航、工业、医疗等场景中，生成的虚拟元素需要和实际物理环境结合，并固定在某一个位置上，而不会随头部转动而转动，这就需要进行空间的感知与空间定位。

（1）三位注册技术概念

三维注册技术确实是决定AR系统性能优劣的关键技术。其核心在于通过高精度跟踪与定位实现虚拟信息与现实环境的无缝融合，直接影响用户体验和应用场景的广泛性。

（2）三维注册技术的核心原理与实现方式

该技术通过跟踪摄像机运动并计算用户视线方向，建立虚拟物体与真实环境的坐标系关联。具体实现方式包括：

（图片来源：引用自三维注册:一:AR中三维注册-CSDN博客）

AR常用三位注册方法有：

①​ 基于标志物的方法​：依赖预设二维码或特定图案，实现简单但场景受限，易受遮挡影响；

​② 无标志物的方法​：通过特征点识别自然场景中的物体，灵活性强，但对算法复杂度和计算资源要求更高；

​③ 视觉SLAM技术​：同时完成环境地图构建与自身定位，支持动态场景下的实时三维注册，是当前主流方向。

（3）视觉SLAM技术

视觉SLAM是什么？

SLAM的英文全称是Simultaneous Localization and Mapping，中文称作「即时定位与地图创建」，而视觉SLAM就是用摄像头来完成环境的感知工作。

当一个自主移动的机器人处在一个未知的环境，它要通过摄像头获取的信息数据对自身以及周围环境进行一个预估，在机器人移动过程中根据位置估计和摄像头对感知的数据进行自身的定位，同时不断地建造和更新地图并且规划自身的路径。

视觉SLAM研究主要分为三大类:单目、双目、RGBD。

单目SLAM：只用一支摄像头就可以完成SLAM。最大的优点是传感器简单且成本低，但同时也有个大问题，就是不能通过单张图片得到深度信息（距离），存在尺寸不确定的现象，比如丢失深度信息的相片中，我们能见到“手捏太阳”“借位拍照”这样的现象。

双目SLAM：利用左右目的视差计算像素的距离，从而实现自身的定位。立体视觉既可以在运动时估计深度，亦可在静止时估计，消除了单目视觉的无法得到深度信息的麻烦。不过通过双目图像计算像素距离，计算量大，而且在特征少的白墙或暗光环境易丢失目标。

RGB-D SLAM：RGBD相机是2010年左右新兴的一种相机，它最大的特点是可以通过红外结构光或Time-of-Flight原理，直接测出图像中各像素离相机的距离。因此，它比传统相机能够提供更丰富的信息，也不必像单目或双目那样费时费力地计算深度。不过，现在多数RGBD相机还存在测量范围窄、噪声大、视野小等诸多问题。出于量程的限制，主要用于室内SLAM。

一般的视觉SLAM系统分为五个模块：传感器数据、视觉里程计、后端、建图、回环检测。

传感器数据

在视觉SLAM中主要为相机图像信息的读取和预处理。如果在机器人中，还可能有码盘，惯性传感器等信息的读取和同步。

视觉里程计

视觉里程计（VO）也称前端。它根据相邻图像的信息，估计出粗略的相机运动，给后端提供较好的 初始值。VO 的实现方法，按是否需要提取特征，分为特征点法的前端以及不提特征的直 接法前端。基于特征点法的前端，长久以来（直到现在）被认为是视觉里程计的主流方法。 它运行稳定，对光照、动态物体不敏感，是目前比较成熟的解决方案。

后端优化

后端优化主要是处理slam过程中噪声的问题。任何传感器都有噪声，所以除了要处理“如何从图像中估计出相机运动”，还要关心这个估计带有多大的噪声。

前端给后端提供待优化的数据，以及这些数据的初始值，而后端负责整体的优化过程，它往往面对的只有数据，不必关系这些数据来自哪里。在视觉slam中，前端和计算接视觉研究领域更为相关，比如图像的特征提取与匹配等，后端则主要是滤波和非线性优化算法。

建图

建图主要是根据估计的轨迹建立与任务要求对应的地图，在机器人学中，地图的表示主要有栅格地图、直接表征法、拓扑地图以及特征点地图这4种。而特征点地图是用有关的几何特征（如点、直线、面）表示环境，常见于视觉SLAM技术中。

回环检测

回环检测也可以称为闭环检测，是指机器人识别曾到达场景的能力。回环检测提供了当前数据与所有历史数据的关联，在跟踪算法丢失之后，我们还可以利用回环检测进行重定位。因此，回环检测对整个SLAM系统精度与鲁棒性的提升，是非常明显的。

通过SLAM，AR设备即可知道自身在什么地方，同时能够进行周边环境的构建，再结合IMU等传感器，实现将虚拟元素显示到需要显示的地方。

3.3 如何互动（人机交互）

接下来就是和虚拟信息的互动了。

AR中的人机交互方式有：实体按键操控、手势交互、语音交互、眼动交互等。

（1）手势交互

手势追踪基于计算机视觉和人工智能算法，对摄像机采集到的图像中用户手部区域进行检测和对其姿态进行估计，从而得到全自由度自然手势跟踪的技术。手势追踪的实现基于对手部21个关键点检测。

通过手势可以进行页面切换，确认，缩放，移动等操作。

从硬件来说，目前市面上常见的手势识别方案中所采用的检测设备大致分为四类：纯红外摄像机、灰度摄像机、RGB摄像机及深度摄像机。

（2）语音交互

语音交互通过简单的指令可以简化很多手部的操作，我们在进行AR使用中进行语音交互，也会更加自然，而且它是无处不在无时不有的，用户不需要移动头部和寻找它们，在任何方位任何角落都能和他们交流。

语音交互的实现依托高精度麦克风阵列与高性能的语音识别算法。

当然了，语音识别也在经历着从简单指令识别到自然语音识别过度，随着AI技术快速发展，我们的智能穿戴设备也会成为我们的“伙伴”，就像钢铁侠中的“贾维斯”一样，你可以随时随地，任意何其对话，就像和朋友沟通一样。

（3）眼动交互

眼动追踪的基本原理即指当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制设备的目的。

目前实现准确眼动追踪的技术方案有瞳孔角膜反射法、视网膜影像定位、结构光追踪、角膜反射光强度、视网膜反射光强度、光波导眼动追踪等方案。而目前相对成熟的商用级方案，多为采用瞳孔角膜反射法，即通过角膜中心和瞳孔中心的连线进行眼动追踪。目前主流的眼动追踪设备，采用的是由一圈红外灯+1~2枚红外相机组成的红外相机阵列用于计算眼动。

Hololens2和Apple Vision Pro等标案MR设备均具备手势、语音、眼动交互方式。

4. AR系统构成

下面以BB光学方案的眼镜为例进行AR系统构成阐述：

由上图可以看出，AR眼镜大致可以分为以下几部分：

显示模组部分：AR显示核心部件，包括屏幕与光学器件；计算处理部分：承载图像渲染计算、数据处理与存储、接口、通信等的核心部件；传感器部分：人机交互与环境感知的核心部件，一般包括麦克风、摄像头、IMU、其它传感器；电池部分：整个设备的电源；结构与人体工学部分：AR眼镜的骨架与外壳，保证AR设备的可佩戴性与佩戴舒适性。

5. AR产品图谱：全球创新势力的角逐

5.1 国际阵营

‌Microsoft HoloLens 2：企业级MR标杆，军用IVAS系统原型;

‌Magic Leap 2‌：72°视场角，动态调光技术;

‌Apple Vision Pro‌：双M2+R1芯片，2300万像素Micro-OLED。

5.2 中国力量

‌Rokid Max‌：轻量化消费级AR眼镜，等效6米215寸巨幕；

‌XREAL Air 2‌：双目SLAM+3DoF交互；

‌TCL RayNeo X2‌：全彩Micro-LED光波导方案；

INMO Air2、小米 Smart Glasses、雷鸟Air3等。

6. 主流性能指标

​技术类别

​参数/配置

​代表产品或方案

​处理器与内存

联发科/高通八核2.0GHz CPU；4GB RAM + 64GB ROM（部分升级至6GB+128GB）

主流消费级AR眼镜（如深圳智物通讯方案、歌尔Wood 2）

​显示技术

分辨率：双目2×1920×1200（Micro OLED）

刷新率：60Hz（消费级）/120Hz（高端）

亮度：400-600尼特（最高600尼特）

XREAL Air 2 Pro、雷鸟Air 3、歌尔Star G-E1波导模组（峰值5000尼特）

​光学方案

光波导（衍射/几何）为主流，厚度0.7mm（玻璃基底） BB方案（BirdBath）仍占消费级市场70%份额

光波导：歌尔Star G-E1、XREAL One BB方案：雷鸟Air 3、XREAL Air系列

​视场角（FOV）​

消费级：40°-50°

高端/实验性：55°-70°（碳化硅波导）

慕德微纳碳化硅波导镜片（55°）、歌尔Wood 2（40°）、ARknovv A1（55°）

​角分辨率（PPD）​

45-58（视网膜级清晰度）

慕德微纳镜片（PPD 58）、XREAL One（中心MTF 0.85）

​交互功能

手势识别+语音控制（多麦克风阵列） EMG腕带（实验性）

戒指外设（如ARknovv魔戒）

小度AR眼镜（四麦克风）、歌尔Wood 2（VPU鼻托模组）、ARknovv A1（戒指交互）

​摄像头与传感器

13MP-48MP广角防抖摄像头

九轴传感器、环境光传感器、距离传感器

歌尔Wood 2（1200万像素）、小度AR眼镜（1600万像素）、XREAL Eye（1200万扩展镜头）

​续航与重量

电池容量：590-800mAh

续航时间：2-5小时（依赖外接计算单元） 重量：36-120克

歌尔Mulan 2（36克，590mAh）、小度AR眼镜（45克，5小时音频续航）、XREAL One（80克）

​AI与生态

集成AI大模型（如文心大模型）、实时翻译、物体识别、多设备协同

小度AR眼镜（文心大模型）、星纪魅族（Captify合作）、Rokid（多模态AI）

7. AR应用场景

7.1 消费级（C端）革命

‌空间社交‌：Snap AR滤镜日活2.5亿；‌游戏娱乐‌：Niantic的Lightship平台构建元宇宙基座；‌新零售‌：试妆/试戴转化率提升300%。

7.2 产业级（B端）变革

‌工业4.0‌：波音AR维修效率提升25%；‌智慧医疗‌：AccuVein血管显影降低穿刺失误率；‌数字孪生‌：城市级AR导航提升应急响应速度。