单一交互方式无法满足深度沉浸的需要，未来交互技术将向多模态、精细化方向发展；目前头手6DoF交互已逐渐成为主流VR头显的标配，预计头部与手部的交互技术是未来重点发展领域，手势追踪、眼动追踪将在中短期内为企业重点突破和广泛应用。
沉浸体验交互部分参考指标
1、6DoF追踪定位
6DoF追踪定位是XR沉浸体验的关键技术，可追踪六自由度的旋转和位移运动，目前以头手6DoF交互为主。
2、手势追踪
通过接触式或非接触式传感器实现手势动作的追踪，当前主要有裸手识别、数据手套等交互方案。
3、眼动追踪
相对头部追踪更为精细，具有实现注视点渲染、瞳距自调节、虹膜解锁等功能。
4、面部识别
通过摄像头等传感器捕捉用户面部表情。
5、肌电感应
可通过肌电传感器捕捉人体肌电信号，反应人体肌肉和神经活动情况。
6、虚拟气味
可通过发出气味粒子等方式使用户感知气味的嗅觉交互方式。
7
精细化触觉反馈
利用振动、超声波脉冲等技术为使用者再现触感。
8、脑机交互
主要利用脑机接口进行人机交互，人们可以通过意念控制实现意念打字、意念操控游戏等。
PICO、Meta VR一体机对比
单一交互方式无法满足深度沉浸体验的需要，未来交互技术将向多模态和精细化方向发展，多模态融合交互将进一步提升自然性和沉浸感。
近年推出的主流XR头显纷纷加入了手势追踪、眼动追踪功能。从人们日常工作生活习惯来看，用头与眼定位，用手部动作操控是人们所习惯的主要控制方式。因此预计头部与手部交互技术是未来中短期内重点发展的领域。
DoF追踪定位技术概览
6DoF追踪定位技术是XR沉浸体验的关键技术，与3DoF相比可以满足交互性更强的使用场景；未来该技术仍将向高精度、高速度等方向优化革新。
3DoF与6DoF技术对比
1、3DoF
功能：可以追踪三个自由度的旋转运动，但无法识别位移运动。✓ 前后翻转✓ 左右摇摆✓ 水平转动
优点：• 技术要求更低，成本更低• 设备价格相比6DoF更亲民
缺点：• 使用者需要位置固定，不能通过空间移动来进行人机交互• 使用中沉浸感、交互感有限
应用：更多应用于对交互要求较低的XR设备（如AR眼镜）和应用场景（如观影）中
2、6DoF
功能：六个自由度的旋转和位移运动均可追踪。✓ 前后翻转✓ 左右摇摆✓ 水平转动✓ 左右位移✓ 前后位移✓ 上下位移
优点：• 可支持使用者一定空间内的自由移动进行人机交互• 更能模拟真实世界中的运动场景，沉浸感、交互感更强
缺点：• 开发和生产过程中对技术要求更高，成本更高• 设备价格相对更高
应用：• 更多应用在VR产品中，目前主流VR头显、VR手柄大多支持6DoF交互功能• 适用于游戏、社交等交互性强的场景
PICO 四代VR一体机手柄
6DoF追踪方案对比及展望
XR中的6DoF追踪定位技术与3DoF相比具有交互性更强的优势，该技术仍在不断革新，向更高精度、更高速度发展。
手势追踪技术概览
目前XR手势追踪方案多样，按设备方案主要分为裸手追踪和可穿戴设备，技术方案主要有视觉追踪、惯性追踪、弯曲传感器追踪、磁性追踪等，不同技术方案各有其优缺点。
当前XR手势追踪主要设备方案
当前主要技术方案介绍
1、视觉追踪
01、红外摄像头优点：易检测到目标区域，适用环境更广局限性：功耗较大、成本不易控制
02、灰度摄像机优点：FOV较大、帧率高、覆盖范围大、适应性强、成本较低局限性：区分手部区域和环境背景难度较大
03、RGB摄像机优点：通过颜色区分较易识别手部区域局限性：FOV小、帧率较低
04、深度摄像头优点：更易识别手部区域和姿势局限性：FOV小、帧率低、功耗较大、成本高、适用范围有限
※视觉追踪方案均易出现手部遮挡造成无法追踪的问题，追踪范围有限。
2、惯性追踪
01、加速度计、陀螺仪等惯性传感器优点：准确性、可靠性相对较高，成本相对较低局限性：易受磁场干扰影响，容易漂移，需要定期重新校准
3、弯曲传感器追踪
01、弯曲传感器优点：对手的局部动作追踪精度较高，不受视觉范围局限局限性：无法区分运动引起的变形和接触引起的变形，穿戴舒适度较低
4、磁性追踪
01、磁性传感器优点：精度较高，不受视觉范围局限局限性：延迟和电磁干扰
综合考虑技术集成度、追踪精度、功能集成度、经济性、便携性等因素，预计腕带、指环等轻小型便携式可穿戴设备在未来或可成为消费级XR手势追踪领域主要方案。
XR手势追踪设备方案对比
关键分析：
裸手追踪：受制于非接触式的追踪方案，目前追踪精度相对较低，功能上目前只能实现简单的手势识别与控制。
数据手套：包裹性较强，可集成多种传感技术，追踪精度高，还可集成触觉反馈、温度模拟等功能，但舒适性较低且成本较高。
腕带、指环：更为轻小的可穿戴设备，预计技术和功能可集成度、追踪精度介于前两者之间，因此价格预期相对居中。此类设备或可配备按键、显示屏等装置实现更多交互功能，加上便携性强，较少妨碍正常手部动作，未来可能成为消费端市场主要方案。
未来可能面世的轻小型
便携式可穿戴设备
眼动追踪的应用
眼动追踪在XR硬件中有多种应用和优势，比如用于注视点渲染，或者眼动交互，眼动数据分析，虚拟人表情追踪，甚至可以进行身份识别和评估视觉及心理健康。
1、动态注视点渲染
•根据人眼注视的生理特点，只针对中央凹视野区域进行高清渲染。在不影响体验的同时，极大降低头显设备的渲染负载。
2、眼动交互
• 眼球凝视输入配合手动和语音输入可以更有效便捷的进行信息交互；• 在游戏场景中可以增加更多的游戏体验，如瞄准定位、眼睛发射激光束等。
3、眼动数据分析
• 在购物、教育等场景中记录用户的观察轨迹、注视时长、瞳孔半径等数据，可以更好地考察用户行为，为优化产品设计和提升培训效率提供依据。
4、虚拟人表情追踪
• 在虚拟人形象上呈现用户的眼部变化，包括视线方向、眨眼、眯眼、瞳孔转动等行为，使社交、游戏场景中出现的虚拟人形象更加真实生动。
5、虹膜身份识别
• 基于眼球追踪技术可以实现高安全性的身份识别，在账号登陆、移动支付等场景中完成对用户账号免侵入、高准确率、低延迟的认证。
6、视觉健康和心理健康应用
• 通过校准、追踪等技术实现对弱视、斜视等眼部疾病的辅助诊断和康复训练；眼球追踪、测量瞳孔反应还可以帮助诊断自闭症、精神分裂症等病症。
XR硬件厂商的眼动追踪技术按照追踪原理主要分为四种方案，包括瞳孔角膜反射向量法、视网膜影像法、反射光强度建模法和三维模型重建法，其中瞳孔角膜反射向量法应用最为广泛。
瞳孔角膜反射向量法：使用红外线照射眼睛，通过摄像头采集从角膜和视网膜上反射的穿过瞳孔的红外光线。根据角膜与瞳孔反射光线之间的角度可以计算出眼动的方向。
视网膜影像法：通过光波导采集视网膜反射的红外光以获取视网膜影像。通过计算视网膜上的血管、中央凹、视盘、黄斑等生理特征的变化可以获取眼球运动的方向。
反射光强度建模法：通过光敏传感器检测眼睛反射光的强度确定眼球运动的方向。可以分为：
i）视网膜反射：激光通过瞳孔和角膜中心射在视网膜时反射强度最大；ii）角膜反射：激光射在角膜中心时反射强度最大。
三维模型重建法：结构化光发射器将结构化光图案照射至眼睛，光场摄像机基于捕获图像中明显的失真来检测结构光入射到眼睛表面的形状为眼球重建三维模型，再计算眼球运动方向。
