分类:[科技] 标签:[Apple]、[iPad]、[macOS]、[显示技术]
在 iPadOS 与 macOS 的系统更新中,「随航」迎来了堪称史诗级的更新:你可以通过 iPad 的触控屏,用手指完整操控随航中的 macOS。随着触控特性的加入,这不仅进一步模糊了平板与笔记本的边界,也让这项连接 Mac 与 iPad 的无线副屏技术再次成为焦点。
在高强度使用随航近两年后,它给用户最深的印象往往只有两个字:无感。有时其流畅的体验甚至会让人忘记,这两台设备之间并没有任何数据线连接。本文将从协议、编码、硬件等技术层面入手,一同解析随航功能流畅体验背后的秘密。
什么是随航?
简单来说,「随航」(Sidecar)就是通过无线或有线传输的方式,将你的 iPad 作为 Mac 的扩展显示屏。不需要复杂的第三方 App 连接,只需打开 Mac 和 iPad 进行配对,Mac 便能瞬间拥有第二块屏幕。
用户可以在 macOS 菜单栏中点击「控制中心 -> 屏幕镜像」,然后在「镜像或扩展至」一栏中选择对应的 iPad 即可开启随航。连接完成后,iPad 会像普通外接显示器一样出现在 macOS 的显示器设置中,支持自定义调整位置、分辨率以及镜像或扩展方式。
除了基础的显示扩展,随航也针对 iPad 的特性进行了深度优化。从早期便支持的 Apple Pencil 压感、倾斜像素级还原,到如今支持手指直接触控操控,开启随航的 iPad 在某种程度上已经可以当作一块带屏幕的数位板或触控显示屏使用。
在「随航」成为官方功能之前
让 iPad 变成 Mac 副屏并不是 Apple 首创的想法。在第一代 iPad 正式发售的当天,这一概念便以一款名为 iDisplay 的首发 App 形式登陆 App Store。
随后几年里,诸如 Air Display、Duet Display、Astropad 以及 Luna Display 等第三方解决方案层出不穷。它们有的尝试通过 Wi-Fi 传输(但常年伴随着极不稳定的延迟),有的则采用有线 Lightning 或数据线连接来提升带宽。虽然这些第三方应用在特定场景下满足了用户需求,但在系统级深度整合、抗干扰能力以及渲染延迟上,始终无法做到真正的「丝滑」。
直到 2019 年 WWDC 上,Apple 正式将 Sidecar 纳入系统底层功能中。自此,「将 iPad 作为 Mac 副屏」从一种需要折腾的极客玩法,变成了真正开箱即用的生产力工具。
一帧画面的旅程
一帧画面要显示在作为 Mac 副屏的 iPad 上,主要需要经过以下四个核心环节:
- 虚拟屏幕渲染
- 画面编码
- 数据传输
- 解码显示
前期的「虚拟屏幕渲染」与第三方软件思路类似,macOS 会先在系统中创建一块虚拟的显示器,并由负责管理和合成屏幕画面的 WindowServer 组合成虚拟显示器上的完整画面。而随航真正拉开与第三方方案差距、做到极致流畅的关键,在于后续的编码、硬件协同与传输。
画面编码与 HEVC 的秘密
传统外接显示器通过 HDMI 或 Thunderbolt 传输未经压缩的原始视频信号。以 11 英寸 iPad Pro 的分辨率为例,60Hz 刷新率下每秒产生的原始画面数据接近 1 GB,这对于无线传输而言是完全无法承受的负担。因此,在画面离开 Mac 之前,必须进行高效的压缩编码。
随航传输的本质是一条超低延迟的实时视频流,它沿用了现代视频 HEVC(High Efficiency Video Coding,即 H.265)编码的基本思路。HEVC 的核心精髓在于「预测」——用尽可能少的原始画面,推算出接下来的视频内容,从而节省高达 99% 的带宽空间。
- 分块(CTU 与 CU):编码器会将画面划分为不同的编码树单元(CTU),并根据天空、墙面等平坦区域与建筑边缘等复杂区域的细节密度,动态调整编码单元(CU)的大小。
- 帧内预测与帧间预测:
- 帧内预测不依赖其他画面,而是利用当前帧中相邻像素的信息(如通过平面模式或角度模式)推导当前块。
- 帧间预测则通过「运动估计」和「运动补偿」,在前后已经解码的参考帧中寻找相似区域,记录其位移和残差,从而大幅减少重复像素的传输。
- I 帧、P 帧与 B 帧的协同:通过灵活组合各类图像帧,系统能够以极小的码流完美重建复杂的桌面 UI、动态视频以及光标轨迹。
总结
Apple 的软件功能往往呈现出一种特质:它们未必是行业内最早出现的,但当它们被软硬一体地整合进系统生态时,往往能带来断层式的流畅体验。随航的背后,是 macOS 窗口渲染服务、硬件级 HEVC 编解码器、点对点 Wi-Fi 协议以及 iPad 触控子系统的精密协作。正是在这些看不见的底层技术支撑下,才造就了如今「无感连接、如臂使指」的现代数码体验。