迎合端侧AI爆发:A20 Pro芯片加持下的iPhone 18 Pro本地运行270亿参数模型实测
分类:科技 标签:AI动态、iPhone、大模型、苹果 随着生成式人工智能的快速普及,端侧AI(On-Device AI)正在成为各大旗舰手机核心竞争力的主战场。苹果在最新一代移动芯片上交出了令人瞩目的答卷:搭载 A20 Pro 芯片的 iPhone 18 Pro 展现出了恐怖的本地大模型处理能力,成功将手机端侧AI推向了全新的高度。 双 16 核神经网络引擎:硬件架构的质的飞跃 苹果在自研 Apple Silicon 的发展史上首次引入了双 16 核神经网络引擎(Neural Engine)。这一专为处理人工智能运算负载打造的硬件模块,其性能不仅超越了以往所有的移动端 SoC,甚至在特定的神经网络专用任务中,其峰值吞吐性能已经超越了芯片内部的 7 核 GPU。 在硬件规格方面,iPhone 18 Pro 与 iPhone 18 Pro Max 均标配了 12GB、96 位位宽的 LPDDR5X 统一内存,内存带宽更是达到了惊人的 115.2GB/s。相比上一代产品,内存速度和带宽的显著提升,为大模型在本地的高效运行扫清了硬件瓶颈。 实测表现:本地流畅运行 270 亿参数模型 根据海外数码博主 Adrien Grondin 的实机演示,iPhone 18 Pro 成功在本地运行了体量达到 270 亿参数的 Bonsai-27B 模型。 得益于 A20 Pro 强大的神经网络引擎与高速统一内存的协同工作,模型生成词元(token)的速度十分惊人,运行过程行云流水,完全没有出现明显的降速或卡顿现象。相比之下,上一代的 iPhone 17 Pro 在面对同级别的大模型时,处理效率明显逊色,新一代芯片的本地AI性能实现了近乎翻倍的增长。 端侧AI的现实挑战:大模型与内存的博弈 虽然 iPhone 18 Pro 能够离线运行 270 亿参数的大模型,标志着移动端AI取得了重大突破,但用户和开发者仍需面对一些硬件层面的取舍与挑战。 例如,新一代的 Bonsai 2 模型由于采用了 2 比特量化版本,整体体积过大,无法完整塞进当前设备的本地内存中,强行运行反而会导致性能下降。而初代 Bonsai 作为一个 1 比特量化模型,得益于 4GB 内存即可轻松运行的特性,在 12GB 大内存的 iPhone 18 Pro 上反而能够发挥出极致效率。 ...