据CNBC报道，苹果公司正在与初创公司PrismML进行接触，该公司以其近期推出的模型压缩技术而闻名。此举表明苹果希望评估在iPhone设备上直接运行更大型AI模型的可行性。
一直以来，手机发布会中的AI环节往往围绕着屏幕内容总结、个性化图像编辑或语音助手操作等功能展开。然而，目前主流的大型AI模型体积庞大，难以直接集成到手机中，而经过裁剪的端侧模型在智能表现上又有所不足。这导致手机厂商在宣传AI能力时，多聚焦于云端更新的功能，例如AI播客等。
核心问题在于，如果大型模型能够被显著压缩至适合手机存储和运行的水平，那么端侧AI助手是否真的能够实现功能上的“转正”？
模型压缩技术：将54GB精简至4GB，能否走向普及？
PrismML是一家专注于模型压缩的初创公司，其技术源于加州理工学院的研究团队，并获得了Khosla Ventures、Cerberus及Google的支持。该公司的核心研究方向是如何在不严重损害模型性能的前提下，大幅减小模型体积和运行成本。
PrismML的技术思路与BitNet等低比特模型路线有相似之处，它通过简化模型内部信息的存储方式来达到体积缩减的目的。具体而言，它将模型中的每个权重限制为二值或三值表示，从而显著降低存储和运行模型所需的内存。传统的大模型参数通常需要16位或32位来存储。例如，一个拥有270亿参数的模型，若采用FP16精度，其大致体积将达到约54GB（270亿参数 × 2 Byte/参数）。如此庞大的模型，不仅难以在智能手机上运行，甚至对许多消费级PC也是一个挑战。
PrismML的解决方案是将参数简化为1位或3位表示。以1位为例，参数被简化为 {-1, +1}，这类似于将图像的灰度级从16级压缩到黑白两色。虽然这种方式会造成信息损失，但可以将模型体积压缩至原版的约1/14，并通过训练过程恢复推理性能。
基于此技术，PrismML推出了Bonsai-27B模型。该模型基于Qwen3.6-27B模型进行微调，在保持完整上下文能力的同时，将模型体积从约54GB压缩至不足4GB，使其能够原生运行在拥有12GB内存的iPhone上。对比之下，谷歌面向手机和边缘设备推出的Gemma 4 E4B模型约为3.65GB。PrismML的技术实现了用相似的存储空间，容纳了名义上参数量更大的模型。
苹果公司对这项技术表现出兴趣并不意外。苹果自有的端侧模型大约为30亿参数，尽管采用了2位量化和缓存共享等技术，但其功能主要局限于实时翻译、相册搜索和邮件摘要等，缺乏Agent相关的执行能力。而Bonsai-27B模型则保留了Qwen3.6-27B的部分Agent能力。
当然，性能的损失是存在的。PrismML的测试数据显示，三值版本模型的综合性能约为全精度模型的95%，1位版本约为90%。在涉及工具调用等Agent任务方面，性能损失可能更为明显。社区反馈也指出，PrismML的三值版本在面对特定问题时可能存在幻觉或Agent循环等情况，但其显著的体积优势（5.9GB对比17.9GB）仍然具有吸引力。
尽管存在性能上的权衡，但能够实现本地运行，相较于完全无法部署，无疑是巨大的进步。随着技术的不断发展，端侧AI能力的竞争将日趋激烈。
AI手机爆发在即，端侧AI能力亟待提升
值得关注的是，7月15日，包括苹果智能、华为小艺、OPPO、小米、vivo在内的七款提供手机端侧生成式人工智能模型服务的平台，均已在中国国家网信部门完成备案。这表明手机厂商正积极布局端侧AI。
将通知摘要、通话整理、相册搜索和图片识别等任务转移到本地处理，可以避免不必要的云端请求。尤其是在涉及用户隐私信息如聊天记录、照片和文件时，本地化处理更能确保数据安全，这在Grok近期曝出的隐私问题后显得尤为重要。
然而，从实际体验来看，目前许多手机AI功能仍依赖云端服务，断网后便无法使用。这凸显了端侧AI能力提升的迫切性。
以谷歌的Gemma 4 E4B为例，它是一款性能较强的手机端侧模型，能够处理文本、图像和音频，并且在下载后无需联网即可使用。其“Ask Image”功能支持多模态输入，在图片识别方面表现出色，能够识别常见的食物、硬件和花卉等。
“Ask Audio”功能允许上传最长30秒的音频进行转写和总结，但实际效果可能因录音质量而异，目前可用性一般。在文本处理方面，Gemma 4 E4B能够完成文章总结任务，且输出结果较为简明扼要，适合快速浏览资料。对于一些逻辑推理题，Gemma 4 E4B也能通过长时间思考给出答案，尽管响应时间可能长于在线大模型。
Gemma 4 E4B的出现证明了手机本地模型具备一定的实用能力。但在处理更复杂的任务，尤其是涉及长文本、细节判断和内容创作时，其与在线大模型之间仍存在明显差距，更不用说Agent调用等任务了。
考虑到Gemma 4在压缩率和功能性方面的优势，若要实现更大的突破，苹果可能需要探索新的压缩方式，或者在有限的硬件空间内集成参数量更大的模型，以提升端侧AI的“智商”。
参数规模并非决定性因素，效率才是模型应用的关键
长期以来，AI模型的发展趋势似乎是参数越多越好。然而，研究表明，在相同的训练算力下，训练数据更充分的70B模型可能优于欠训练的280B或530B模型。即便是万亿参数的MoE模型，其显存占用和内存带宽依然是挑战。更重要的是，如此庞大的模型难以直接部署到消费级终端。
对于端侧模型而言，提高效率是关键，必须直面内存、功耗和散热等问题。PrismML的压缩算法为硬件厂商提供了一条新的发展路径。结合百度的本地化合作，这使得苹果三年前提出的“苹果智能”愿景离现实更近一步。
未来，大模型的进步可能不再仅仅依赖于参数数量的堆叠。在有限的存储空间内实现稳定运行、减少错误、控制发热，并在关键时刻提供有效帮助，将是端侧AI下一阶段的核心竞争焦点。
