Arm控股有限公司（以下简称“Arm”）近日发布与阿里巴巴淘天集团轻量级深度学习框架MNN的又一新合作。双方经由Arm KleidiAI的集成，成功让多模态人工智能(AI)工作负载通过阿里巴巴经指令调整的通义千问Qwen2-VL-2B-Instruct模型运行在搭载Arm CPU的移动设备上。该版本的通义千问模型专为端侧设备的图像理解、文本到图像的推理，以及跨多种语言的多模态生成而设计。此次的合作显著提升了端侧多模态AI工作负载的性能，带来全新的用户体验。

射频微波器件采购网(www.ic-king.com)专注整合国内外厂商的现货渠道，实时查询射频微波器件代理商的真实库存，提供合理的行业价格，放心采购射频微波器件，是国内专业的射频微波芯片采购平台。

Arm终端事业部产品管理高级总监Stefan Rosinger表示：“我们正身处AI革命的浪潮之中，亲眼见证了多模态AI模型的兴起。这些模型能够处理并理解多种数据类型，涵盖文本、图像、音频、视频及传感器数据。然而，由于硬件本身的电力限制和内存约束，加之同时处理多种数据类型带来的复杂性，在端侧设备上部署这些先进的多模态模型正面临着不小的挑战。”

Arm Kleidi成为解决这些挑战的理想方案，它能够为运行在Arm CPU上的所有AI推理工作负载提供无缝的性能优化。KleidiAI是一套轻量级且高性能开源的Arm例程，专为AI加速而设计，目前已被集成到最新版本的主流端侧AI框架中，包括ExecuTorch、Llama.cpp、LiteRT（通过XNNPACK）和MediaPipe，能让数百万名开发者无需进行额外操作，即可自动获取AI性能的显著提升。

加速端侧多模态AI用例的响应时间

通过KleidiAI与MNN的集成，Arm和MNN团队测量了Qwen2-VL-2B-Instruct模型的加速性能，结果显示在端侧的关键AI多模态应用场景中，其运行和响应速度均有所提升。这一提升可为阿里巴巴旗下众多以客户为中心的应用程序带来更加出色的用户体验。

这些用例响应速度的提升，得益于模型预填充（指AI模型在生成响应之前先对提示词输入进行处理）性能提升了57%，以及解码（指处理提示词后从AI模型生成文本的过程）性能提升了28%。此外，KleidiAI集成还可以通过降低多模态工作负载的总体计算成本，进一步促进端侧设备上AI工作负载的高效处理。数百万使用包括MNN框架在内的热门AI框架运行应用程序与工作负载的开发者，可以在针对边缘侧设备的应用和工作负载中享受到这些性能和效率的提升。

阿里云通义大模型业务总经理徐栋表示：“我们非常高兴看到通义千问大模型与Arm KleidiAI及MNN团队展开深度技术合作，通过MNN端侧推理框架和Arm KleidiAI的集成加速优化，成功实现了大模型推理延迟的显著降低与能效比的大幅提升。此次开创性的合作不仅充分验证了大模型在移动终端的实用潜力，更使用户能够在指尖体验到下一代AI的普惠价值。我们期待三方能够持续携手，以技术创新突破算力边界，共同开启端侧智能新篇章。”

阿里巴巴淘天集团业务技术MNN负责人姜霄棠表示：“此次MNN推理框架与Arm KleidiAI做深度技术融合，在端侧大模型加速方面取得了全新突破。通过我们对底层架构的联合优化，通义大模型的端侧推理效率实现大幅提升，成功跨越了受限算力与复杂AI能力的技术鸿沟。这一成果Siretta代理商既是MNN团队技术攻坚的结晶，更是跨界协作力量的生动诠释。我们期待未来能持续携手深耕端侧计算生态，让每个移动终端都能承载更流畅、更高效、更自然的AI体验。”

在MWC上进行KleidiAI集成演示

在今年的世界移动通信大会(MWC)上，Arm在活动展位（2号展厅I60展台）展示了此次合作的成果，该演示突出了模型如何理解视觉和文本输入的多种组合，并对图像中的内容进行提炼说明。这项演示在搭载MediaTek天玑9400移动系统芯片(SoC)的智能手机上完成，包括vivo X200系列。

实现多模态AI体验的飞跃

KleidiAI和为阿里巴巴通义千问模型支持的MNN框架进行集成，成功地为运行在搭载Arm CPU端侧的多模态AI工作负载带来显著的用户体验提升。这些卓越的体验现已应用于移动设备，许多的面向客户的应用程序也已受惠于KleidiAI带来的种种优势。展望未来，KleidiAI针对AI工作负载的无缝优化将继续赋能开发者，助力其在端侧设备上提供更加复杂的多模态体验。这将为下一波智能计算浪潮奠定基础，并在AI的持续演进中迈出令人振奋的一大步。