Arm生态全面助力开发者AI创新热潮

2024-11-04 19:48:26 来源: 大科技网 点击数:
```html

人工智能(AI)已成为推动社会进步的核心力量,它以惊人的速度改变着各行各业。Arm,作为计算架构的先锋,不仅为各种应用市场提供全面的计算平台,还与合作伙伴共同打造坚实的软硬件生态系统。这一生态使Arm成为效率至上、易于获取的计算平台,助力开发者不断进行AI创新。面对日益复杂的计算需求,Arm的高效能和低功耗特性显得尤为重要,满足了企业在AI时代的需求。

软件:塑造差异化的关键

软件是硬件发挥作用的灵魂,而软硬件的协同进步是释放AI性能的关键。基于Arm架构的软件平台,是全球通用且至关重要的平台。Arm在开发计算平台的同时,也大力投入软件开发,我们的工程师团队致力于确保合作伙伴的产品从部署之日起就能创造价值。如今,我们的技术已涵盖软件栈的各个层面,从固件和操作系统,到游戏引擎、开源社区和ISV的合作,确保在Arm平台上“即装即用”。

在基础设施领域,Arm拥有成熟且完善的云软件生态系统。随着超大规模云服务提供商意识到这一生态系统的重要性,开始将基于Arm架构的计算平台作为高性能、成本效益的解决方案提供给第三方开发者。云原生软件开发者越来越多地采用Arm Neoverse平台的云基础设施,以提高性能、效率和可持续性,同时降低成本。所有主要云服务提供商均提供基于Neoverse的云实例,客户在Arm平台上实现更高的性能和成本效益。

Arm还积极与汽车行业合作,软件成为车辆差异化的关键。汽车软件需要快速交付,并在部署后长时间持续更新。Arm平台在云端到车载的各个场景中无处不在,基于Arm架构的云技术成为汽车开发的重要部分,助力合作伙伴在云端构建和测试软件组件。Arm牵头成立的SOAFEE(面向嵌入式边缘的可扩展开放架构)旨在为汽车和云计算社区构建一个协作和测试的平台,推动软件定义汽车(SDV)时代的发展。

在移动平台方面,终端用户对游戏和AI应用的极致追求推动了性能的提升。Arm在移动端图形渲染技术方面持续领先,确保开发者可以利用Arm Immortalis GPU带来的先进技术与卓越性能。Arm Kleidi,一组可与推理引擎集成的开源软件内核,为端侧生成式AI计算平台的领先地位再次提供佐证。它使开发者能够在广泛的硬件上轻松获得出色的AI性能。

赋能开发者实现AI创新

AI作为当前最大的工作负载,如何高效地在Arm计算平台上运行是我们关注的重点。主要挑战在于如何管理从云端到边缘侧的AI推理复杂性,以便开发者能够顺畅地进行AI创新。

AI企业目前处于用户获取阶段,快速发展和新功能实现比成本更为重要。然而,随着市场稳定,企业开始寻求盈利,AI推理将扩展至边缘侧。边缘侧推理除了成本优势外,还增强了隐私保护、减少了延迟,并在无云连接时提供服务。但同时也带来了复杂性。在云环境中,企业可以控制架构、CPU和性能,只需针对一个平台优化。而在端侧,安卓生态系统推出了多种CPU、GPU和NPU,但将AI推理卸载到端侧可降低云端成本。

Arm KleidiAI确保开发者获得AI开发所需的性能、工具和软件库,打造新一波非凡的AI体验。利用KleidiAI将工作负载扩展至边缘侧,可确保合作伙伴以较低的成本提供出色的用户体验。

Arm通过将KleidiAI集成到主流AI框架中,如Google和Meta的推理引擎,显著提升了生成式AI工作负载的性能,惠及广大开发者。具体来说,Meta Llama 3和微软Phi-3大语言模型(LLM)的首次词元响应时间提升了近三倍,Unity Sentis集成KleidiAI后,成功启用了int4量化功能,将运行Phi-2 LLM时的模型内存占用率降低了约73%。与腾讯的合作将KleidiAI集成到腾讯混元大模型中,加速端侧AI推理。这只是开始,Arm将继续推出更多软件库、计算内核和引擎集成,构建AI的未来。

Arm:软件运行的基石

Arm的持续软件投入正建立全球最大的AI开发者社区,实现所有软件都能无缝运行在Arm架构系统之上的愿景。Arm不仅提供通用计算平台,还通过IP、开源软件和工具以及广泛的行业领先生态系统,让全球开发者使用Arm计算平台作为AI创新的基础,基于Arm平台的AI将在各个领域无处不在。

```

关键字:Arm

责任编辑:Mouse
Copyright © Science and Technology Daily, All Rights Reserved
科技日记 版权所有