高通近日发布AI白皮书称,混合AI是AI的未来,将支持生成式AI应用开发者和提供商利用边缘侧终端的计算能力降低成本。混合AI架构或仅在终端侧运行AI,能够在全球范围带来高性能、个性化、隐私和安全等优势。此外,混合AI架构可以根据模型和查询需求的复杂度等因素,选择不同方式在云端和终端侧之间分配处理负载。
(图源:高通中国官方微信公众号)
据高通混合AI白皮书,在混合AI场景中,边缘大模型是云端大模型的感知器官,例如用户对手机说话,自动语音识别(ASR)AI模型如Whisper在设备上转换语音为文本,发送到云端,云端运行大模型,回发文本答案。