今天,在上海召开的人工智能框架生态峰会上,中国科学院自动化研究所发布新一代大模型:全模态大模型紫东太初2.0版本。
紫东太初大模型由中国科学院自动化研究所和华为联合开发,依托华为全栈国产化软硬件平台昇腾AI与开源AI框架昇思MindSpore。去年,紫东太初被评为2022世界人工智能大会“镇馆之宝”,今年,紫东太初继续“自我升级”。
区别于当前以文本为主的大部分语言大模型,第一代紫东太初是全球首个图文音三模态大模型,实现了无标识的图像、文字、语音的识别能力。这次发布的新一代大模型,在文本、图像、语音三模态的基础上,融入了3D点云、视频、信号等更多模态数据,拥有更强的认知、理解、创作能力,比第一代提升了决策与判断能力,实现了从感知、认知到决策的跨越。目前,紫东太初大模型已经在神经外科手术导航、短视频内容审核、医疗多模态鉴别诊断、交通违规图像研读等多领域应用。