国内“千模大战”下,谁是最聪明的大模型?近日,《麻省理工科技评论》从研发和商业化能力、外界态度以及发展趋势等维度全方位检测大模型的能力,力图评出“最聪明”的国产大模型。报告选取了“讯飞星火”“百度文心一言”“商汤商量”“阿里通义千问”作为中文大模型平台的代表,展开系统、科学的评测。
报告显示,在8个一级大类的600道题目的测试和盲评中,讯飞星火认知大模型V2.0在6个大类中得分率排名第一,表现突出;以81.5分(百分制计)的成绩在本次评测中登顶,荣获“最聪明”的国产大模型称号。
本次评测使用的测试集包含600道题目,覆盖了语言专项、数学专项、理科综合、文科综合、逻辑思维、编程能力、综合知识、安全性共8个一级大类,126个二级分类,290个三级标签,并针对问题的丰富性和多样性做了优化。