计算机行业研究:大模型时代,AI技术向效率提升演进
- 2023-02-28 00:15:24上传人:Lu**光体
-
Aa 小 中 大
- 1. 训练方法演进:无监督、半监督训练再次成为主流
- 2. 训练数据演进:从追求规模到追求质量
- 3. 开发方式演 进:微调技术受到重视
- 4. 架构设计演进:从稠密结构到稀疏结构
- 5. 训练技术演进:并行训练与混合精度训练
- 6. 投资建议
- 7. 风险提示
- 图表 1: 监督学习与无监督学习方式对比
- 图表 2: LeNet -5卷积神经网络典型结构
- 图表 3: 逐层无监督 +BP 有监督可解决梯度消失问题
- 图表 4: 计算机视觉领域经典开源数据集
- 图表 5: 自然语言处理领域的无监督学习方法
- 图表 6: MAE 无监督学习方法在多个下游任务中优于监督方法
- 图表 7: 知识密集型任务表现随参数规模提升
- 图表 8: AI 大模型在复杂任务中表现出 “涌现 ”现象
- 图表 9: InstructGPT/ChatGPT 中的人类反馈强化学习技术
- 图表 10 : 稠密结构与稀疏结构对比
- 图表 11 : 混合专家方法 示意
- 图表 12 : 百度 PaddlePaddle 4D 混合并行策略示意
报告网所有机构报告是由用户上传分享,未经用户书面授权,请勿作商用!