通信行业研究周报:NVIDIA新nGPT使训练速度增长20倍,“千帆星座”将迎来常态化发射
- 2024-10-24 11:11:23上传人:Dr**凉兮
-
Aa
小
中
大
本周行业动态:英伟达nGPT重塑Transformer,AI训练速度增长20倍最近,英伟达团队抛出的一枚重磅炸弹,提出了全新神经网络架构——归一化Transformer(nGPT),基于超球面(hypersphere)进行表示学习。相较于Transformer架构本身,nGPT直接将LLM训练速度提升至高20倍,而且还保持了原有精度。实验数据表明,在1k、4k和8ktok