逐浪AIGC丨大模型需要大算力 但光靠GPU也不行

　　随着AI大模型参数量从亿级飙升到万亿级，人们对于支撑大模型训练的超大规模算力也越发关注。而谈及算力，GPU自然是核心话题，但是，GPU也不是唯一。

　　因为大模型庞大的训练任务，需要由大量GPU服务器组成的算力集群来提供算力，而这些服务器之间要通过网络连接，进行海量数据交换。有数据显示，算力集群每次计算背后，服务器间的同步通信量会高达百GB。

　　所以单个GPU的性能再强，如果网络性能跟不上，那整个算力集群的计算能力也会大打折扣。因此，大集群不等于大算力，相反，GPU集群越大，产生的额外通信损耗越多。