(资料图片)

据腾讯微信公众号消息,腾讯云新发布面向大模型训练的新一代HCC高性能计算集群,整体性能比过去提升了3倍。搭载了NVIDIA H800 Tensor Core GPU,能够提供高性能、高带宽、低延迟的智算能力支撑。

腾讯表示,随着算力需求的陡增,自己采购GPU的价格昂贵,甚至有钱也买不到,给创业企业、中小企业带来很大压力。我们的新一代HCC集群,能够帮助在云上训练大模型,希望缓解他们的压力。

随着算力的发展,模型容量持续提升,模型通用性和泛化能力也更强,研究大模型成为了近两年的趋势。国内外头部科技公司均有布局,发布了若干千亿规模以上的大模型。

然而,面对参数量进一步扩大,业界并没有在高速网络、训练框架、模型算法和落地应用等方面有全面深入的公开性研究。去年10月,腾讯完成首个万亿参数的AI大模型混元NLP大模型训练。在同等数据集下,将训练时间由50天缩短到11天。如果基于新一代集群,训练时间将进一步缩短至4天。

截止发稿前,腾讯报364.8港元/股。

推荐内容