微軟和英偉達今天宣布了由DeepSpeed和Megatron驅(qū)動的Megatron-Turing自然語言生成模型(MT-NLG)，這是迄今為止訓練的最大和最強大的解碼語言模型。這個模型包括5300億個參數(shù)，與現(xiàn)有最大的模型GPT-3相比，參數(shù)數(shù)量是其3倍。

訓練這樣的大型模型涉及各種挑戰(zhàn)，沿著所有的人工智能軸線進行了許多創(chuàng)新和突破。例如，通過緊密合作，英偉達和微軟將最先進的GPU加速訓練基礎(chǔ)設(shè)施與尖端的分布式學習軟件堆棧相融合，實現(xiàn)了前所未有的訓練效率。

微軟與NVIDIA建立了高質(zhì)量的自然語言訓練語料庫，其中包含數(shù)千億個標記，并共同開發(fā)了訓練配方，以提高優(yōu)化效率和穩(wěn)定性。

關(guān)鍵詞： 微軟 NVIDIA 語言模型 穩(wěn)定性