
微軟和英偉達(dá)今天宣布了由DeepSpeed和Megatron驅(qū)動(dòng)的Megatron-Turing自然語(yǔ)言生成模型(MT-NLG),這是迄今為止訓(xùn)練的最大和最強(qiáng)大的解碼語(yǔ)言模型。這個(gè)模型包括5300億個(gè)參數(shù),與現(xiàn)有最大的模型GPT-3相比,參數(shù)數(shù)量是其3倍。
訓(xùn)練這樣的大型模型涉及各種挑戰(zhàn),沿著所有的人工智能軸線進(jìn)行了許多創(chuàng)新和突破。例如,通過(guò)緊密合作,英偉達(dá)和微軟將最先進(jìn)的GPU加速訓(xùn)練基礎(chǔ)設(shè)施與尖端的分布式學(xué)習(xí)軟件堆棧相融合,實(shí)現(xiàn)了前所未有的訓(xùn)練效率。
微軟與NVIDIA建立了高質(zhì)量的自然語(yǔ)言訓(xùn)練語(yǔ)料庫(kù),其中包含數(shù)千億個(gè)標(biāo)記,并共同開發(fā)了訓(xùn)練配方,以提高優(yōu)化效率和穩(wěn)定性。
網(wǎng)站首頁(yè) |網(wǎng)站簡(jiǎn)介 | 關(guān)于我們 | 廣告業(yè)務(wù) | 投稿信箱
Copyright © 2000-2020 hexin8.com All Rights Reserved.
中國(guó)網(wǎng)絡(luò)消費(fèi)網(wǎng) 版權(quán)所有 未經(jīng)書面授權(quán) 不得復(fù)制或建立鏡像
聯(lián)系郵箱:920 891 263@qq.com
高尔夫| 安化县| 苏尼特左旗| 澜沧| 松溪县| 洛阳市| 大丰市| 嫩江县| 台南市| 榕江县| 巩义市| 繁峙县| 白朗县| 丰县| 汉阴县| 灵寿县| 通海县| 大宁县| 平南县| 永寿县| 建昌县| 武汉市| 寿阳县| 铜梁县| 东莞市| 济南市| 邵阳县| 孝感市| 蒙山县| 雷山县| 宜昌市| 滦平县| 天水市| 焉耆| 灵石县| 城市| 潼关县| 乳山市| 天镇县| 庄浪县| 金华市|