4月5日消息，當(dāng)?shù)貢r(shí)間周二，Alphabet旗下的谷歌公開(kāi)了一些新細(xì)節(jié)，展示了用于訓(xùn)練人工智能模型的超級(jí)計(jì)算機(jī)，稱(chēng)其比英偉達(dá)A100芯片的系統(tǒng)更快、更節(jié)能。谷歌公司設(shè)計(jì)了自己的定制芯片，稱(chēng)為T(mén)ensor Processing Unit(TPU)，并將這些芯片應(yīng)用于90%以上的人工智能訓(xùn)練工作。這個(gè)過(guò)程通過(guò)模型對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，以提高其在類(lèi)似人類(lèi)文本響應(yīng)或生成圖像等任務(wù)中的實(shí)用性。目前，谷歌TPU已經(jīng)進(jìn)入第四代。谷歌公司在周二發(fā)布了一篇科學(xué)論文，詳細(xì)介紹了如何利用自己開(kāi)發(fā)的定制光開(kāi)關(guān)將4000多個(gè)芯片連接成一個(gè)超級(jí)計(jì)算機(jī)。對(duì)于構(gòu)建AI超級(jí)計(jì)算機(jī)的公司來(lái)說(shuō)，改善這些連接已經(jīng)成為競(jìng)爭(zhēng)的關(guān)鍵點(diǎn)，因?yàn)樗^的大規(guī)模語(yǔ)言模型正在不斷增大，已無(wú)法在單個(gè)芯片上存儲(chǔ)，而這些模型正驅(qū)動(dòng)著谷歌的Bard或OpenAI的ChatGPT等技術(shù)。這類(lèi)模型必須分布在成千上萬(wàn)的芯片之間，然后這些芯片要在數(shù)周或更長(zhǎng)時(shí)間內(nèi)協(xié)同工作來(lái)訓(xùn)練模型。谷歌的PaLM模型，是迄今為止公開(kāi)披露的最大語(yǔ)言模型，它通過(guò)分布在兩臺(tái)4000芯片的超級(jí)計(jì)算機(jī)上進(jìn)行了50天的訓(xùn)練。谷歌表示，其超級(jí)計(jì)算機(jī)可以輕松地動(dòng)態(tài)重新配置芯片之間的連接，有助于避免故障并進(jìn)行性能優(yōu)化。“電路交換使得我們能夠輕松避開(kāi)故障組件，”谷歌高級(jí)研究員Norm Jouppi和谷歌杰出工程師David Patterson在一篇關(guān)于該系統(tǒng)的博客文章中寫(xiě)道。“這種靈活性甚至使我們能夠改變超級(jí)計(jì)算機(jī)互聯(lián)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，以加速M(fèi)L（機(jī)器學(xué)習(xí)）模型的性能。”雖然谷歌直到現(xiàn)在才公開(kāi)其超級(jí)計(jì)算機(jī)的詳細(xì)信息，但它自2020年以來(lái)就已經(jīng)在俄克拉荷馬州梅斯縣的數(shù)據(jù)中心內(nèi)運(yùn)行。谷歌表示，初創(chuàng)公司Midjourney使用該系統(tǒng)來(lái)訓(xùn)練其模型，該模型在輸入幾個(gè)詞的文本后可以生成新的圖像。谷歌在論文中表示，與相同規(guī)模的系統(tǒng)相比，它的超級(jí)計(jì)算機(jī)比基于英偉達(dá)A100芯片的系統(tǒng)更快1.7倍，更節(jié)能1.9倍。據(jù)了解，A100芯片早于第四代TPU面市。谷歌表示，它沒(méi)有將第四代TPU與英偉達(dá)當(dāng)前旗艦H100芯片進(jìn)行比較，因?yàn)镠100是在谷歌這款芯片應(yīng)用后上市的，并且采用了更新的技術(shù)。谷歌暗示正在研發(fā)一款新的TPU，將與英偉達(dá)H100競(jìng)爭(zhēng)，但沒(méi)有提供詳細(xì)信息。Jouppi告訴媒體，谷歌有“充足的未來(lái)芯片儲(chǔ)備”。（易句）（本文由AI翻譯，編輯負(fù)責(zé)校對(duì)）

下一題： 美媒：沒(méi)人脈沒(méi)精力，窮學(xué)生想到科技巨頭實(shí)習(xí)不容易

提示：【 方向鍵 ( ← )上一篇 】【 方向鍵 ( → )下一篇 】

上一篇: 上汽集團(tuán)回應(yīng)計(jì)劃裁員降薪：消息不實(shí) 上一篇

下一篇: 美媒：沒(méi)人脈沒(méi)精力，窮學(xué)生想到科技巨頭實(shí)習(xí)不容易 下一篇