算力管理復雜、訓練成本過(guò)高,專(zhuān)家談AI困境如何破解

分享到:

算力管理復雜、訓練成本過(guò)高,專(zhuān)家談AI困境如何破解

2024年06月29日 21:31 來(lái)源:中國新聞網(wǎng)
大字體
小字體
分享到:

  中新網(wǎng)6月29日電(中新財經(jīng)記者 吳濤)“大模型的高速發(fā)展使得AI不得不面臨算力管理復雜、訓練推理成本高、任務(wù)調度難等多方面發(fā)展瓶頸?!?/p>

  發(fā)布會(huì )現場(chǎng)。供圖

  近日,在螞蟻數科舉行的一場(chǎng)發(fā)布會(huì )上,中國信息通信研究院云大所副所長(cháng)栗蔚指出,云原生憑借其高可用、彈性、可擴展等優(yōu)勢成為突破AI困境的關(guān)鍵,云原生PaaS平臺的大模型產(chǎn)品工具鏈不斷完善,將加速大模型技術(shù)在行業(yè)應用中落地。

  栗蔚表示,根據調研,云原生除了作用于A(yíng)I之外,之前它作用于很多互聯(lián)網(wǎng)應用的研發(fā),超過(guò)一半中國企業(yè)大部分互聯(lián)網(wǎng)化應用程序都是云原生的架構,甚至傳統的核心架構現在也都在云化。

  據介紹,在A(yíng)I時(shí)代,因為大模型對算力需求很大,GPT3.5的時(shí)候是1750億參數,需要500個(gè)英偉達的卡,到了GPT5是10萬(wàn)億的參數,需要50萬(wàn)張英偉達的卡。這種情況下,云將發(fā)揮出新的關(guān)鍵作用。

  “50萬(wàn)張英偉達卡計算是不可能在一個(gè)數據中心完成的,所以很多大模型計算跨域不可避免,但跨域以后對方是英偉達的卡嗎?或者智算底層基礎設施都不一定。這種情況下,我們需要什么?中間誰(shuí)能把應用部署在算力上跑起來(lái)呢?”

  栗蔚給出答案,她認為,就是云,AI時(shí)代幾個(gè)發(fā)展瓶頸問(wèn)題基本都是要靠云原生滿(mǎn)足的。云原生屏蔽了底層算力的差異,其應用不在乎你底下是CPU還是GPU,還是用了什么樣的規格的卡,我只是將應用部署在上面,用你的計算能力,所以云原生發(fā)揮了這樣的作用。

  “很多企業(yè)通過(guò)用了云原生,對于底下上千臺服務(wù)器進(jìn)行統一的納管,從而全方位提升效率和降低成本?!崩跷祻娬{,云跟AI結合才能充分降低AI的工程化成本,讓AI大模型真實(shí)地跑起來(lái)變成服務(wù)。(完)

【編輯:張燕玲】
發(fā)表評論 文明上網(wǎng)理性發(fā)言,請遵守新聞評論服務(wù)協(xié)議
本網(wǎng)站所刊載信息,不代表中新社和中新網(wǎng)觀(guān)點(diǎn)。 刊用本網(wǎng)站稿件,務(wù)經(jīng)書(shū)面授權。
未經(jīng)授權禁止轉載、摘編、復制及建立鏡像,違者將依法追究法律責任。
Copyright ©1999-2024 chinanews.com. All Rights Reserved

評論

頂部