文｜白鴿
編｜王一粟、蘇揚
要想富，先修路。
想要AI大模型能夠持續(xù)迭代升級，離不開底層算力基礎(chǔ)設(shè)施的搭建。自2022年ChatGPT爆發(fā)以來，算力市場也迎來了爆發(fā)式增長。
一方面，中國的科技巨頭們，為了搶占未來AGI時代的門票，正在進行的算力“軍備競賽”，瘋狂囤積顯卡資源的同時，也正在進行從千卡、萬卡再到十萬卡級別算力集群的建設(shè)。
研究機構(gòu)Omdia報告顯示，2024年字節(jié)跳動訂購了約23萬片英偉達的芯片，成為英偉達采購數(shù)排名第二的客戶。
有報道稱，字節(jié)跳動2025年的資本開支將達到1600億元，其中900億將用來購買AI算力。與字節(jié)跳動同等規(guī)模的大廠，包括阿里、百度、中國電信等企業(yè)，也都在推進十萬卡級別的算力集群建設(shè)。
而科技巨頭們瘋狂的算力基建行為，無疑也正在不斷將中國AI算力市場推向高潮。
但巨頭們瘋狂擴大算力規(guī)模的另一面，中國算力市場中卻有大量的算力資源被閑置，甚至開始出現(xiàn)“中國整體算力資源供過于求”的聲音。
“算力市場2023年非�；穑鲂阅芟鄬^低的A100的都賺到了錢，但2024年市場冷淡很多，很多卡都沒有拆封。不過各種因素疊加下，面向游戲和消費市場的4090仍處于需求更多的狀態(tài)�！痹戚S科技ZStack CTO王為對光錐智能說道。
這兩年，算力生意是大模型浪潮中第一個掘到金的賽道，除了英偉達，也還有無數(shù)云廠商、PaaS層算力優(yōu)化服務(wù)商、甚至芯片掮客們都在前赴后繼。而這一輪算力需求的暴增，主要是由于AI大模型的迅猛發(fā)展所驅(qū)動起來的。
AI的需求就像一個抽水泵，將原來穩(wěn)定多年的算力市場激活，重新激起洶涌的浪花。
但現(xiàn)在，這個源頭動力發(fā)生了改變。AI大模型的發(fā)展，正逐漸從預(yù)訓(xùn)練走向推理應(yīng)用，也有越來越多的玩家開始選擇放棄超大模型的預(yù)訓(xùn)練。比如日前，零一萬物創(chuàng)始人兼CEO李開復(fù)就公開表示，零一萬物不會停止預(yù)訓(xùn)練，但不再追逐超大模型。
在李開復(fù)看來，如果要追求AGI，不斷訓(xùn)練超大模型，也意味著需要投入更多GPU和資源，“還是我之前的判斷——當(dāng)預(yù)訓(xùn)練結(jié)果已經(jīng)不如開源模型時，每個公司都不應(yīng)該執(zhí)著于預(yù)訓(xùn)練�！�
也正因此，作為曾經(jīng)中國大模型創(chuàng)業(yè)公司的六小虎之一，零一萬物開始變陣，后續(xù)將押注在AI大模型推理應(yīng)用市場上。
就在這樣一個需求和供給，都在快速變化的階段，市場的天平在不斷傾斜。
2024年，算力市場出現(xiàn)供需結(jié)構(gòu)性失衡。未來算力基建是否還要持續(xù)，算力資源到底該銷往何處，新入局玩家們又該如何與巨頭競爭，成為一個個關(guān)鍵命題。
一場圍繞智能算力市場的隱秘江湖，正徐徐拉開帷幕。
供需錯配：低質(zhì)量的擴張，碰上高質(zhì)量需求
1997年，還很年輕的劉淼，加入了當(dāng)時發(fā)展如日中天的IBM，這也使其一腳就邁入了計算行業(yè)。
20世紀中葉，IBM開發(fā)的大型主機被譽為“藍色巨人”，幾乎壟斷了全球的企業(yè)計算市場。
“當(dāng)時IBM的幾臺大型主機，就能夠支撐起一家銀行在全國的核心業(yè)務(wù)系統(tǒng)的運行，這也讓我看到了計算讓業(yè)務(wù)系統(tǒng)加速的價值。”劉淼對光錐智能說道。
也正是在IBM的經(jīng)歷，為劉淼后續(xù)投身新一代智算埋下伏筆。
而在經(jīng)歷了以CPU為代表的主機時代、云計算時代后，當(dāng)前算力已進入到以GPU為主的智算時代，其整個計算范式也發(fā)生了根本改變，畢竟如果沿用老的架構(gòu)方案，就需要把大量數(shù)據(jù)通過CPU繞行再通往GPU，這就導(dǎo)致GPU的大算力和大帶寬被浪費。而GP訓(xùn)練和推理場景，也對高速互聯(lián)、在線存儲和隱私安全提出了更高的要求。
這也就催生了中國智能算力產(chǎn)業(yè)鏈上下游的發(fā)展，尤其是以智算中心為主的基礎(chǔ)設(shè)施建設(shè)。
2022年底，ChatGPT的發(fā)布正式開啟AI大模型時代，中國也隨之進入“百模大戰(zhàn)”階段。
彼時各家都希望能夠給大模型預(yù)訓(xùn)練提供算力，而行業(yè)中也存在并不清楚最終算力需求在哪，以及誰來用的情況，“這一階段大家會優(yōu)先買卡，做一種資源的囤積�！眻D靈新智算聯(lián)合創(chuàng)始人兼研究院院長洪銳說道，這也是智算1.0時代。
隨著大模型訓(xùn)練參數(shù)越來越大，最終發(fā)現(xiàn)真正算力資源消納方，集中到了做預(yù)訓(xùn)練的玩家上。
“這一輪AI產(chǎn)業(yè)爆發(fā)的前期，就是希望通過在基礎(chǔ)模型預(yù)訓(xùn)練上不斷擴大算力消耗，探索通往AGI（通用人工智能）的道路�！焙殇J說道。
公開數(shù)據(jù)顯示，ChatGPT的訓(xùn)練參數(shù)已經(jīng)達到了1750億、訓(xùn)練數(shù)據(jù)45TB，每天生成45億字的內(nèi)容，支撐其算力至少需要上萬顆英偉達的GPU A100，單次模型訓(xùn)練成本超過1200萬美元。
另外，2024年多模態(tài)大模型猶如神仙打架，視頻、圖片、語音等數(shù)據(jù)的訓(xùn)練對算力提出了更高的需求。
公開數(shù)據(jù)顯示，OpenAI的Sora視頻生成大模型訓(xùn)練和推理所需要的算力需求分別達到了GPT-4的4.5倍和近400倍。中國銀河證券研究院的報告也顯示，Sora對算力需求呈指數(shù)級增長。
因此，自2023年開始，除各方勢力囤積顯卡資源之外，為滿足更多算力需求，中國算力市場迎來爆發(fā)式增長，尤其是智算中心。
賽迪顧問人工智能與大數(shù)據(jù)研究中心高級分析師白潤軒此前表示：“從2023年開始，各地政府加大了對智算中心的投資力度，推動了基礎(chǔ)設(shè)施的發(fā)展。”
在市場和政策的雙重影響下，中國智算中心在短短一兩年時間如雨后春筍般快速建設(shè)起來。
這其中既有政府主導(dǎo)建設(shè)項目，也有以阿里云、百度智能云、商湯等企業(yè)為主開始投資建設(shè)的智算中心，更有一些跨界企業(yè)看到其中的機會從而邁入這一賽道。
同時，還有像圖靈新智算、趨境科技、硅基流動等創(chuàng)業(yè)公司進入到算力行業(yè)。
相關(guān)數(shù)據(jù)顯示，截至2024年上半年，國內(nèi)已經(jīng)建設(shè)和正在建設(shè)的智算中心超過250個，2024年上半年智算中心招投標相關(guān)事件791起，同比增長高達407.1%。
但是，智算中心的建設(shè)并非簡單的修橋鋪路，一是對技術(shù)和專業(yè)度的要求很高，二是建設(shè)和需求往往存在錯配，三是對持續(xù)的規(guī)劃不足。
在劉淼看來，智算中心其實是中國獨特的產(chǎn)物，某種程度上承擔(dān)了部分支持本地產(chǎn)業(yè)發(fā)展的社會使命，但不是純市場化的行為帶來一大問題，就是在長達12-24個月建設(shè)周期后，“建好了就閑置了，因為已經(jīng)不能滿足2年后行業(yè)對算力需求了。”
從當(dāng)前來看，中國算力市場資源在某些區(qū)域確實出現(xiàn)閑置�！爸袊懔κ袌霈F(xiàn)階段問題的根源，就在于太粗放了�！眲㈨嫡f道。
不過，市場不能簡單講是供需過剩，或者供需不足，實際上是算力供給與需求的錯配。即高質(zhì)量的算力需求遠遠不足，但低質(zhì)量的算力供給卻找不到太多的市場需求。畢竟，大模型預(yù)訓(xùn)練玩家往往需要萬卡以上的算力資源池。
然而，中國算力市場上前期部分智算中心的規(guī)模，“可能只有幾十臺到一兩百臺，這對于當(dāng)前基礎(chǔ)模型的預(yù)訓(xùn)練來說是遠遠不夠的，但設(shè)備選型是匹配的預(yù)訓(xùn)練需求�！焙殇J表示，站在預(yù)訓(xùn)練角度，算力確實稀缺，但由于規(guī)模達不到而不能用的算力放在那里就成了閑置。
大模型賽道分化，算力需求悄然轉(zhuǎn)變
大模型市場的發(fā)展變化太快了。
原本在大模型預(yù)訓(xùn)練階段，行業(yè)中玩家希望能夠通過不停的訓(xùn)練來提升大模型效果，如果這一代不行，就花更多算力、更多資金去訓(xùn)練下一代大模型。
“之前大模型賽道發(fā)展邏輯是這樣的，但到了2024年6月份左右，行業(yè)中能夠明顯感知到，大模型預(yù)訓(xùn)練這件事已經(jīng)到了投入產(chǎn)出的臨界點，投入巨量資源做預(yù)訓(xùn)練，也可能達不到預(yù)期收益�！焙殇J表示。
背后很重要的原因，在于“OpenAI技術(shù)演進的問題，GPT-3.5的能力很震撼，GPT-4的能力有提升，但從2023年年中到2024年，整體的基座模型能力的升級達不到2023年的效果，再多的提升在CoT和Agent側(cè)�！蓖鯙槿绱苏f道。
基礎(chǔ)模型能力升級放緩的同時，預(yù)訓(xùn)練的成本也非常高昂。
此前零一萬物創(chuàng)始人兼CEO李開復(fù)所言，一次預(yù)訓(xùn)練成本約三四百萬美元。這對于大多數(shù)中小企業(yè)而言，無疑是一項高額成本投入，“創(chuàng)業(yè)公司的生存之道，是要考慮怎么樣去善用每一塊錢，而不是弄更多GPU來燒。”
因此，隨著大模型參數(shù)越來越大，越來越多的企業(yè)無法承擔(dān)大模型訓(xùn)練成本，只能基于已經(jīng)訓(xùn)練好的模型進行應(yīng)用或者微調(diào)。“甚至可以說，當(dāng)大模型參數(shù)達到一定程度后，大部分企業(yè)連微調(diào)能力都不具備�！焙殇J說道。
有相關(guān)數(shù)據(jù)統(tǒng)計，2024年下半年，在通過備案的大模型中，有接近50%轉(zhuǎn)向了AI應(yīng)用。
大模型從預(yù)訓(xùn)練走向推理應(yīng)用，無疑也帶來了算力市場需求的分化。洪銳認為：“大模型預(yù)訓(xùn)練的計算中心和算力需求，以及推理應(yīng)用的算力需求，其實已經(jīng)是兩條賽道了�！�
從大模型預(yù)訓(xùn)練角度來說，其所需要的算力與模型參數(shù)量、訓(xùn)練數(shù)據(jù)量成正比，算力集群規(guī)模的整體要求是：百億參數(shù)用百卡，千億參數(shù)用千卡，萬億參數(shù)用萬卡。
另外，大模型預(yù)訓(xùn)練的一個重要特征，就是不能中斷，一旦中斷所有訓(xùn)練都需要從CheckPoint重頭開始。
“去年至今，國內(nèi)引進了大量智算設(shè)備，但平均故障率卻在10%-20%左右，如此高的故障率導(dǎo)致大模型訓(xùn)練每三小時就要斷一次�！眲㈨嫡f道，“一個千卡集群，基本上20天就要斷一次。”
同時，為了支持人工智能走向Agent時代甚至未來的通用人工智能，需要不斷擴大算力集群，從千卡集群邁向萬卡集群甚至十萬卡，“馬斯克是個牛人，規(guī)劃了孟菲斯十萬卡集群，首個1.9萬卡，從安裝到點亮，只花了19天，其復(fù)雜程度要遠遠高出現(xiàn)有的項目。”劉淼說道。
目前國內(nèi)為了滿足更高參數(shù)大模型的訓(xùn)練，也都在積極投建萬卡算力池，但“大家會發(fā)現(xiàn)，算力供應(yīng)商的客戶其實都集中在頭部的幾個企業(yè)，且會要求這些企業(yè)簽訂長期的算力租賃協(xié)議，不管你是否真的需要這些算力�！敝袊娦糯竽Ｐ褪紫瘜＜摇⒋竽Ｐ蛨F隊負責(zé)人劉敬謙如此說道。
不過，洪銳認為；“未來全球真正能夠有實力做預(yù)訓(xùn)練的玩家不超過50家，且智算集群規(guī)模到了萬卡、十萬卡后，有能力做集群運維故障排除和性能調(diào)優(yōu)的玩家也會越來越少�！�
現(xiàn)階段，已經(jīng)有大量中小企業(yè)從大模型的預(yù)訓(xùn)練轉(zhuǎn)向了AI推理應(yīng)用，且“大量的AI推理應(yīng)用，往往是短時間、短期間的潮汐式應(yīng)用�！眲⒕粗t說道。但部署在實際終端場景中時，會需要大量服務(wù)器進行并行網(wǎng)絡(luò)計算，推理成本會驟然提升。
“原因是延遲比較高，大模型回答一個問題需要經(jīng)過深層次推理思考，這段時間大模型一直在進行計算，這也意味著幾十秒內(nèi)這臺機器的計算資源被獨占。如果拓展至上百臺服務(wù)器，則推理成本很難被覆蓋。”趨鏡科技CEO艾智遠對光錐智能稱。
因此，相較于需要大規(guī)模算力的AI（大模型）訓(xùn)練場景，AI推理對算力性能要求沒有AI訓(xùn)練嚴苛，主要是滿足低功耗和實時處理的需求。“訓(xùn)練集中于電力高地，推理則要靠近用戶�！比A為公司副總裁、ISP與互聯(lián)網(wǎng)系統(tǒng)部總裁岳坤說道，推理算力的延時要在5-10毫秒范圍內(nèi)，并且需要高冗余設(shè)計，實現(xiàn)“兩地三中心”建設(shè)。
以中國電信為例，其目前已在北京、上海、廣州、寧夏等地建立萬卡資源池，為了支持行業(yè)模型發(fā)展，也在浙江、江蘇等七個地方建立千卡資源池。同時，為了保證AI推理應(yīng)用的低延時在10毫秒圈子里，中國電信也在多地區(qū)建設(shè)邊端推理算力，逐漸形成全國“2+3+7”算力布局。
2024年，被稱作AI應(yīng)用落地元年，但實際上，AI推理應(yīng)用市場并未如預(yù)期中迎來爆發(fā)。主要原因在于，“目前行業(yè)中尚未出現(xiàn)一款能夠在企業(yè)中大規(guī)模鋪開的應(yīng)用，畢竟大模型本身技術(shù)能力還有缺陷，基礎(chǔ)模型不夠強，存在幻覺、隨機性等問題。”洪銳說道。
由于AI應(yīng)用普遍尚未爆發(fā)，推理的算力增長也出現(xiàn)了停滯。不過，很多從業(yè)者依然樂觀——他們判斷，智能算力仍會是“長期短缺”，隨著AI應(yīng)用的逐漸滲透，推理算力需求的增長是個確定趨勢。
一位芯片企業(yè)人士對光錐智能表示，AI推理其實是在不斷嘗試追求最佳解，Agent（智能體）比普通的LLM（大語言模型）所消耗的Token更多，因為其不停地在進行觀察、規(guī)劃和執(zhí)行，“o1是模型內(nèi)部做嘗試，Agent是模型外部做嘗試。”
因此，“預(yù)估明年會有大量AI推理算力需求爆發(fā)出來。”劉敬謙說道，“我們也建立了大量的輕型智算集群解決方案和整個邊端推理解決方案�！�
王為也表示；“如果算力池中卡量不大的情況下，針對預(yù)訓(xùn)練的集群算力很難出租。推理市場所需要訓(xùn)練卡量并不多，且整個市場還在穩(wěn)定增長，中小互聯(lián)網(wǎng)企業(yè)需求量在持續(xù)增加�！�
不過現(xiàn)階段，訓(xùn)練算力仍占據(jù)主流。據(jù)IDC、浪潮信息聯(lián)合發(fā)布的《2023-2024年中國人工智能計算力發(fā)展評估報告》，2023年國內(nèi)AI服務(wù)器工作負載中訓(xùn)練：推理的占比約為6：4。
2024年8月，英偉達管理層在2024年二季度財報電話會中表示，過去四個季度中，推理算力占英偉達數(shù)據(jù)中心收入約為40%。在未來，推理算力的收入將持續(xù)提升。12月25日，英偉達宣布推出兩款為滿足推理大模型性能需要的GPU GB300和B300。
無疑，大模型從預(yù)訓(xùn)練走向推理應(yīng)用，帶動了算力市場需求的分化。從整個算力市場來說，當(dāng)前智算中心還處于發(fā)展初期，基礎(chǔ)設(shè)施建設(shè)并不完善。因此，大型預(yù)訓(xùn)練玩家或者大型企業(yè)，會更傾向于自己囤積顯卡。而針對AI推理應(yīng)用賽道，智算中心提供設(shè)備租賃時，大部分中小客戶會更傾向于零租，且會更注重性價比。
未來，隨著AI應(yīng)用滲透率不斷提升，推理算力消耗量還會持續(xù)提升。按照IDC預(yù)測結(jié)果，2027年推理算力在智能算力大盤中的占比甚至?xí)^70%。
而如何通過提升計算效率，來降低推理部署成本，則成為了AI推理應(yīng)用算力市場發(fā)展的關(guān)鍵。
不盲目推卡，如何提升算力利用率？
整體來說，自2021年正式啟動“東數(shù)西算”建設(shè)以來，中國市場并不缺底層算力資源，甚至隨著大模型技術(shù)發(fā)展和算力需求的增長，算力市場中大量購買基建的熱潮，還會持續(xù)一兩年時間。
但這些底層算力資源卻有一個共性，即四處分散，且算力規(guī)模小。劉敬謙表示：“每個地方可能只有100臺或200臺左右算力，遠遠不能夠滿足大模型算力需求。”
另外，更為重要的是，當(dāng)前算力的計算效率并不高。
有消息顯示，即使是OpenAI，在GPT-4的訓(xùn)練中，算力利用率也只有32%-36%，大模型訓(xùn)練的算力有效利用率不足50%�！拔覈懔Φ睦寐手挥�30%�！敝袊こ淘涸菏苦w賀銓坦言。
原因在于，大模型訓(xùn)練周期內(nèi)，GPU卡并不能隨時實現(xiàn)高資源利用，在一些訓(xùn)練任務(wù)比較小的階段，還會有資源閑置狀態(tài)。在模型部署階段，由于業(yè)務(wù)波動和需求預(yù)測不準確，許多服務(wù)器往往也會處于待機或低負載狀態(tài)。
“云計算時代的CPU服務(wù)器整體發(fā)展已經(jīng)非常成熟，通用計算的云服務(wù)可用性要求是99.5%～99.9%，但大規(guī)模GPU集群非常難做到。”洪銳表示。
這背后，還在于GPU整體硬件發(fā)展以及整個軟件生態(tài)的不充足。軟件定義硬件，也正逐漸成為智能算力時代發(fā)展的關(guān)鍵。
因此，在智能算力江湖中，圍繞智能算力基礎(chǔ)設(shè)施建設(shè)，整合社會算力閑置資源，并通過軟件算法等方式提高算力計算效率，各類玩家憑借自己的核心優(yōu)勢入局，并圈地跑馬。
這些玩家大致可以分為三類：
一類是大型國資央企，比如中國電信，基于其央企身份能夠更好的滿足國資、央企的算力需求。
一方面，中國電信自己構(gòu)建了千卡、萬卡和十萬卡算力資源池。另一方面，通過息壤·智算一體化平臺，中國電信也正在積極整合社會算力閑置資源，可實現(xiàn)跨服務(wù)商、跨地域、夸架構(gòu)的統(tǒng)一管理，統(tǒng)一調(diào)度，提高算力資源的整體利用率。
“我們先做的是國資央企的智算調(diào)度平臺，通過將400多個社會不同閑置算力資源整合至同一個平臺，然后連接國資央企的算力需求，從而解決算力供需不平衡問題�！眲⒕粗t說道。
一類是以互聯(lián)網(wǎng)公司為主的云廠商，包括阿里云、百度智能云、火山引擎等，這些云廠商在底層基礎(chǔ)設(shè)施架構(gòu)上正積極從CPU云轉(zhuǎn)型至GPU云，并形成以GPU云為核心的全棧技術(shù)能力。
“下一個十年，計算范式將從云原生，進入到AI云原生的新時代。”火山引擎總裁譚待此前說道，AI云原生，將以GPU為核心重新來優(yōu)化計算、存儲與網(wǎng)絡(luò)架構(gòu)，GPU可以直接訪問存儲和數(shù)據(jù)庫，來顯著的降低IO延遲。
從底層基礎(chǔ)設(shè)施來看，智算中心的建設(shè)往往并不是以單一品牌GPU顯卡為主，更多的可能是英偉達+國產(chǎn)GPU顯卡，甚至?xí)嬖谕ㄟ^CPU、GPU、FPGA（可編程芯片）、ASIC（為特定場景設(shè)計的芯片）等多種不同類型的計算單元協(xié)同工作的異構(gòu)算力情況，以滿足不同場景下的計算需求，實現(xiàn)計算效力的最大化。
因此，云廠商們也針對“多芯混訓(xùn)”的能力，進行了重點升級。比如今年9月，百度智能云將百舸AI異構(gòu)計算平臺全面升級至4.0版本，實現(xiàn)了在萬卡規(guī)模集群上95%的多芯混合訓(xùn)練效能。
而在底層基礎(chǔ)設(shè)施之上，影響大模型訓(xùn)練和推理應(yīng)用部署的，除了GPU顯卡性能之外，還與網(wǎng)絡(luò)、存儲產(chǎn)品、數(shù)據(jù)庫等軟件工具鏈平臺息息相關(guān)，而處理速度的提升，往往需要多個產(chǎn)品共同加速完成。
當(dāng)然，除云大廠外，還有一批中小云廠商以自己的差異化視角切入到算力行業(yè)中，如云軸科技——基于平臺能力，做算力資源的調(diào)度和管理。
王為坦言，“之前GPU在業(yè)務(wù)系統(tǒng)架構(gòu)中還只是附件，后續(xù)才逐漸成為單獨的類別。”
今年8月份，云軸科技發(fā)布了新一代AI Infra基礎(chǔ)設(shè)施ZStack AIOS平臺智塔，這一平臺主要以AI企業(yè)級應(yīng)用為核心，從“算力調(diào)度、AI大模型訓(xùn)推、AI應(yīng)用服務(wù)開發(fā)”三個方向幫助企業(yè)客戶進行大模型新應(yīng)用的落地部署。
“我們會通過平臺統(tǒng)計算力具體的使用情況、對算力進行運維，同時在GPU顯卡有限的場景下，想要提升算力利用率，也會為客戶切分算力�！蓖鯙檎f道。
此外，在運營商場景中，算力的資源池比較多，“我們也會跟客戶進行合作，幫助其進行資源池的運營、計算、統(tǒng)一運營管理等。”王為表示。
另一類玩家，是基于算法提升算力計算效率的創(chuàng)業(yè)公司，如圖靈新智算、趨鏡科技、硅基流動等。這些新玩家，綜合實力遠弱于云大廠們，但通過單點技術(shù)突圍，也逐漸在行業(yè)中占據(jù)一席之地。
“最開始我們是智算集群生產(chǎn)制造服務(wù)商，到連接階段，則是算力運營服務(wù)商，未來成為智能數(shù)據(jù)和應(yīng)用服務(wù)商，這三個角色不斷演變�！眲㈨嫡f道，“所以我們定位是，新一代算力運營服務(wù)廠商。”
圖靈新智算未來希望，搭建獨立的整合算力閑置資源的平臺，能夠進行算力的調(diào)度、出租和服務(wù)�！拔覀兇蛟煲粋�資源平臺，將閑置算力接入平臺，類似于早期的淘寶平臺�！眲㈨嫡f道，閑置算力主要對接的是各地區(qū)智算中心。
與之相比，趨境科技、硅基流動等企業(yè)，更聚焦在AI推理應(yīng)用市場中，并更注重以算法的能力，來提升算力的效率，降低大模型推理應(yīng)用的成本，只不過各家方案的切入點并不相同。
比如趨境科技為了解決大模型不可能三角，及效果、效率和成本之間的平衡，提出了全系統(tǒng)異構(gòu)協(xié)同推理和針對AI推理應(yīng)用的RAG（搜索增強）場景，采用“以存換算”的方式釋放存力作為對于算力的補充兩大創(chuàng)新技術(shù)策略，將推理成本降低 10 倍，響應(yīng)延遲降低 20 倍。
而面向未來，除了持續(xù)優(yōu)化連接底層算力資源和上層應(yīng)用的中間AI infra層外，“我們更希望的一種模式是，我們搭的是一個架子，房頂上的這些應(yīng)用是由大家來開發(fā)，然后利用我們架子能夠更好的降低成本�！壁吘晨萍紕�(chuàng)始人兼CEO艾智遠如此說道。
不難看出，趨境科技并不只是想做算法優(yōu)化解決方案供應(yīng)商，還想做AI大模型落地應(yīng)用服務(wù)商。
另外，當(dāng)前行業(yè)中針對大模型算力優(yōu)化方案，往往會優(yōu)先考慮提升GPU的利用率。艾智遠表示，現(xiàn)階段對GPU的利用率已經(jīng)達到50%以上，想要在提高GPU的利用率，難度非常大。
“GPU利用率還存在很大提升空間，但非常難，涉及到芯片、顯存、卡間互聯(lián)、多機通訊和軟件調(diào)度等技術(shù)，這并不是一家公司或一門技術(shù)能夠解決，而是需要整個產(chǎn)業(yè)鏈上下游共同推動�！焙殇J也如此對光錐智能說道。
洪銳認為，目前行業(yè)缺乏真正能夠從技術(shù)上將超大規(guī)模智算集群組網(wǎng)運維起來的能力，同時軟件層并未發(fā)展成熟，“算力就在這，但如果軟件優(yōu)化沒做好，或推理引擎和負載均衡等沒做好，對算力性能的影響也非常大�！�
縱觀這三大類玩家，不管是中國電信等運營商，還是云廠商們，亦或是新入局的玩家，各自切入算力市場的方式不盡相同，但都希望在這一場全球算力的盛宴中分得一杯羹。
事實上，現(xiàn)階段相比大模型服務(wù)，這的確也是確定性更強的生意。
算力租賃同質(zhì)化，精細化、專業(yè)化運營服務(wù)為王
從賺錢的穩(wěn)定度上，淘金者很難比得上賣水人。
AI大模型已經(jīng)狂奔兩年，但整個產(chǎn)業(yè)鏈中，只有以英偉達為首的算力服務(wù)商真正賺到了錢，在收入和股市上都名利雙收。
而在2024年，算力的紅利在逐步從英偉達延伸到泛算力賽道上，服務(wù)器廠商、云廠商，甚至倒賣、租賃各種卡的玩家，也獲得了一定利潤回報。當(dāng)然，利潤遠遠小于英偉達。
“2024年整體上沒虧錢，但是也沒賺到很多錢�！蓖鯙樘寡�，“AI（應(yīng)用）現(xiàn)階段還沒有起量，跟AI相關(guān)量最大的還是算力層，算力應(yīng)用營收相對較好。”
對于2025年的發(fā)展預(yù)期，王為也直言并未做好完全的預(yù)測，“明年真的有點不好說，但遠期來看，未來3年AI應(yīng)用將會有很大的增量進展�！�
但以各地智算中心的發(fā)展情況來看，卻鮮少能夠?qū)崿F(xiàn)營收，基本目標都是覆蓋運營成本。
據(jù)智伯樂科技CEO岳遠航表示，經(jīng)測算后發(fā)現(xiàn)，一個智算中心縱使設(shè)備出租率漲到60%，至少還要花上7年以上的時間才能回本。
目前智算中心對外主要以提供算力租賃為主要營收方式，但“設(shè)備租賃非常同質(zhì)化，真正缺失的是一種端到端的服務(wù)能力。”洪銳對光錐智能說道。
所謂的端到端服務(wù)能力，即除硬件之外，智算中心還要能夠支持企業(yè)從大模型應(yīng)用開發(fā)，到大模型的迭代升級，再到后續(xù)大模型部署的全棧式服務(wù)。而目前能夠真正實現(xiàn)這種端到端服務(wù)的廠商，相對比較少。
不過，從整體數(shù)據(jù)來看，中國智算服務(wù)市場發(fā)展前景越來越樂觀。據(jù)IDC最新發(fā)布《中國智算服務(wù)市場（2024上半年）跟蹤》報告顯示，2024年上半年中國智算服務(wù)整體市場同比增長79.6%，市場規(guī)模達到146.1億元人民幣�！爸撬惴⻊�(wù)市場以遠超預(yù)期的增速在高速成長。從智算服務(wù)的增長態(tài)勢來看，智算服務(wù)市場在未來五年內(nèi)仍將保持高速成長�！盜DC中國企業(yè)級研究部研究經(jīng)理楊洋表示。
洪銳也表示，在經(jīng)歷瘋狂囤積卡資源的智算1.0時代，到智算中心粗放擴張，供需失衡的智算2.0時代后，智算3.0時代的終局，一定是專業(yè)化、精細化運營的算力服務(wù)。
畢竟，當(dāng)預(yù)訓(xùn)練和推理分成兩個賽道后，AI推理應(yīng)用市場會逐漸發(fā)展起來，技術(shù)棧也會逐漸成熟，服務(wù)能力逐漸完善，市場也將進一步整合零散閑置算力資源，實現(xiàn)算力利用率最大化。
不過，當(dāng)前中國算力市場也仍面臨著巨大挑戰(zhàn)。在高端GPU芯片短缺的同時，“現(xiàn)在國內(nèi)GPU市場過于碎片化，且各家GPU都有獨立的生態(tài)體系，整體的生態(tài)存在割裂�！蓖鯙槿绱苏f道，這也就導(dǎo)致國內(nèi)整個GPU生態(tài)的適配成本非常高。
但就像劉淼所言，智算的20年長周期才剛剛開始，現(xiàn)在或許僅僅只是第一年。而在實現(xiàn)AGI這條道路上，也充滿著不確定性，這對于眾多玩家來說，無疑充滿著更多的機遇和挑戰(zhàn)。
分享
