|
月之暗面旗下大模型Kimi K3採用線性注意力機制,引發市場對英偉達、HBM以及網絡設備需求可能受到削弱的擔憂。
不過,半導體研究機構SemiAnalysis近日給出了截然不同的判斷:K3龐大的參數規模和推理架構需求,不僅不會削弱高端AI硬體需求,反而可能進一步強化對英偉達高端GPU、HBM以及高速互聯設備的需求。
SemiAnalysis指出,K3參數規模超過2.8萬億,模型權重容量超過1.5TB HBM。即便在相對有限的用戶並發場景下,KV緩存仍需要大量卸載至CPU DDR5內存及NVMe存儲,HBM空間並不會出現明顯富餘。
更重要的是,月之暗面此前透露,K3的高效推理部署需要至少64顆晶片組成的大規模擴展域架構。這一硬體需求與英偉達GB200/GB300 NVL72等機架級AI系統的設計方向高度匹配。
SemiAnalysis認為,市場此前將線性注意力理解為“削弱GPU需求”的邏輯存在偏差。真正的影響可能恰恰相反:更高效的模型架構降低了AI推理成本,將推動更多應用落地,進而刺激GPU、HBM、DRAM以及網絡基礎設施的長期需求。
無懼線性注意力疊代,英偉達晶片需求依舊堅挺
市場擔憂主要來自Kimi K3採用的Kimi Delta Attention(KDA)機制。
相比傳統Transformer注意力機制,KDA能夠顯著降低KV緩存的數據傳輸需求,最高可減少約10倍的網絡帶寬壓力。這一變化令部分投資者聯想到DeepSeek R1發布後市場對AI硬體需求的擔憂,認為模型效率提升可能降低對高端算力硬體的依賴。
但SemiAnalysis認為,這一判斷忽視了大模型推理中的另一項核心需求——參數規模帶來的計算和互聯壓力。
K3擁有超過2.8萬億參數,其模型權重本身就需要依賴大規模分布式計算系統完成部署。與此同時,K3採用WideEP(Wide Expert Parallelism)優化策略,將896個專家模塊分布到多顆GPU上,使單顆GPU僅需承載部分專家權重,從而提升計算利用率。
不過,WideEP也帶來了新的挑戰:專家之間頻繁的數據交換需要更強大的網絡互聯能力。SemiAnalysis指出,GB200/GB300 NVL72採用的銅背板互聯架構,提供的機架內帶寬達到傳統DGX B200系統的18倍,非常適合這類大規模專家並行推理任務。
換言之,KDA節省的KV緩存通信需求,可能被WideEP帶來的權重交換需求部分抵消,整體AI基礎設施壓力並未明顯下降。
64顆晶片擴展域並非英偉達獨家受益
不過,市場對此也存在不同聲音。知情人士GDP(@bookwormengr)指出,月之暗面提到的“64顆晶片擴展域”並不一定意味著英偉達NVL72方案。華為昇騰950 SuperPod同樣採用64顆晶片配置,並具備類似NVLink的統一總線(UB)內存擴展能力。
從架構能力看,昇騰950 SuperPod可支持跨16個機架擴展至1024顆NPU,在滿足大規模模型推理需求方面同樣具備競爭力。因此,K3帶來的硬體需求增長,並不意味著英偉達將成為唯一受益者,但其對於高端AI互聯繫統的需求強化趨勢仍然明確。
傑文斯悖論:AI效率提升可能推動硬體需求增長
SemiAnalysis進一步援引傑文斯悖論(Jevons' Paradox)解釋AI基礎設施趨勢。
該理論認為,當某項技術提升資源利用效率、降低單位成本後,需求往往不會下降,反而可能因應用範圍擴大而增長。應用到AI領域,線性注意力機制降低推理成本後,可能推動更多企業部署AI應用,使全球AI推理規模進一步擴大,最終帶動GPU、HBM、DRAM以及高速網絡設備需求增長。
不過,GDP對此保持謹慎態度。他認可傑文斯悖論的長期邏輯,但指出,KDA對於長上下文任務中的狀態存儲優化具有現實意義。即使模型權重規模巨大,由於採用4bit量化以及高度稀疏化設計,實際內存壓力可能低於市場直覺。
他認為,真正值得關注的變量在於全球推理需求最大的AI公司——OpenAI、Anthropic以及Google DeepMind——是否已經或未來會採用類似KDA、DeepSeek CSA/HCA等線性注意力方案。如果頭部AI公司大規模採用此類架構,長上下文推理對內存和互聯資源的需求可能出現明顯下降,這將成為影響未來AI硬體需求結構的重要因素。
市場關注點轉向:AI需求增長能否抵消架構效率提升
總體來看,Kimi K3的出現並未簡單指向AI硬體需求下降。對於英偉達而言,真正的競爭焦點可能從“單卡性能”轉向“系統級能力”——包括高速互聯、機架級擴展以及大規模推理優化。
隨著模型規模持續擴大,即使注意力機制不斷優化,AI基礎設施仍面臨參數規模、專家並行、數據交換以及推理吞吐提升帶來的壓力。
未來市場需要關注的核心問題,不是線性注意力是否降低單項資源消耗,而是AI應用規模擴張帶來的新增需求,能否持續超過架構效率提升帶來的資源節省。
資訊來源:華爾街見聞。如有侵權,請聯繫我們刪除。
全新M.CBD國際商務中心火熱招商中 歡迎來電預約參觀
參觀時間:週一~週五 9:00AM~19:00PM(新店) 9:00AM~18:00PM(內湖)
歡迎電洽:02-22199566(新店) 02-26585500(內湖)
新店地址:新店民權路108號10樓
內湖地址:內湖區陽光街321巷8號3樓
M.CBD商務中心專頁
FB粉絲專頁
民權路上租個人工作室2219-9566/北新路租商務中心/北新路上租個人工作室/大坪林捷運站租商務中心/
新店區租商務中心/新北市租商務中心2219-9566/新北市個人工作室/新北市在台辦事處/新店個人工作室/
新店在台辦事處/十四張捷運商務中心2219-9566/十四張捷運站租個人工作室/十四張捷運租在台辦事處/
租商務中心/租個人工作室/租在台辦事處2219-9566/稀有小坪數辦公室/出租商務中心/出租微型辦公室/
出租個人工作室/民權路出租商務中心/民權路上出租商務辦公室2219-9566/出租大坪林捷運站微型辦公室/
出租大坪林捷運站個人工作室/出租民權路小坪數辦公室/出租北新路小坪數辦公室/出租商務中心/
出租微型辦公室/出租個人工作室/出租M.CBD國際商務中心/
|