擴大 XPU 互連域：消息稱 FuriosaAI 探索 16 卡服務器託盤設計

韓國AI晶片新創公司FuriosaAI近期在業界傳出正在探索一款全新設計的伺服器托盤，目標是容納多達16張加速卡，藉此大幅擴展XPU互連域的規模。根據曝光的技術資料，這款托盤採用雙層主機板的「三明治」結構，每一層主機板各自配置8條PCIe插槽，總計可插入16張加速卡。兩塊主機板不僅共享同一組散熱器，還透過高密度的卡間互連設計，在單一托盤內形成一個強大且統一的XPU互連域，以滿足大型人工智慧模型在訓練與推理階段對於運算效能與頻寬的嚴苛需求。 FuriosaAI成立於韓國，專注於開發高效能AI加速晶片，過去已推出基於自家架構的產品，並逐步在市場上建立聲譽。此次流出的16卡托盤設計，顯示該公司正從單一晶片方案跨入系統級整合領域，企圖透過硬體架構的創新來提升整體運算密度。傳統AI伺服器通常僅支援4至8張加速卡，而16卡托盤的出現，意味著可以在同一機箱內塞入更多運算單元，減少跨節點通訊的延遲，從而加速模型訓練與推論速度。 這款托盤的雙層主機板結構是設計上的最大亮點。兩層主板各自獨立運作，但透過共享的散熱器與統一的互連匯流排，讓所有16張卡能夠協同工作。共享散熱器不僅有助於節省空間，還能簡化氣流設計，降低因多卡並排運作產生的熱量堆積問題。不過，要同時驅動16張高功耗的加速卡，供電與散熱系統的挑戰不容小覷，FuriosaAI如何解決這些工程難題，將是該設計能否從概念走向量產的關鍵。 從技術層面來看，XPU互連域的概念在近年AI基礎設施中越來越受到重視。所謂XPU，泛指不同類型的處理單元，包括GPU、NPU、FPGA等。FuriosaAI的加速卡屬於NPU（神經網路處理器），專為AI運算最佳化。透過高密度的卡間互連，單一托盤內的所有NPU可以共享記憶體與運算資源，形成統一的運算池，從而提升大型模型參數更新的效率。這種架構特別適合需要大量平行運算的Transformer類模型，例如GPT、BERT等。 目前FuriosaAI尚未公布這款16卡托盤設計的量產時程，也未透露是否已有客戶進行測試。但從該公司積極探索高密度AI基礎設施解決方案的動作來看，顯然希望在NVIDIA、AMD等巨頭主導的市場中，找到差異化的切入點。NVIDIA長期以來憑藉NVLink與HGX平台，建立起強大的多卡互連生態；而FuriosaAI若能在標準PCIe架構上實現類似的密度與效能，就有可能提供更具成本效益的替代方案。 值得注意的是，這款托盤設計並非僅是硬體規格的堆疊，更反映了AI晶片新創在系統層面的思維轉變。過去許多新創公司只專注於晶片本身，但隨著AI應用規模快速膨脹，客戶越來越需要完整的硬體方案，包括伺服器主機板、機箱、散熱、電源管理，以及與軟體框架的整合。FuriosaAI的16卡托盤探索，正是因應這股「從晶片到系統」的趨勢，試圖提供從底層到上層的整體解決方案。 在市場競爭方面，FuriosaAI並非唯一瞄準高密度多卡伺服器的廠商。包括中國的壁仞科技、寒武紀，以及美國的Cerebras、SambaNova等AI晶片新創，都曾推出類似的大規模互連設計。然而，FuriosaAI選擇的雙層主板「三明治」結構，在空間利用與散熱效率上具有獨特優勢，可能成為其差異化競爭的武器。此外，韓國政府近年積極扶植半導體產業，FuriosaAI也有機會獲得國內供應鏈的支持，加速產品落地。 對於大型AI模型的訓練者而言，單一托盤內支援16張卡，意味著可以減少跨伺服器節點的資料傳輸，降低網路頻寬瓶頸。例如，訓練一個擁有數千億參數的語言模型，通常需要上百張GPU協同運算；若採用FuriosaAI的16卡托盤，每個托盤就能提供相當於以往兩倍以上的運算密度，有助於簡化叢集架構，並縮短模型訓練時間。這對於雲端服務提供商、大型科技公司以及學術研究機構來說，都具有顯著吸引力。 不過，這項設計若要真正商品化，還有許多細節需要克服。除了散熱與供電，PCIe插槽的頻寬分配、卡間通訊延遲、軟體驅動程式的優化，都是影響最終效能的關鍵因素。FuriosaAI雖然在晶片架構上已有一定經驗，但系統級整合能力仍需要時間驗證。業界普遍預期，該公司可能會先與特定合作夥伴進行概念驗證，再逐步開放給更多客戶。 總體而言，FuriosaAI的16卡伺服器托盤設計，展現出韓國AI晶片新創在硬體創新上的企圖心。儘管距離量產可能還有一段距離，但這項探索已經為高密度AI運算基礎設施提供了一個新的思考方向。隨著全球AI算力需求持續攀升，類似的高密度互連方案將成為各大廠商競逐的重點，而FuriosaAI能否在競爭中脫穎而出，值得持續關注。