Home 综合新闻 Apple 與 Nvidia 的 DGX 盒子較量,展示了適用於 Mac 的 Thunderbolt 5 硬件,可與萬億參數 AI...

Apple 與 Nvidia 的 DGX 盒子較量,展示了適用於 Mac 的 Thunderbolt 5 硬件,可與萬億參數 AI 模型協同工作

139
0
Apple 與 Nvidia 的 DGX 盒子較量,展示了適用於 Mac 的 Thunderbolt 5 硬件,可與萬億參數 AI 模型協同工作

蘋果無意讓英偉達等競爭對手在人工智能競賽中取得領先。為了保持競爭力,它使現有的支持 Thunderbolt 5 的 Mac 能夠作為更先進的“AI 集群”進行通信,以處理串聯 AI 模型,類似於 Nvidia 最近發布的 DGX 產品。

蘋果對 Nvidia DGX 有何反應?當然是麥克

這對 Apple 來說並不是未知領域,但這是它第一次使用 Thunderbolt 5。此功能將隨 macOS 26.2 一起提供,該版本目前處於測試階段,並使用 Apple 的開源 AI 套件框架(稱為 MLX)。它基本上是一個應用程序編程接口(API),允許開發人員創建或測試和迭代具有新特性和功能的新人工智能模型。

蘋果公司並非獨自實現了這一目標;我們與開發商 Exo Labs 合作,使用 MLX API 創建串聯 AI 處理功能。該工具被稱為 EXO 1.0,可以支持多達四台 Thunderbolt 5 Mac Studio 台式機或兩台運行相同 AI 模型的 MacBook Pro 筆記本電腦,其規模可能比它自己處理的要大得多:最多 1 萬億個參數。 Thunderbolt 5 連接允許系統作為單個系統運行,將其統一內存集中到 AI 模型可以利用的單個資源中。

(圖片來源:Brian Westover/PCMag)

在最近的一次網絡演示中,Apple 產品團隊的成員向我們展示了四台配備 M3 Ultra 的 Mac Studio 台式機,它們將資源集中在一起運行一個名為 Kimi-K2-Thinking 的 1 萬億參數模型,它們之間的功耗不到 500 瓦 (W),這明顯低於 AI 堆棧中單個傳統 GPU 的功耗:最高 700 瓦。

對於那些記分的人來說,Nvidia 的 DGX Spark 盒子在峰值負載下的額定功率高達 240W,但像 John Carmack 這樣的知名開發人員卻在抱怨,懷疑在發布之前性能會下降。連接與 Apple Mac Studio 演示相同數量的 DGX Spark 系統理論上可以達到 960 瓦,但這不太可能。無論如何,蘋果的解決方案可能在這方面具有優勢,特別是對於有興趣運行多個集群的開發人員而言。至於生產率,現在下這樣的結論還為時過早。

Apple 正在向 MLX 提供首個 M5 芯片訪問權限

然而,蘋果卻很高興地在數字屋頂上大肆宣揚其 M5 芯片的 AI 能力 最近的博客文章。 MacOS 26.2 使開發人員能夠通過 MLX 訪問 M5 的新型神經加速器,同時還提高了 AI 工作負載的內存效率。這使得首個令牌時間 (TTFT) 指標(表單在提示後生成第一個信息的速度)變得更加重要,因為它與計算相關,而 Apple 的 M5 擁有強大的計算能力。

M5 一代 Apple 處理器最重要的升級是每個 GPU 核心中的神經加速器,這顯著提升了 AI 性能,正如我們在 M5 MacBook Pro 14 的評測中發現的那樣。

MacBook Pro 14 英寸(2025 年,M5)

(圖片來源:Brian Westover/PCMag)

蘋果的博客文章稱:“M5 芯片提供專用的矩陣乘法運算,這對於許多機器學習工作負載至關重要。” “MLX 利用張量運算 (TensorOps) 和 Metal 4 提供的 Metal Performance Primitives 框架來支持神經加速器功能。”

M5 AI 計算能力的這些進步意味著大多數大型語言模型 (LLM) 的 TTFT 已顯著減少。蘋果在阿里雲開發的法學碩士軟件 Qwen 上評估其 M5 設備時,發現 M5 的 TTFT 評級(以秒為單位)比 M4 同類產品快四倍。

由我們的編輯推薦

不同型號的 Apple TTFT 圖表,M4 與 M5。

(來源:蘋果)

正如該文章所解釋的,第一個令牌需要高計算能力,而所有後續令牌的推理工作負載的性能更加依賴於內存。這意味著 4 倍的性能提升無法轉移到整個路由器,但與 M4 設備相比,Apple 在 M5 的不同型號中仍然看到整體 LLM 性能提高了 19% 到 27%,這要歸功於更大的內存帶寬。

該文章強調,這些性能改進擴展到圖像和文本生成。當使用 MLX 創建具有 FLUX-dev-4bit(12B 參數)的 1024 x 1024 圖像時,Apple 發現 M5 硬件的性能比 M4 替代品快 3.8 倍。

對於任何在 macOS 上利用 Apple Intelligence 功能的人以及想要在 Mac 上開發 AI 的人來說,這都是令人興奮的消息。但是,如果您確實想在 MacBook 上加速這些類型的工作負載,那麼使用外部 RTX 顯卡可能會產生最佳結果。至少在我們看到兩台 M5 MacBook Pro 筆記本電腦如何協同工作之前是這樣。

關於我們的專家



來源連結