蘋果無意讓英偉達等競爭對手在人工智能競賽中取得領先。為了保持競爭力,它使現有的支持 Thunderbolt 5 的 Mac 能夠作為更先進的“AI 集群”進行通信,以處理串聯 AI 模型,類似於 Nvidia 最近發布的 DGX 產品。
蘋果對 Nvidia DGX 有何反應?當然是麥克
這對 Apple 來說並不是未知領域,但這是它第一次使用 Thunderbolt 5。此功能將隨 macOS 26.2 一起提供,該版本目前處於測試階段,並使用 Apple 的開源 AI 套件框架(稱為 MLX)。它基本上是一個應用程序編程接口(API),允許開發人員創建或測試和迭代具有新特性和功能的新人工智能模型。
蘋果公司並非獨自實現了這一目標;我們與開發商 Exo Labs 合作,使用 MLX API 創建串聯 AI 處理功能。該工具被稱為 EXO 1.0,可以支持多達四台 Thunderbolt 5 Mac Studio 台式機或兩台運行相同 AI 模型的 MacBook Pro 筆記本電腦,其規模可能比它自己處理的要大得多:最多 1 萬億個參數。 Thunderbolt 5 連接允許系統作為單個系統運行,將其統一內存集中到 AI 模型可以利用的單個資源中。
(圖片來源:Brian Westover/PCMag)
在最近的一次網絡演示中,Apple 產品團隊的成員向我們展示了四台配備 M3 Ultra 的 Mac Studio 台式機,它們將資源集中在一起運行一個名為 Kimi-K2-Thinking 的 1 萬億參數模型,它們之間的功耗不到 500 瓦 (W),這明顯低於 AI 堆棧中單個傳統 GPU 的功耗:最高 700 瓦。
對於那些記分的人來說,Nvidia 的 DGX Spark 盒子在峰值負載下的額定功率高達 240W,但像 John Carmack 這樣的知名開發人員卻在抱怨,懷疑在發布之前性能會下降。連接與 Apple Mac Studio 演示相同數量的 DGX Spark 系統理論上可以達到 960 瓦,但這不太可能。無論如何,蘋果的解決方案可能在這方面具有優勢,特別是對於有興趣運行多個集群的開發人員而言。至於生產率,現在下這樣的結論還為時過早。
Apple 正在向 MLX 提供首個 M5 芯片訪問權限
然而,蘋果卻很高興地在數字屋頂上大肆宣揚其 M5 芯片的 AI 能力 最近的博客文章。 MacOS 26.2 使開發人員能夠通過 MLX 訪問 M5 的新型神經加速器,同時還提高了 AI 工作負載的內存效率。這使得首個令牌時間 (TTFT) 指標(表單在提示後生成第一個信息的速度)變得更加重要,因為它與計算相關,而 Apple 的 M5 擁有強大的計算能力。
M5 一代 Apple 處理器最重要的升級是每個 GPU 核心中的神經加速器,這顯著提升了 AI 性能,正如我們在 M5 MacBook Pro 14 的評測中發現的那樣。
獲取我們最好的故事!
喜歡蘋果的一切?
點擊“註冊我”,即表示您確認您已年滿 16 歲並同意我們的使用條款和隱私政策。
感謝您註冊!
您的訂閱已被確認。請留意您的收件箱!
(圖片來源:Brian Westover/PCMag)
蘋果的博客文章稱:“M5 芯片提供專用的矩陣乘法運算,這對於許多機器學習工作負載至關重要。” “MLX 利用張量運算 (TensorOps) 和 Metal 4 提供的 Metal Performance Primitives 框架來支持神經加速器功能。”
M5 AI 計算能力的這些進步意味著大多數大型語言模型 (LLM) 的 TTFT 已顯著減少。蘋果在阿里雲開發的法學碩士軟件 Qwen 上評估其 M5 設備時,發現 M5 的 TTFT 評級(以秒為單位)比 M4 同類產品快四倍。
由我們的編輯推薦
(來源:蘋果)
正如該文章所解釋的,第一個令牌需要高計算能力,而所有後續令牌的推理工作負載的性能更加依賴於內存。這意味著 4 倍的性能提升無法轉移到整個路由器,但與 M4 設備相比,Apple 在 M5 的不同型號中仍然看到整體 LLM 性能提高了 19% 到 27%,這要歸功於更大的內存帶寬。
該文章強調,這些性能改進擴展到圖像和文本生成。當使用 MLX 創建具有 FLUX-dev-4bit(12B 參數)的 1024 x 1024 圖像時,Apple 發現 M5 硬件的性能比 M4 替代品快 3.8 倍。
對於任何在 macOS 上利用 Apple Intelligence 功能的人以及想要在 Mac 上開發 AI 的人來說,這都是令人興奮的消息。但是,如果您確實想在 MacBook 上加速這些類型的工作負載,那麼使用外部 RTX 顯卡可能會產生最佳結果。至少在我們看到兩台 M5 MacBook Pro 筆記本電腦如何協同工作之前是這樣。
關於我們的專家
喬·奧斯本
副總編輯,設備
專業知識
十多年前,我以實習生的身份在 PCMag 開始了我的職業生涯,現在我又回到了該公司,擔任編輯之一,專注於筆記本電腦、台式機和組件管理。憑藉 15 年的經驗,我曾在技術評論出版物上工作過並發表過文章,包括 PCMag(當然!)、筆記本電腦雜誌、Tom’s Guide、TechRadar 和 IGN。在此過程中,我測試和審查了數百台筆記本電腦,並幫助開發了測試協議。我有使用最新工具測試各種形式的筆記本電腦和台式機的經驗。我還精通視頻遊戲硬件和軟件。
閱讀完整的傳記
約翰·馬丁代爾
貢獻者
專業知識
John Martindale 是一位來自英國的科技記者,擁有 20 年報導各類計算機組件和相關小工具的經驗。他曾為一系列出版物撰稿,包括 ExtremeTech、Digital Trends、福布斯、美國新聞與世界報導、Lifewire 等。當他不寫作時,他是一名遊戲玩家和讀者,並且有快速閱讀長篇漫畫史詩的特殊習慣。
約翰介紹了最新的計算機組件,以及從如何截屏到如何設置自己的加密貨幣錢包等各個方面的操作指南。他特別喜歡CPU和GPU領域頂級科技巨頭之間的戰鬥,並儘力不選邊站隊。
Jon 的遊戲 PC 圍繞流行的 7950X3D CPU 構建,並有 7900XTX 支持它。這就是它玩輕量級獨立遊戲和休閒遊戲以及要求更高的模擬遊戲(例如《坎巴拉太空計劃》)所需的全部功能。他使用一對 Jabra Active 8 耳塞和一個 SteelSeries Arctis Pro 無線耳機,並整天在 Logitech G915 機械鍵盤上打字。
閱讀完整的傳記











