模擬計算機比數字計算機耗電量更少
MetamorWorks/蓋蒂圖片社
能夠快速求解訓練人工智能模型中使用的關鍵方程的模擬計算機可以為因人工智能蓬勃發展而導致數據中心能源消耗不斷上升的問題提供潛在的解決方案。
筆記本電腦、智能手機和其他熟悉的設備被稱為數字計算機，因為它們將數據存儲和處理為一系列 0 或 1 二進制數字，並且可以通過編程來解決各種問題。相比之下，模擬計算機通常是為了解決特定問題而設計的。它們使用連續可變的量（例如電阻）而不是離散的 0 和 1 來存儲和處理數據。
模擬計算機在速度和能效方面表現出色，但缺乏數字計算機的精度。現在， 張孫 在中國北京大學，他和他的同事創建了一對模擬芯片，它們協同工作來精確求解矩陣方程——這是通過電信網絡發送數據、運行大型科學模擬或訓練人工智能模型的基本部分。
第一個芯片為矩陣計算提供了更快的低精度解決方案，而第二個芯片則運行迭代細化算法來分析第一個芯片的錯誤率並提高準確性。他說，第一個芯片產生的結果的錯誤率約為 1%，但在第二個芯片的三個週期後，錯誤率下降到 0.0000001%——與標準數字計算的精度相匹配。
到目前為止，研究人員已經設計出可以解決 16 x 16 矩陣或 256 個變量的芯片，這些芯片可用於解決一些小問題。但 Sun 承認，解決當今大型人工智能模型中使用的問題將需要更大的電路，可能是數百萬個。
但模擬芯片相對於數字芯片的一個優勢是，大型矩陣不需要太多時間來求解，而數字芯片則隨著矩陣大小的增加而呈指數級增長。這意味著 32 x 32 矩陣芯片的吞吐量（每秒處理的數據量）大於 Nvidia H100 GPU（當今用於訓練人工智能的高端芯片之一）。
Sun表示，從理論上講，進一步擴大規模將使GPU等數字芯片的功耗比GPU等數字芯片低1000倍。但他很快指出，現實世界的任務偏離了其電路最窄的能力範圍，並導致了微小的收益。
“這只是速度上的比較，對於實際應用，問題可能會有所不同，”孫說。 “我們的芯片只能做矩陣計算。如果矩陣計算佔據了大部分計算工作，則代表問題的加速非常顯著，但如果不是，則加速有限。”
因此，Sun 表示，最有可能的結果是創建混合芯片，其中 GPU 包含一些模擬電路來處理問題的特定部分，但即便如此，這也可能需要幾年的時間。
詹姆斯·米倫 倫敦國王學院表示，矩陣計算是訓練人工智能模型的關鍵過程，而模擬計算提供了潛在的推動力。
“現代世界建立在數字計算機的基礎上。這些令人驚嘆的機器是通用計算機，這意味著它們可以用來計算任何東西，但並不是所有東西都可以有效或快速地計算，”米倫說。 “模擬計算機是為特定任務而設計的，因此速度更快、效率更高。這項工作使用模擬計算芯片來加速稱為矩陣求逆的過程，這是訓練某些人工智能模型的關鍵過程。提高其效率將有助於減少我們對人工智能日益增長的依賴所帶來的巨大電力需求。”
專案:
