來自斯坦福大學、卡內基梅隆大學、賓夕法尼亞大學和麻省理工學院的工程師與美國最大的純半導體代工廠 SkyWater Technology 合作。創造新的多層計算機芯片該團隊表示，該架構可能是人工智能硬件的重大變革，並加強該國的半導體創新。
與當今大多數芯片（大多是平面和 2D）不同，該原型的高度更高。這些超薄部件像高層建築的地板一樣堆疊在一起。垂直佈線的工作原理就像許多快速電梯一樣，可以快速傳輸大量數據。具有創紀錄的垂直連接數量和緊密編織的模型，將內存和處理器緊密地放置在一起。因此，這種設計避免了限制扁平芯片進展的放緩。在硬件測試和模擬中，3D 芯片比 2D 芯片高出大約一個數量級。
研究人員此前已在學術實驗室中創建了實驗性 3D 芯片。但該團隊表示，這是第一次在商業代工廠中實現並生產如此明顯的性能改進。斯坦福大學電氣工程教授兼計算機科學教授 Subhasish Mitra 表示：“這打開了芯片製造和創新新時代的大門。”在第 71 屆 IEEE 國際電子設備年會 (IEDM) 上發表的一篇描述該芯片的新論文的首席研究員表示：“通過這樣的進步，我們將實現未來人工智能係統所需的 1,000 倍硬件性能改進。”
為什麼扁平芯片在現代人工智能面前舉步維艱？
ChatGPT 和 Claude 等大型人工智能模型持續在內存中傳輸大量數據。存儲信息和處理這些數據的處理器
在典型的 2D 芯片上，所有內容都位於單個表面上。並且內存是有限的並且是分佈式的。因此，信息被迫通過小路徑。又長又密的計算機部件的運行速度比它們傳輸數據的速度快得多。而且芯片無法容納足夠的附近內存。結果就是頻繁的等待。工程師將這個問題稱為“內存牆”，處理速度超過了芯片輸入數據的能力。
多年來，芯片製造商通過縮小晶體管尺寸對內存牆施加壓力。這是一個管理計算和數據存儲的小型開關，並且另外封裝在每個芯片上，但研究人員表示，這種方法已接近達到其所謂的物理極限。 “牆縮小了”
新設計旨在通過提高高度來克服這兩個限制。 “通過垂直整合內存和計算，我們可以更快地傳輸更多數據。就像高層建築中的電梯組一樣，允許許多居住者同時在樓層之間移動，”該論文的資深作者、卡內基梅隆大學電氣和計算機工程助理教授 Tathagata Srimani 說。他開始在米特拉的指導下擔任博士後研究員，說
賓夕法尼亞大學電氣與系統工程系助理教授、該研究的合著者羅伯特·M·拉德韋（Robert M. Radway）表示：“內存牆和微型牆形成了致命的組合，”“我們通過緊密集成內存和邏輯來正面攻擊它。然後以非常高的密度構建它。這就像計算領域的曼哈頓。我們可以在更小的空間內容納更多的人。”
如何生產單片 3D 芯片
之前的許多 3D 芯片研究都採取了更簡單的路線，即堆疊單獨的芯片。這會有幫助。但層之間的鏈接通常很粗糙，數量有限，並且可能成為瓶頸。
該團隊採取了不同的方法。他們不是構建單獨的芯片並將它們焊接在一起，而是以單個連續流程直接在前一層之上構建每個新層。這種方法被稱為“單片”3D 集成，使用足夠低的溫度以避免損壞下面構建的電路。這使得打包不同樓層成為可能。更緊密並在不同層之間創建更密集的連接。
研究人員表示，關鍵在於整個過程是在該國的商業矽鑄造廠進行的。 “將尖端學術概念轉化為商業工廠可以建造的東西是一個巨大的挑戰，”合著者、SkyWater Technology 技術開發運營副總裁 Mark Nelson 說。 “這表明這些先進的架構不僅僅發生在實驗室中。而且還可以在國內大規模生產。這正是美國保持在半導體創新前沿所需要的。”
性能提升以及人工智能硬件的下一步發展
在早期的硬件測試中，該原型的性能比同類 2D 芯片高出約四倍。該團隊的模擬顯示，隨著設計變得越來越大，內存和處理的嵌套層越來越多，帶來的好處甚至更大。更多級別的模型顯示真實 AI 工作負載提高了 12 倍，其中包括源自 Meta 開源 LLaMA 模型的工作負載。
研究人員還強調長期回報。他們表示，該架構提供了一條將能量延遲乘積 (EDP) 提高 100 至 1,000 倍的有用途徑，這是一個結合了速度和功效的指標。通過減少數據傳輸時間並創建更多垂直移動路徑，該芯片可以提高吞吐量，同時降低每次操作的功耗。這是傳統扁平化設計難以實現的組合。
該團隊表示，這項工作的重要性不僅僅在於速度。通過展示單片 3D 芯片可以在美國製造。他們認為，這是該國硬件創新新時代的藍圖。最先進的芯片可以在美國本土設計和製造。
他們還表示，向垂直和整體 3D 集成的過渡將需要接受過這些方法培訓的新一代工程師。這類似於 20 世紀 80 年代集成電路的繁榮是由在美國實驗室學習芯片設計和製造的學生推動的。通過合作和資助工作，包括微電子共享加州-太平洋-西北人工智能硬件中心 (Northwest-AI-Hub)，學生和研究人員準備推動美國半導體創新向前發展。
“這樣的進步絕對與效率有關，”H.-S 說。菲利普·王 (Philip Wong)，斯坦福大學工程學院 Willard R. 和 Inez Kerr Bell 教授，也是該研究的首席研究員。 Northwest-AI-Hub “但這也與人才有關。如果我們能夠製造出先進的 3D 芯片，我們就能更快地創新、更快地做出反應並塑造人工智能硬件的未來。”
該研究在斯坦福大學工程學院、卡內基梅隆大學工程學院、賓夕法尼亞大學工程與應用科學學院和麻省理工學院進行，所有製造均在 SkyWater Technology 位於明尼蘇達州布盧明頓的鑄造廠完成。支持活動得到了國防高級研究計劃局、美國國家科學基金會研究獎學金計劃、三星、斯坦福 Precourt 能源研究所、斯坦福 SystemX 聯盟、戰爭部微電子公共人工智能硬件中心、美國能源部和半導體未來計劃的支持。美國國家科學基金會 (2425218)
斯坦福大學的其他合著者包括 Suhying Choi、Samuel Dayo、Andrew Bechdolt、Shengman Li、Dennis T. Rich 和 RH Yang，還有來自卡耐基梅隆大學和麻省理工學院的其他作者。
