人類對于算力的追求永無止境，就在近日，我們似乎前進了一大步！位于美國加州的創業公司 Cerebras 發布了號稱全球最大的芯片，而且是專門為 AI 計算打造的。

這款名為 Wafer Scale Engine（WSE）的芯片擁有 1.2 萬億個晶體管，其數量是英偉達最新一代旗艦 GPU Titan V 的 57 倍。它的尺寸已經比一臺 iPad 還要大。

WSE 使用臺積電 16 納米制程工藝打造，面積 46,225 平方毫米，包含 400,000 個核心，片上存儲高達 18G，功耗 1.5 萬瓦（約等于 6 臺電磁爐的功率），內存帶寬 9PB/秒，通信結構帶寬 100PB/秒。該公司表示，僅用一塊這樣的芯片即可驅動復雜的人工智能系統，從無人駕駛汽車到監控系統。

Cerebras 的「暴力美學」引來人們驚呼：WSE 的晶體管數量已經超過人類大腦中的神經元了！

在此之前，其實三星也開發過一款 2 萬億個晶體管的閃存芯片（eUFS），但 Cerebras 的這款芯片是用來進行處理工作的。此外，WSE 還實現了 3000 倍的速度提升以及 10000 倍的存儲帶寬擴展。

這塊芯片面積達到了 46,225 平方毫米，而英偉達 GPU Titan V 的核心面積也「僅有」815 平方毫米。

Cerebras 表示，WSE 可以把處理復雜數據所需的時間從幾個月縮短到幾分鐘。

「AI 模型訓練時間的縮減將會消除這個行業進步的主要瓶頸，」Cerebras 首席執行官、創始人 Andrew Feldman 表示。他是一個芯片行業資深人士，此前曾將自創的一家公司以 3.34 億美元的價格出售給 AMD。

目前，Cerebras 已在向少量用戶提供這種芯片了，不過價格尚未透露。

今天的人工智能系統主要基于深度神經網絡，其高度依賴于強大的計算機算力——大多數公司使用圖形計算單元（GPU）處理 AI 模型訓練的任務。然而顧名思義，GPU 是為了面向圖形計算而設計的，谷歌等公司近年來已經設計出了 TPU 這樣的神經網絡計算專用芯片。

大多數芯片實際上是在一個 12 英寸的硅晶片上集合許多芯片，并在芯片上進行批量加工。但 Cerebras Systems 開發的這款芯片是連接在一個晶片上的單個芯片。互連接的設計是為了讓所有的晶體管都能高速運轉，這樣 1.2 萬億個晶體管就能像一個整體一樣運行。

巨型 AI 芯片真的可行？

芯片的大小在 AI 計算中至關重要，因為芯片越大，處理信息的速度越快，得出答案的時間也就越短。如果可以減少訓練時間，研究者就可以嘗試更多的想法、使用更多的數據去解決新問題。谷歌、Facebook、OpenAI、騰訊、百度以及其他科技巨頭都表示，當今 AI 最大的問題是模型訓練時間過長。減少訓練時間可以克服整個行業的一大瓶頸。

當然，一般芯片廠商不會選擇把芯片造那么大，這是因為，在單個晶片上，制造過程中往往會產生一些瑕疵。如果說一個瑕疵會導致芯片出現故障，那么幾個瑕疵就會導致芯片報廢。如果一個硅晶片上只有一個芯片，那么產生瑕疵的概率幾乎是百分之百，而瑕疵會導致芯片報廢。為了保證成品率，Cerebras 采用了冗余式的設計：如果有的核心出了問題，內部鏈接可以跳過壞掉的核心。這種方法大大降低了芯片的制造成本。

Cerebras Systems 的 CEO Feldman 表示，WSE 芯片著眼于 AI 從頭進行設計，其中包含眾多根本上的創新，通過解決數十年來限制芯片尺寸的問題（如 cross-reticle 連接、成品率、功率輸送、封裝）來提高性能。「每一個架構決策都是為了提高 AI 的性能。因此，WSE 芯片在有限的功耗和空間范圍內，基于工作負載實現了數百甚至數千倍的性能提升。」

這些性能的提升是通過加速神經網絡訓練的每一部分來實現的。一個神經網絡就是一個多級計算反饋回路。輸入在回路中傳遞越快，該回路學習（訓練）的速度就越快。加快輸入傳遞速度可以通過加速回路中的計算和通信來實現。

WSE 的超大體積使其可以搭載更多用于計算的核以及更加接近核的內存，從而核可以高效運轉。由于這個龐大的核陣列和內存都在一個芯片上，因此所有的通信都是在其上進行的，這意味著它的低延遲通信帶寬是巨大的，所以核組的協作效率可以最大化。

這個 46225 平方毫米的硅芯片上有 40 萬個 AI 優化的、無緩存、無開銷的計算核以及 18GB 的本地、分布式、超高速 SRAM 內存，作為內存層次結構的唯一層次。內存帶寬為每秒 9PB。這些核通過一個細粒度的、全硬件的、片上網狀連接的通信網絡連接在一起，提供每秒 100 PB 的總帶寬。更多的核、更多的本地內存和低延遲的高帶寬結構一起構成了加速 AI 工作的最佳架構。

Tirias Research 創始人兼首席分析師 Jim McGregor 在一份聲明中表示：「雖然 AI 在一般意義上得到應用，但沒有兩個數據集或兩項 AI 任務是相同的。新的 AI 工作負載不斷涌現，數據集也持續增大。」

「隨著 AI 的發展，芯片和平臺解決方案也在不斷發展。Cerebras WSE 是半導體和平臺設計領域的一項驚人的工程成就，能夠在單晶片規模的解決方案中提供媲美超級計算機的計算能力、高性能內存和寬帶。」

這種面積的芯片，供電和冷卻都是大問題，看起來水冷是必須的了。

Cerebras 表示，如果沒有與臺積電多年來的緊密合作，公司就不會取得此次破紀錄的成就。

臺積電高級運營副總裁 J.K. Wang 表示：「我們與 Cerebras Systems 合作制造出了 Cerebras Wafer Scale Engine，這是 wafer scale 開發的一個行業里程碑。」

40 萬個 AI 優化的計算核心

WSE 包含 40 萬個 AI 優化的計算核心。該計算核心被稱為稀疏線性代數核（Sparse Linear Algebra Cores，SLAC），它們靈活可編程，并且為支撐所有神經網絡計算的稀疏線性代數進行優化。SLAC 的可編程性確保核心能夠在不斷變化的機器學習領域運行所有神經網絡算法。

由于 SLAC 針對神經網絡計算原語（compute primitives）進行優化，因而實現了業界最佳利用率——通常是 GPU 的 3 至 4 倍。此外，WSE 包含 Cerebras 發明的稀疏捕獲技術，以加速深度學習等稀疏工作負載（包含 0 的工作負載）上的計算性能。

零在深度學習計算中很常見。一般情況下，相乘向量和矩陣中的大多數元素都為零。但是，乘零運算浪費了硅、功率和時間，因為沒有生成任何新信息。

由于 GPU 和 TPU 都是密集型執行引擎——這些引擎在設計時永遠不會考慮零的情況——它們會乘以每個元素（即使元素為零）。當 50-98% 的數據為零時，就像深度學習中常出現的情況，大多數乘法運算是浪費行為。由于 Cerebras 的 SLAC 永遠不會乘以零，因而所有零數據被過濾掉，并可以在硬件中跳過，使得有用功適時適當地完成。

Cerebras 在發布會上表示，使用這種芯片處理人工智能負載時，單個芯片可以承載整個神經網絡的運算。

18GB 的片上內存

內存是計算機架構的關鍵組件。內存越接近計算，計算速度越快，延遲越低，數據移動的功率效率也越高。高性能深度學習需要大量計算和頻繁的數據訪問。這就要求計算核心與內存之間極為接近，但在 GPU 中卻并非如此，GPU 的絕大多數內存運行速度很慢，并且遠離芯片。

WSE 包含了較迄今為止最多的內核和本地內存，并在一個時鐘周期內擁有 18GB 的片上內存。WSE 核心本地內存的集合提供了每秒 9PB 的內存寬帶——是當前最好 GPU 的片上內存的 3000 倍，內存寬帶擴展了 10000 倍。

高帶寬、低延遲的通信結構

在芯片面積巨大的情況下，如何保證高速內部通信也是一個巨大挑戰。WSE 上所使用的處理器間通信結構被稱為 Swarm，與傳統通信技術相比，它以非常小的功耗實現了帶寬和延遲的突破。

Swarm 提供了一個低延遲、高寬帶的 2D 網格，它連接了 WSE 上的 40 萬個核心，寬帶每秒達 100PB。此外，Swarm 支持單字節活躍消息，這些消息可以通過接收核心來處理，并且不需要任何軟件開銷。

路由、可靠的消息傳遞以及同步均在硬件中處理。消息自動激活每個到達消息的應用處理程序。Swarm 為每個神經網絡提供獨特和優化的通信路徑。基于運行中特定用戶定義的神經網絡，軟件將通過 40 萬個核心來配置最優通信路徑，以連接處理器。

通常情況下，消息會遍歷一個具有納秒延遲的硬件鏈接。一個 Cerebras WSE 的聚合寬帶為每秒 100PB。TCP/IP 和 MPI 等通信軟件則不再需要，因而可以避免性能損失。同時，這種架構的通信能量成本遠低于 1 皮焦耳/比特，幾乎比 GPU 低了 2 個數量級。Swarm 通信架構融合了極大的寬帶和極低的延遲，使得 Cerebras WSE 能夠以較當前任何可用解決方案更快的速度學習。