[谷歌] 谷歌憋了拾年的大招,讓英偉達好日子到頭了?
於是，電費大半沒花在算數上，全花在送快遞的路費上了。最後變成熱量，還得拜托風扇吹壹吹。
這在做圖形渲染時沒毛病，因為畫面高度隨機，要啥素材沒法預料，只能回顯存現取。
但 AI 的矩陣運算，每個數怎麼算，和誰算，算幾次都是固定的。我明知道這個數算完了，壹會兒還要接著用，GPU 硬是得把它存回去，等著別人再取進計算單元，這不純純浪費嗎？
所以，作為壹個 AI 專屬工具人，TPU 就這樣出生了。它把 GPU 那些用不上的圖形、控制流、調度模塊等等拆的拆，壓的壓。
核心思路，是專門對 AI 最常用的矩陣乘法做優化，搞了壹個叫 “ 脈動陣列 ” 的方法。
用上這壹招，每個數據壹旦開算，就會在密集排列的計算單元之間傳遞，沒用完不許回存儲單元。這樣，就不需要頻繁讀寫了。
就這樣，TPU 每個周期的計算操作次數達到了數拾萬量級，是 GPU 的近拾倍。初代 TPU v1 能效比達到同時期 NVIDIA Tesla K80 的 30 倍，性價比極高。
當然，最開始谷歌也是邊緣試探，沒玩那麼大。TPU 也還只搞推理，不會訓練，功能單壹，完全沒法和 GPU 比。
從第贰代起，谷歌才開始往內存上堆料，提升容量和數據傳輸速度，讓 TPU 能壹邊計算，壹邊快速記錄和修改海量的中間數據（比如梯度和權重），自此點亮了訓練的技能樹。
隨著 TPUv3 規模增加，模型訓練速度提升
但這麼多年以來，明明用 TPU 訓練推理的成本更低，性能也和 GPU 不相上下，為啥巨頭們還非得去搶英偉達的芯片呢？
[物價飛漲的時候 這樣省錢購物很爽]
好新聞沒人評論怎麼行，我來說幾句
這在做圖形渲染時沒毛病，因為畫面高度隨機，要啥素材沒法預料，只能回顯存現取。
但 AI 的矩陣運算，每個數怎麼算，和誰算，算幾次都是固定的。我明知道這個數算完了，壹會兒還要接著用，GPU 硬是得把它存回去，等著別人再取進計算單元，這不純純浪費嗎？
所以，作為壹個 AI 專屬工具人，TPU 就這樣出生了。它把 GPU 那些用不上的圖形、控制流、調度模塊等等拆的拆，壓的壓。
核心思路，是專門對 AI 最常用的矩陣乘法做優化，搞了壹個叫 “ 脈動陣列 ” 的方法。
用上這壹招，每個數據壹旦開算，就會在密集排列的計算單元之間傳遞，沒用完不許回存儲單元。這樣，就不需要頻繁讀寫了。
就這樣，TPU 每個周期的計算操作次數達到了數拾萬量級，是 GPU 的近拾倍。初代 TPU v1 能效比達到同時期 NVIDIA Tesla K80 的 30 倍，性價比極高。
當然，最開始谷歌也是邊緣試探，沒玩那麼大。TPU 也還只搞推理，不會訓練，功能單壹，完全沒法和 GPU 比。
從第贰代起，谷歌才開始往內存上堆料，提升容量和數據傳輸速度，讓 TPU 能壹邊計算，壹邊快速記錄和修改海量的中間數據（比如梯度和權重），自此點亮了訓練的技能樹。
隨著 TPUv3 規模增加，模型訓練速度提升
但這麼多年以來，明明用 TPU 訓練推理的成本更低，性能也和 GPU 不相上下，為啥巨頭們還非得去搶英偉達的芯片呢？
[物價飛漲的時候 這樣省錢購物很爽]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 | 更多... |
推薦: