[谷歌] 壹文讀懂谷歌TPU:英偉達暴跌跟它有關
谷歌的路線與英偉達不同。谷歌並不追求硬件通用性，而是追求深度學習特別是Transformer負載的極致效率。TPU的核心是脈動陣列，這是壹種專門為矩陣乘法設計的架構，使其在深度學習計算中特別高效。
谷歌不是希望TPU成為行業通用芯片，而是成為全球AI推理和訓練最具效能的專用芯片，進而讓谷歌整個AI系統做到性能領先、成本最低、部署最廣。
谷歌的核心優勢在於全棧整合能力。他們不僅控制芯片，還控制模型、框架、編譯器、分布式訓練系統與數據中心基礎設施。這讓谷歌可以做出許多GPU無法實現的系統級優化。
例如數據中心網絡拓撲完全為TPU超節點服務，軟件層面的調度系統能根據模型特性自動調整硬件資源的使用方式。這種“系統級壹體化”是英偉達無法做到的，因為英偉達只能控制GPU，而不能控制客戶的數據中心。
亞馬遜則走了第叁條路線，其芯片戰略出發點是降低AWS的基礎設施成本，同時減少對外部供應商尤其是英偉達的依賴，因此他們開發了Trainium和Inferentia。
作為雲廠商，AWS關注的是規模效應與經濟性，而非像谷歌那樣構建壹個統壹的AI算力體系。
Trainium的設計更靈活，在不少情況下接近GPU的適配能力，但性能針對訓練和推理分別做了優化。Inferentia則聚焦推理，適合高吞吐部署場景。亞馬遜通過芯片降低內部成本並將節省部分反饋給客戶，從而提升AWS的競爭力。
總體而言，英偉達的路線是通用、生態驅動、軟件鎖定；谷歌的路線是專用、垂直整合、系統統壹；亞馬遜的路線是成本優化、雲驅動、兼容商業需求。叁者的路線差異導致了AI芯片市場中出現了截然不同的產品形式、商業策略與競爭格局。
04 利用TPU，告別昂貴的“CUDA稅”
谷歌之所以能夠在推理時代獲得顯著優勢，關鍵並不僅僅在於TPU的硬件性能，更在於其全棧垂直整合策略。
這種策略讓谷歌避免了昂貴的“CUDA稅”，並在成本結構上相對於OpenAI和其他依賴GPU的企業形成了巨大優勢。
所謂CUDA稅，是指GPU芯片從生產到銷售過程中所疊加的高額利潤。
英偉達的GPU成本大約僅幾千美元，但賣給雲廠商時價格往往動輒數萬美元不等，毛利率高達八成以上。全球所有訓練大模型的科技公司幾乎都要支付這項成本，並且無法擺脫。
OpenAI依賴英偉達GPU進行訓練和推理，且由於GPT系列模型參數規模巨大、推理量龐大，其總體算力開支遠超大多數企業的總營收。
英偉達的定價模式使這些公司無論怎麼優化模型，都難以實現規模化商業利潤。
谷歌的策略完全不同。谷歌采用自研TPU進行訓練和推理，整個供應鏈由谷歌控制，從芯片設計到制造、從網絡方案到軟件棧再到數據中心布局，全部由谷歌內部優化。
由於不需要支付英偉達稅，谷歌的算力成本結構天生比OpenAI更具優勢。
谷歌不僅在內部獲得低成本，還將這種成本優勢傳遞給谷歌雲的客戶。通過TPU服務，谷歌可以為客戶提供更低價格的推理能力，從而吸引大量模型公司和企業遷移到谷歌平台。
根據科技網站venturebeat.com的報道，谷歌在算力成本上的結構性優勢遠遠優於OpenAI。這意味著，谷歌提供同等推理服務時，其底層成本可能僅為對手的兩成。如此大的成本差異在推理時代具有決定性意義。
當企業的推理成本占到其支出的大部分時，遷移到成本最低的平台就成為必然選擇。例如，壹個企業每年可能在推理上消耗數千萬美元甚至上億美元，如果遷移到TPU可以節省叁到伍成成本，那麼遷移幾乎是壹種不可回避的商業決策。
[加西網正招聘多名全職sales 待遇優]
這條新聞還沒有人評論喔，等著您的高見呢
谷歌不是希望TPU成為行業通用芯片，而是成為全球AI推理和訓練最具效能的專用芯片，進而讓谷歌整個AI系統做到性能領先、成本最低、部署最廣。
谷歌的核心優勢在於全棧整合能力。他們不僅控制芯片，還控制模型、框架、編譯器、分布式訓練系統與數據中心基礎設施。這讓谷歌可以做出許多GPU無法實現的系統級優化。
例如數據中心網絡拓撲完全為TPU超節點服務，軟件層面的調度系統能根據模型特性自動調整硬件資源的使用方式。這種“系統級壹體化”是英偉達無法做到的，因為英偉達只能控制GPU，而不能控制客戶的數據中心。
亞馬遜則走了第叁條路線，其芯片戰略出發點是降低AWS的基礎設施成本，同時減少對外部供應商尤其是英偉達的依賴，因此他們開發了Trainium和Inferentia。
作為雲廠商，AWS關注的是規模效應與經濟性，而非像谷歌那樣構建壹個統壹的AI算力體系。
Trainium的設計更靈活，在不少情況下接近GPU的適配能力，但性能針對訓練和推理分別做了優化。Inferentia則聚焦推理，適合高吞吐部署場景。亞馬遜通過芯片降低內部成本並將節省部分反饋給客戶，從而提升AWS的競爭力。
總體而言，英偉達的路線是通用、生態驅動、軟件鎖定；谷歌的路線是專用、垂直整合、系統統壹；亞馬遜的路線是成本優化、雲驅動、兼容商業需求。叁者的路線差異導致了AI芯片市場中出現了截然不同的產品形式、商業策略與競爭格局。
04 利用TPU，告別昂貴的“CUDA稅”
谷歌之所以能夠在推理時代獲得顯著優勢，關鍵並不僅僅在於TPU的硬件性能，更在於其全棧垂直整合策略。
這種策略讓谷歌避免了昂貴的“CUDA稅”，並在成本結構上相對於OpenAI和其他依賴GPU的企業形成了巨大優勢。
所謂CUDA稅，是指GPU芯片從生產到銷售過程中所疊加的高額利潤。
英偉達的GPU成本大約僅幾千美元，但賣給雲廠商時價格往往動輒數萬美元不等，毛利率高達八成以上。全球所有訓練大模型的科技公司幾乎都要支付這項成本，並且無法擺脫。
OpenAI依賴英偉達GPU進行訓練和推理，且由於GPT系列模型參數規模巨大、推理量龐大，其總體算力開支遠超大多數企業的總營收。
英偉達的定價模式使這些公司無論怎麼優化模型，都難以實現規模化商業利潤。
谷歌的策略完全不同。谷歌采用自研TPU進行訓練和推理，整個供應鏈由谷歌控制，從芯片設計到制造、從網絡方案到軟件棧再到數據中心布局，全部由谷歌內部優化。
由於不需要支付英偉達稅，谷歌的算力成本結構天生比OpenAI更具優勢。
谷歌不僅在內部獲得低成本，還將這種成本優勢傳遞給谷歌雲的客戶。通過TPU服務，谷歌可以為客戶提供更低價格的推理能力，從而吸引大量模型公司和企業遷移到谷歌平台。
根據科技網站venturebeat.com的報道，谷歌在算力成本上的結構性優勢遠遠優於OpenAI。這意味著，谷歌提供同等推理服務時，其底層成本可能僅為對手的兩成。如此大的成本差異在推理時代具有決定性意義。
當企業的推理成本占到其支出的大部分時，遷移到成本最低的平台就成為必然選擇。例如，壹個企業每年可能在推理上消耗數千萬美元甚至上億美元，如果遷移到TPU可以節省叁到伍成成本，那麼遷移幾乎是壹種不可回避的商業決策。
[加西網正招聘多名全職sales 待遇優]
| 分享: |
| 注： | 在此頁閱讀全文 |
| 延伸閱讀 | 更多... |
推薦: