[谷歌] 一文读懂谷歌TPU:英伟达暴跌跟它有关
谷歌的路线与英伟达不同。谷歌并不追求硬件通用性，而是追求深度学习特别是Transformer负载的极致效率。TPU的核心是脉动阵列，这是一种专门为矩阵乘法设计的架构，使其在深度学习计算中特别高效。
谷歌不是希望TPU成为行业通用芯片，而是成为全球AI推理和训练最具效能的专用芯片，进而让谷歌整个AI系统做到性能领先、成本最低、部署最广。
谷歌的核心优势在于全栈整合能力。他们不仅控制芯片，还控制模型、框架、编译器、分布式训练系统与数据中心基础设施。这让谷歌可以做出许多GPU无法实现的系统级优化。
例如数据中心网络拓扑完全为TPU超节点服务，软件层面的调度系统能根据模型特性自动调整硬件资源的使用方式。这种“系统级一体化”是英伟达无法做到的，因为英伟达只能控制GPU，而不能控制客户的数据中心。
亚马逊则走了第三条路线，其芯片战略出发点是降低AWS的基础设施成本，同时减少对外部供应商尤其是英伟达的依赖，因此他们开发了Trainium和Inferentia。
作为云厂商，AWS关注的是规模效应与经济性，而非像谷歌那样构建一个统一的AI算力体系。
Trainium的设计更灵活，在不少情况下接近GPU的适配能力，但性能针对训练和推理分别做了优化。Inferentia则聚焦推理，适合高吞吐部署场景。亚马逊通过芯片降低内部成本并将节省部分反馈给客户，从而提升AWS的竞争力。
总体而言，英伟达的路线是通用、生态驱动、软件锁定；谷歌的路线是专用、垂直整合、系统统一；亚马逊的路线是成本优化、云驱动、兼容商业需求。三者的路线差异导致了AI芯片市场中出现了截然不同的产品形式、商业策略与竞争格局。
04 利用TPU，告别昂贵的“CUDA税”
谷歌之所以能够在推理时代获得显着优势，关键并不仅仅在于TPU的硬件性能，更在于其全栈垂直整合策略。
这种策略让谷歌避免了昂贵的“CUDA税”，并在成本结构上相对于OpenAI和其他依赖GPU的企业形成了巨大优势。
所谓CUDA税，是指GPU芯片从生产到销售过程中所叠加的高额利润。
英伟达的GPU成本大约仅几千美元，但卖给云厂商时价格往往动辄数万美元不等，毛利率高达八成以上。全球所有训练大模型的科技公司几乎都要支付这项成本，并且无法摆脱。
OpenAI依赖英伟达GPU进行训练和推理，且由于GPT系列模型参数规模巨大、推理量庞大，其总体算力开支远超大多数企业的总营收。
英伟达的定价模式使这些公司无论怎么优化模型，都难以实现规模化商业利润。
谷歌的策略完全不同。谷歌采用自研TPU进行训练和推理，整个供应链由谷歌控制，从芯片设计到制造、从网络方案到软件栈再到数据中心布局，全部由谷歌内部优化。
由于不需要支付英伟达税，谷歌的算力成本结构天生比OpenAI更具优势。
谷歌不仅在内部获得低成本，还将这种成本优势传递给谷歌云的客户。通过TPU服务，谷歌可以为客户提供更低价格的推理能力，从而吸引大量模型公司和企业迁移到谷歌平台。
根据科技网站venturebeat.com的报道，谷歌在算力成本上的结构性优势远远优于OpenAI。这意味着，谷歌提供同等推理服务时，其底层成本可能仅为对手的两成。如此大的成本差异在推理时代具有决定性意义。
当企业的推理成本占到其支出的大部分时，迁移到成本最低的平台就成为必然选择。例如，一个企业每年可能在推理上消耗数千万美元甚至上亿美元，如果迁移到TPU可以节省三到五成成本，那么迁移几乎是一种不可回避的商业决策。
[物价飞涨的时候 这样省钱购物很爽]
无评论不新闻，发表一下您的意见吧
谷歌不是希望TPU成为行业通用芯片，而是成为全球AI推理和训练最具效能的专用芯片，进而让谷歌整个AI系统做到性能领先、成本最低、部署最广。
谷歌的核心优势在于全栈整合能力。他们不仅控制芯片，还控制模型、框架、编译器、分布式训练系统与数据中心基础设施。这让谷歌可以做出许多GPU无法实现的系统级优化。
例如数据中心网络拓扑完全为TPU超节点服务，软件层面的调度系统能根据模型特性自动调整硬件资源的使用方式。这种“系统级一体化”是英伟达无法做到的，因为英伟达只能控制GPU，而不能控制客户的数据中心。
亚马逊则走了第三条路线，其芯片战略出发点是降低AWS的基础设施成本，同时减少对外部供应商尤其是英伟达的依赖，因此他们开发了Trainium和Inferentia。
作为云厂商，AWS关注的是规模效应与经济性，而非像谷歌那样构建一个统一的AI算力体系。
Trainium的设计更灵活，在不少情况下接近GPU的适配能力，但性能针对训练和推理分别做了优化。Inferentia则聚焦推理，适合高吞吐部署场景。亚马逊通过芯片降低内部成本并将节省部分反馈给客户，从而提升AWS的竞争力。
总体而言，英伟达的路线是通用、生态驱动、软件锁定；谷歌的路线是专用、垂直整合、系统统一；亚马逊的路线是成本优化、云驱动、兼容商业需求。三者的路线差异导致了AI芯片市场中出现了截然不同的产品形式、商业策略与竞争格局。
04 利用TPU，告别昂贵的“CUDA税”
谷歌之所以能够在推理时代获得显着优势，关键并不仅仅在于TPU的硬件性能，更在于其全栈垂直整合策略。
这种策略让谷歌避免了昂贵的“CUDA税”，并在成本结构上相对于OpenAI和其他依赖GPU的企业形成了巨大优势。
所谓CUDA税，是指GPU芯片从生产到销售过程中所叠加的高额利润。
英伟达的GPU成本大约仅几千美元，但卖给云厂商时价格往往动辄数万美元不等，毛利率高达八成以上。全球所有训练大模型的科技公司几乎都要支付这项成本，并且无法摆脱。
OpenAI依赖英伟达GPU进行训练和推理，且由于GPT系列模型参数规模巨大、推理量庞大，其总体算力开支远超大多数企业的总营收。
英伟达的定价模式使这些公司无论怎么优化模型，都难以实现规模化商业利润。
谷歌的策略完全不同。谷歌采用自研TPU进行训练和推理，整个供应链由谷歌控制，从芯片设计到制造、从网络方案到软件栈再到数据中心布局，全部由谷歌内部优化。
由于不需要支付英伟达税，谷歌的算力成本结构天生比OpenAI更具优势。
谷歌不仅在内部获得低成本，还将这种成本优势传递给谷歌云的客户。通过TPU服务，谷歌可以为客户提供更低价格的推理能力，从而吸引大量模型公司和企业迁移到谷歌平台。
根据科技网站venturebeat.com的报道，谷歌在算力成本上的结构性优势远远优于OpenAI。这意味着，谷歌提供同等推理服务时，其底层成本可能仅为对手的两成。如此大的成本差异在推理时代具有决定性意义。
当企业的推理成本占到其支出的大部分时，迁移到成本最低的平台就成为必然选择。例如，一个企业每年可能在推理上消耗数千万美元甚至上亿美元，如果迁移到TPU可以节省三到五成成本，那么迁移几乎是一种不可回避的商业决策。
[物价飞涨的时候 这样省钱购物很爽]
| 分享: |
| 注： | 在此页阅读全文 |
| 延伸阅读 | 更多... |
推荐: