AI硬體

Google 將於拉斯維加斯發布新一代 TPU 推論晶片,訓練與推論晶片走向分工

Google 預計在拉斯維加斯舉行的年度 Cloud 活動上發布專用於 AI 推論的新一代 TPU,標誌著 Google 的自研 AI 晶片策略從「訓練推論合一」走向「訓練推論分工」,以應對推論運算需求的爆炸性增長。

推論需求推動晶片架構分化

Google 預計將在本週於拉斯維加斯舉行的年度雲端技術活動上,正式發布一款專為 AI 模型推論設計的新一代張量處理單元(TPU)。這是 Google 自研晶片策略的一個重要轉折點:過去,Google TPU 的設計以訓練與推論兼容為主,但隨著 AI 推論需求(即模型實際服務用戶時所需的運算)急速增長,針對推論工作負載專項優化的晶片架構愈發具有商業意義。

Google 的 TPU 此前主要供自家 AI 服務使用,但已逐步向第三方開放,Anthropic 是目前最大的外部用戶之一。Citadel 亦確認將在此次活動上分享其使用 Google TPU 的實際應用案例。

市場意涵:挑戰英偉達的推論市場

英偉達早前已針對推論場景推出專屬加速晶片(如為 Groq 定製的版本),此次 Google 跟進,預示著 AI 晶片市場正在進入「訓練晶片」與「推論晶片」分化競爭的新階段。Meta 亦被指有意採購 Google TPU,打破了外界對 TPU 僅服務 Alphabet 生態系統的既有認知。

對香港及亞太企業客戶而言,Google Cloud 若將新一代推論 TPU 納入商業服務供應,意味著 AI 模型部署成本有望進一步下降,同時也為多供應商的 AI 基礎設施策略提供了更具競爭力的選項。