Cloud TPU v5p，是一个人工智能加速器、训练和服务模型，该模型已由谷歌宣布创建，旨在减少训练大语言模型相关的时间投入。

本页面主要目录有关于Cloud TPU v5p的：产品沿革、产品介绍、产品优点、相关事件、产品评价等介绍

开发者

谷歌

简介

2023年12月6日，谷歌已经宣布创建Cloud TPU v5p。

Cloud TPU v5p与TPU v4相比，TPU v5p的浮点运算性能提升了两倍，每个机架的FLOPs性能扩展性提高了四倍。支持95GB的高带宽内存，能够以2.76 TB/s的速度传输数据。

产品沿革

谷歌于2016年起开始推出第一代TPU。

2023年12月6日，谷歌已经宣布创建Cloud TPU v5p。

产品介绍

Cloud TPU v5p与TPU v4相比，TPU v5p的浮点运算性能提升了两倍，每个机架的FLOPs性能扩展性提高了四倍。此外，在嵌入密集模型的速度比TPU v4快1.9倍。此外，它训练LLM模型的速度比TPU v4快2.8倍，嵌入密集模型的速度比TPU v4快1.9倍。而新的人工智能超级计算机，包括一个集成系统，具有开放软件、性能优化硬件、机器学习框架和灵活的消费模型。TPU v5p可以比TPU v4更快地训练大型语言模型，如训练GPT-3（1750亿参数）这样的大语言模型速度比TPU v4快2.8倍，内存带宽提升3倍，芯片间互联带宽翻倍，达到4.8Tbps。

产品优点

与TPU v4相比，在高带宽内存方面提高了3倍。使用谷歌的600 GB/s芯片间互连，可以将8960个v5p加速器耦合在一个Pod（通常指一个包含多个芯片的集群或模块）中，从而更快或更高精度地训练模型。作为参考，该值比TPU v5e大35倍，是TPU v4的两倍多。

TPU v5p能够提供459 teraFLOPS（每秒可执行459万亿次浮点运算）的bfloat16（16位浮点数格式）性能或918 teraOPS（每秒可执行918万亿次整数运算）的Int8（执行8位整数）性能，支持95GB的高带宽内存，能够以2.76 TB/s的速度传输数据。

相关事件

2023年12月，谷歌还推出了面向云端AI加速的新一代TPU——Cloud TPU v5p，这也是谷歌具成本效益的TPU，用来训练AI大模型。每个TPU v5p由多达8960个芯片互连，训练大型语言模型的速度几乎是前几代处理器的三倍。谷歌、微软和亚马逊等科技公司都推出了AI自研芯片，以减少对芯片厂商用于训练大模型的GPU的依赖。AMD也推出了新一代MI300系列的两款人工智能芯片，一款专注于生成式AI应用。

产品评价

谷歌作为自研算力新势力，有望激化算力市场良性竞争，进而降低算力使用成本。在海外互联网巨头AI模型军备竞赛下算力基建产业链将持续受益。国盛证券也表示，谷歌作有望为算力供需双方提供全新选项，从供应侧看，有利于技术的良性竞争，从需求侧看，充分的市场竞争也有利于降低算力的使用成本。（民生证券评）