四年前,谷歌面临一道难题,如果每个用户每天都会花费三分钟时间来使用语音识别服务的话,那么公司将不得不将数据中心规模再翻一倍,以便处理海量的语音数据和AI计算。
不过为了满足这样的需求,谷歌并没有去建设更大的数据中心,而是转为开发适用于AI计算的高性能转用硬件。
最终,名为TPU(Tensor Processing Unit)的处理器诞生了,其是一种专门为加速深层神经网络运算能力而研发的芯片。
今天,谷歌在一篇博文中提到了在TPU上所取得的一系列成绩。
谷歌表示,相比类似的服务器级Intel Haswell CPU和NVIDIA K80 GPU,TPU在AI运算测试中的平均速度要快15-30倍。更重要的是,TPU的每瓦性能要比普通的GPU高出25-80倍。
谷歌数据中心自2015年以来一直在使用TPU来加速AI服务,而且首获了理想的效果,其能够更快的处理用户发送的请求,降低结果反馈的延迟。
值得一提的是,谷歌认为现在的TPU仍在硬件和软件方面存在很大的优化空间,比如假定用上了NVIDIA K80 GPU中的GDDR5内存,那么TPU就可以发挥出更好的性能。
此外,谷歌工程师还为TPU开发了名为CNN1的软件,其可以让TPU的运行速度比普通CPU高出70多倍!