加速器必须具有更大的外部存储规模和非常高的带宽。当今的高端加速器通常使用高性能的外部存储器，存储规模达8-16GB，运行速度可高达4Tbps。它还必须能够将这些数据传输到计算平台而不会影响性能。

然而，无论如何去实现高速存储和计算引擎之间的数据通道，它几乎在所有情况下都是系统性能的瓶颈，特别是在实时ASR这样的低延迟应用中。

FPGA设计旨在存储和计算之间提供最佳数据路由通道,从而为这些工作负载提供一个出色的加速平台。

图形处理器(GPU)架构是基于数据并行模型，较小的批处理量(batch size)会导致GPU加速硬件的利用率较低，从而导致成本增加和效率降低。

在机器学习(ML)加速领域中，已有FPGA架构宣称其推理速度可高达150 TOPS。

硬件加速解决方案数据表(以TOPS即每秒万亿次操作为单位进行衡量)中的性能数据并不能总是很好地表示实际性能，因为许多硬件加速器件由于与器件架构相关的瓶颈而未得到充分利用。

这些数据以TOPS为单位，强调了加速器计算引擎的处理能力，但忽略了关键因素，例如外部存储器的批处理量、速度和规模，以及在外部存储器和加速器计算引擎之间传输数据的能力。

对于ASR工作负载，关注存储带宽和在加速器内高效地传输数据为加速器性能和效率的实现提供了更强有力的指导。

安徽纽本科技有限公司http://fjbg.51dzw.com