数据：通过神经架构搜索实现的具有内存效率的可变形变压器加速器

《IEEE Transactions on Very Large Scale Integration (VLSI) Systems》：DATA: A Memory-Efficient Deformable Transformer Accelerator via Neural Architecture Search

　　提出变形注意力Transformer加速器DATA，通过记忆感知的神经架构搜索自动优化特征图切片和高效数据流设计，结合时空分割硬件模块提升资源利用率，在Xilinx平台实现较基线效率提升2.42倍，内存需求降低至12.5%。

　　

摘要：

由于其在特征提取方面的卓越能力，Transformer在人工智能（AI）领域得到了广泛应用。其变体——可变形Transformer，在自动驾驶和机器人技术中备受青睐，因为它采用了可变形注意力机制来增强特征提取效果。然而，由于可变形Transformer存在内存访问顺序混乱和数据依赖性问题，其在移动设备上的应用受到了很大限制。为了解决这些问题，本文提出了一种可变形注意力Transformer加速器（DATA），通过算法和硬件的协同优化来提升处理速度。具体而言，我们提出了一种基于内存感知的神经架构搜索（NAS）方法，通过构建连续的搜索空间自动获得高效的内存特征图切片方案。基于该切片方案，我们设计了高效的数据流机制以避免内存访问冲突问题。此外，引入了空间分割复用和时间分割复用硬件计算模块来处理可变形注意力层中的计算任务，从而大幅提高了硬件资源的利用率。最后，该加速器在Xilinx平台上得到了实现。与现有技术相比，所提出的方法在计算效率上实现了高达2.42倍的提升，同时内存访问需求降低到了基线的12.5%。

引言

随着科学技术的发展，人工智能（AI）已广泛应用于各个领域。其中，神经网络在AI的发展中起着关键作用，越来越多的神经网络模型被应用于自然语言处理（NLP）、图像处理和视频处理等任务中。作为代表性的工作之一，Transformer最初是为NLP任务提出的，并在NLP任务中取得了优异的性能[2]、[3]、[4]、[5]。由于在NLP任务中的成功，学者们将Transformer引入计算机视觉领域，并在目标检测[6]、图像分类[7]和图像分割[8]等任务中取得了良好的效果。