【神经网络加速】神经加速棒
目录
简介
常见神经加速棒规格
模型支持
边缘计算目前是否能够支持大模型？
ASIC芯片
后记
简介
随着人工智能的飞速发展，人工智能逐渐融入我们的生活，但是深度学习模型的推理需要较大的时间和空间开销，传统的边缘计算设备不在适应高强度的AI计算，因为发展出了一系列新型的设备来加速AI计算，这也同时推动了AI专属的硬件发展。
常见的AI计算设备
GPU：通过专属的函数接口（如NVIDIA GPU 的 CUDA）实现模型在GPU上的推理。
NPU：在并行计算的基础上，优化了推理方式和计算结构，可以实现API式的模型计算，即请求输入数据，响应计算输出。
现在通常一个芯片不单单是CPU芯片，而是采用片上互联的方式，即芯片内部包含了众多芯片，比如CPU、GPU、NPU等。（Apple A15芯片就是一个典型的例子）
因为NPU功耗低、成本低、算力高的这些特性，便作为边缘计算的不二之选。
而我们这次说的神经加速棒，其实就是一种外置NPU。
常见神经加速棒规格
神经加速棒现在已经过时，因为有更好的解决方案，比如说采用AI计算开发板例如（NVIDIA JSTON NANO、华为昇腾等）
内存
内存规格通常在1~2G之间
外存
外存通常是1~6G之间
价格
价格通常在500~1200之间
平台支持
神经加速棒大部分同时支持windows、linux、macos系统
部分加速棒只支持32位嵌入式平台
模型支持
因为边缘计算需要更低功耗、更快响应速度的原因，导致无法跑大参数量的模型。下面是一个500左右价位的神经加速棒模型推理支持图（64MB的内存，300MHz）
边缘计算目前是否能够支持大模型？
相比大家都有这个疑问，大模型的计算时间或者参数量都是巨大的资源开销，现在的技术能否支持大模型的计算呢，其实是可以的。在最新的电脑、手机企划中，众多厂家都加入了AI计算核心已经专属离线大模型，他们的计算就是通过电脑、手机自带的NPU实现的。但是类似于通用型智能体类型的算法仍不建议使用NPU，因为他不仅仅是简单的 神经网络，还有很多科学计算，这通常需要高速串行CPU计算调度。
ASIC芯片
NPU其实是一类ASIC芯片（专用集成电路） ，但是ASIC的极限远不止于NPU。
ASIC类芯片热度上升是挖矿时期，为了加速计算，设计专门的ASIC芯片，价格通常在400美元到2000美元之间。
ETCHED AI 公司
ETCHED公司是一个ASIC芯片公司，专门做基于Transformer架构的优化，得益于Transformer网络的蒸蒸日上，Transformer的ASIC芯片（Sohu）也收获了众多商业大佬的投资。
Sohu图片来自官网Etched | The World's First Transformer ASIC
速度对比（比H100高出惊人的20倍，并且最高支持100T的模型参数量【当然现在的模型远远达不到】）
后记
我们最津津乐道的机器人其实就是边缘计算。机器人的数据输入（眼睛、耳朵等）的特征提取以及动作响应如肢体移动、语音对话等功能需要很强的实时性，可以通过硬件优化角度加速计算以及实现时序并行；机器人的记忆系统可以通过云端GPU计算组来进行计算，因为记忆系统是一个庞大的系统，他往往需要一个很大的memory张量来存储“记忆特征”，且记忆系统的计算与特征输入和特征输出相互独立，可以以异步执行的形式去调度。
