海思SD3403(21AP10, 108DC2910 )4K60 的 ISP 图像处理能力，4Tops INT8算力
21AP10 是一颗面向市场推出的专业超高清智能网络录像机 SoC。该芯片最高支持四
路 sensor 输入，支持最高 4K60 的 ISP 图像处理能力，支持 3F WDR、多级降噪、六
轴防抖、硬件拼接等多种图像增强和处理算法，为用户提供了卓越的图像处理能力。
21AP10 内置四核 A55，提供高效且丰富和灵活的 CPU 资源，以满足客户计算和控制
需求。集成单核 MCU，以满足某些低延时要求较高场景。
21AP10 集成了高效的图像分析工具推理单元，最高 4Tops INT8，并支持业界主流的
图像分析工具框架。并内置双核 Vision DSP，以满足客户一些差异化的 CV 计算需
求。
21AP10 采用先进的 12nm 低功耗工艺和 0.65pitch 封装，同时支持
LPDDR4/LPDDR4x/DDR4 颗粒，满足客户应用的产品小型化设计和快速量产。
21AP10 配套提供的稳定、易用的 SDK 设计，能够支撑客户快速产品量产。
1.2
应用场景
1.2.1 21AP10
专业智能网络摄像机方案
21AP10
专业智能网络摄像机方案如
图
1-1
所示
1.3
架构
1.3.1
概述
21AP10
芯片逻辑框图如
图
1-2
所示。
1.3.2
处理器内核
●
四核
ARM Cortex A55@1.4GHz
−
32KB I-Cache
，
32KB D-Cache /512KB L3 cache
−
支持
Neon
加速，集成
FPU
处理单元
●
内置
32bit MCU@500MHz
32KB I-Cache
，
32KB D-Cache /64KB TCM
1.3.3
智能视频分析
●
图像分析工具
加速引擎，高达
4Tops INT8
−
支持
INT4/FP16
−
支持完整的
API 和工具链，易于客户开发
●
双核
Vision Q6 DSP
32K I-Cache /32K D-Cache /32K IRAM/320K DRAM
●
内置智能计算加速引擎
●
内置双目深度加速单元
●
内置矩阵计算加速单元
1.3.4
视频编解码
●
H.264 BP/MP/HP
●
H.265 Main Profile
●
H.264/H.265
编解码最大分辨率为
8192 x 8192
●
H.264/H.265
编码支持
I/P
帧
●
H.264/H.265
多码流编码能力：
−
3840 x 2160@60fps + 1280x720@30fps
−
7680 x 4320@15fps
●
H.264/H.265/MPEG-4
多码流解码能力：
3840 x 2160@60fps + 1920x1080@60fps
●
支持最多
8
个区域的编码前
OSD
叠加
●
支持
CBR/VBR/AVBR/FIXQP/QPMAP
等多种码率控制模式
●
输出码率最大值
100Mbps
●
支持
8
个感兴趣区域（
ROI
）编码
●
支持
JPEG Baseline
编解码
●
JPEG
编解码最大分辨率
16384x16384
●
JPEG
最大性能
−
编码：
3840 x 2160@60fps(YUV420)
−
解码：
3840 x 2160@75fps(YUV420)
1.3.5
视频输入接口
●
支持
8-Lane image sensor
串行输入，支持
MIPI/LVDS/Sub-LVDS/HiSPi
多种接
口
●
支持
2x4-Lane
或
4x2-Lane
等多种组合，最高支持
4
路
sensor
串行输入
●
最大分辨率
8192 x 8192
●
支持
8/10/12/14 Bit RGB Bayer DC
时序视频输入，时钟频率最高 150MHz
●
支持
BT.601
、
BT.656
、
BT.1120
视频输入接口
●
支持主流
CMOS
电平热成像传感器
1.3.6 ISP
●
ISP
支持分时复用处理多路
sensor
输入视频
●
支持
3A
（
AE/AWB/AF
）功能，
3A
的控制用户可调节
●
支持去固定模式噪声（
FPN
）
●
支持坏点校正、镜头阴影校正；
●
最高支持三帧
WDR
及
Advanced Local Tone Mapping
●
支持多级
3D
去噪、图像边缘增强、去雾、动态对比度增强等处理功能
●
支持
3D-LUT
色彩调节
●
支持镜头畸变校正，支持鱼眼矫正
●
支持
6-DoF
数字防抖及
Rolling-Shutter
校正
●
支持图像
Mirror
、
Flip
、
90
度
/270
度旋转
●
提供
PC
端
ISP
调节工具
1.3.7
视频与图形处理
●
支持图形和图像
1/15.5
～
16x
缩放功能
●
支持多达
4
路视频全景拼接
−
输入
2
路
3840x2160
，输出
4320x3840
−
输入
4
路
2688x1520
，输出
6080x2688
●
支持视频层、图形层叠加
●
支持色彩空间转换
1.3.8
视频输出
●
支持
HDMI2.0
接口输出
●
支持
4-Lane Mipi DSI/CSI
接口输出，最高
2.5Gbps/lane
●
内置模拟标清
CVBS
输出
●
支持
8/16/24 bit RGB
、
BT.656
、
BT.1120
等数字接口
●
同时支持
2
个独立高清视频输出
− 支持任意两种接口非同源输出
−
其中一路可支持
PIP(Piture In Piture)
●
最大输出能力
3840x2160@60fps + 1920x1080@60fps
1.3.9
音频接口与处理
●
内置
Audio codec
，支持
16bit
语音输入和输出
●
支持
I2S
接口
支持多声道时分复用传输模式（
TDM
）
●
支持
HDMI Audio
输出
●
通过软件实现多协议语音编解码
●
支持音频
3A
（
AEC/ANR/ALC
）处理
●
支持
G.711/G.726/AAC/
等音频编码格式
1.3.10
安全隔离与引擎
●
支持安全启动
●
支持基于
TrustZone
的
REE/TEE
硬件隔离方案
●
硬件实现
AES
对称加密算法
●
硬件实现
RSA2048/3072/4096
签名校验算法
●
硬件实现基于
HASH
的
SHA256/384/512
、
HMAC_SHA256/384/512
算法
●
硬件实现随机数发生器
●
集成
30Kbit OTP
存储空间供客户使用
1.3.11
网络接口
2
个千兆以太网接口
●
支持
RGMII
、
RMII
两种接口模式
●
支持
TSO
、
UFO
、
COE
等加速单元
●
支持
Jumbo Frame
1.3.12
外围接口
●
支持上电复位（
POR
）和外部输入复位
●
集成
4
通道 LSADC
●
多个
UART
、
I2C
、
SPI
、
GPIO
接口
●
2
个
SDIO3.0
接口
−
SDIO0
支持
SDXC
卡，最大容量
2TB
−
SDIO1
支持对接
wifi
模组
●
2
个
USB3.0/USB2.0
接口
−
USB0
仅
Host
接口
−
USB1 Host/Device
可切换
●
2-Lane PCIe2.0
高速接口
−
支持
RC/EP
模式
−
可配置为
2-Lane PCIe2.0
−
可配置为
1-Lane PCIe2.0 + USB3.0
1.3.13
外部存储器接口
●
DDR4/LPDDR4/LPDDR4x
接口
−
支持
4 x 16bit DDR4
−
支持
2 x 32bit LPDDR4/LPDDR4x
−
DDR4
最高速率
3200Mbps
−
LPDDR4/LPDDR4x
最高速率
3733Mbps
−
最大容量
8GB
●
SPI Nor/SPI Nand Flash
接口
−
支持
1
、
2
、
4
线模式
−
SPI Nor Flash
支持
3Byte
、
4Byte
地址模式
●
NAND Flash
接口
−
支持
SLC
、
MLC
异步接口器件
−
支持
2/4/8/16KB
页大小
−
支持
8/16/24/28/40/64bit ECC
（以
1KB
为单位）
●
eMMC5.1
接口，最大容量
2TB
●
可选择从
eMMC
、
SPI Nor/SPI Nand Flash
、
NAND Flash
或
PCIe
从片启动
1.3.14 SDK
●
Arm CPU
支持 Linux SMP
●
DSP/MCU
支持
LiteOS
1.3.15
芯片物理规格
●
功耗
(TBD)W
典型功耗
(4K60 + 4Tops)
●
工作电压
−
内核电压为
0.8V
−
IO
电压为
1.8/3.3V
−
DDR4/LPDDR4/LPDDR4x
接口电压分别为
1.2/1.1/0.6V
●
封装形式
−
RoHS
，
FC-BGA 23mm x 23mm
封装
−
管脚间距：
0.65mm
1.4
启动和升级模式
1.4.1
概述
芯片中内置启动
ROM
（
BOOTROM
），芯片复位撤销后由
BOOTROM
开始执行启动
引导程序。
启动介质
芯片包含多种外设接口可用于启动介质接口：
●
SPI Nand/Nor Flash
存储接口。
●
并行
Nand Flash
存储接口。
●
eMMC
存储接口。
启动介质的选择由
SFC_EMMC_BOOT_MODE/BOOT_SEL1/BOOT_SEL0
信号决
定。
PCIe
从启动
芯片还支持
PCIe
从片启动，此时芯片作为从片，通过
PCIe
接口与主片连接，主片可
以通过
PCIe 接口将启动程序加载至从片并引导从片启动。
PCIe
从片启动由
PCIE_SLV_BOOT_MODE
信号的值决定。
烧写（升级）
芯片通过
SDIO0/USB3
控制器
1 Device/UART0
来对启动介质进行烧写
(
升级
)
。
SD
卡、
USB
升级模式由
UPDATE_MODE_N
和
OTP
信号决定，
UART
烧写由
FAST_BOOT_MODE
信号的值决定。
1.4.2
启动介质和上电锁存值关系
启动
/
升级介质由
PCIE_SLV_BOOT_MODE/FAST_BOOT_MOD/SFC_EMMC_BOOT_MODE/BOOT_
SEL1/BOOT_SEL0
和
UPDATE_MODE_N
信号来确定。
●
PCIE_SLV_BOOT_MODE
信号为
SENSOR1_VS
管脚的上电锁存值；
●
FAST_BOOT_MODE
信号为
RGMII0_TXD0
管脚的上电锁存值
;
●
SFC_EMMC_BOOT_MODE
信号为
RGMII0_TXD1
管脚的上电锁存值
;
●
BOOT_SEL1
信号为
RGMII0_TXD2
管脚的上电锁存值
;
●
BOOT_SEL0
信号为
RGMII0_TXD3
管脚的上电锁存值
;
●
UPDATE_MODE_N
信号为系统启动时
GPIO0_0
的状态，通常
GPIO0_0
可设计成按键，
按下时状态为
0
，表示升级；未按下时状态为
1
，表示非升级
;
●
以上上电锁存值不受系统软复位影响；
●
SFC_EMMC_BOOT_MODE & BOOT_SEL1 & BOOT_SEL0
决定了启动或者烧
写的目标介质。
●
FAST_BOOT_MODE
用于选择是否进入串口烧写。
●
PCIE_SLV_BOOT_MODE
用于是否进入
PCIe
从片启动。
●
UPDATE_MODE_N
用于选择是否进入
SD/USB
升级。
启动模式和这些信号的关系如
表
1-1
所示：
1.4.3
启动模式
芯片支持如下表所示启动模式，其中
Secure_Boot_En
和
Quick_Boot
分别由寄存器的
值来决定
(
源于
OTP
中的启动模式标志位
)
。
表1-2 启动模式
2.1
封装与管脚分布
2.1.1
封装
21AP10
芯片采用
FCBGA
封装，封装尺寸为
23mmx23mm
，管脚间距为
0.65mm
。
管脚总数为
997
个。
详细封装请参见
图
2-1
～
图
2-5
，封装尺寸参数请参见
表
2-1
。
表 2-10 各场景具体配置表
场景 1
表 2-10 各场景具体配置表
场景 1
(OS08A20 4k@30fps)*1->MIPI
：
开六轴防抖
/LDC,
开超感光，一路送
VPSS(
开
3DNR,8
个
osd, 4
个
mosaic),vpss
再送
VENC
进行编码
{Normal_P/H264:1x4k@60fps(12Mbps) +1x1080P@30fps (4Mbps) + 1
x4K@1fps JPEG};vpss
送
VO
进行
HDMI 1080P60
显示，叠加
GFBG
(1080p@10fps)
；
网络：
1x4K@60fps@12Mbps
；
智能：
VGG16
循环处理图片；
DSP: DSP0+DSP1
开启，采用
bilateral filter
算法处理
1920x1080 yuv
数据中的
Y 分量。
场景 2
场景 2
(OS08A20 4k@60fps)*1->MIPI
：
一路
vi 4k@30fps
开六轴防抖
/LDC/WDR,
送
VPSS(
开
3DNR,8
个
osd, 4
个
mosaic),
再送
VENC
进行编码
{Normal_P/H264:2x4k@30fps(12Mbps)+1x720P@30fps(2Mbps)+1x4K
@1fps JPEG};
另一路
vi 4k@30fps
开六轴防抖
/LDC,
送
VPSS(
开
3DNR),
送
VO
进行
HDMI 1080P60
显示叠加
GFBG(1080p@10fps)
；
网络：
1x4K@30fps@12Mbps
；
智能：
VGG16
循环处理图片；
DSP: DSP0+DSP1
开启，采用
bilateral filter
算法处理
1920x1080 yuv
数据中的
Y 分量。
场景 3
场景 3
(IMX485 4k@90fps)*1->MIPI:
一路
vi 4k@30fps
，开六轴防抖
/LDC/WDR,
送
VPSS(
开
3DNR,8
个
osd,
4
个
mosaic),
再送
VENC
进行编码
{smart_P/H264:1x
4k@30fps(12Mbps) + 1x1080P@30fps(4Mbps)+1x720P@30fps
(2Mbps) + 1 x4K@1fps JPEG};VPSS
送一路
1080p30
送
VO
进行显
示；
音频：
1
路采集
16kHz mono + 1
路编解码
+ 1
路输出
mono
重采样到
32kHz +1
路
ai
开
AGC/ANR
；
网络：
1x4K@30fps@12Mbps
；
智能：
VGG16
循环处理图片；
DSP: DSP0+DSP1
开启，采用
bilateral filter
算法处理
1920x1080 yuv
数据中的
Y
分量。
场景 4
场景 4
(0S08A20 4k@60fps)*1 ->MIPI:
一路
vi 4k@30fps
开六轴防抖
/LDC/WDR,
送
VPSS(
开
3DNR,8
个
osd,
4
个
mosaic),
再送
VENC
进行编码
{smart_P/H264:1x 4k@30fps(12Mbps) +
1x1080P@30fps (4Mbps)+ 1x720P@30fps (2Mbps) + 1 x4K@1fps
JPEG};VPSS
送一路
1080p30
送
VO
进行显示；
音频：
1
路采集
16kHz mono + 1
路编解码
+ 1
路输出
mono
重采样到
32kHz +1
路
ai
开
AGC/ANR;
网络：
1x4K@30fps@12Mbps
；
智能：
VGG16
循环处理图片；
DSP: DSP0+DSP1
开启，采用
bilateral filter
算法处理
1920x1080 yuv
数据中的
Y 分量。
场景 5
场景 5
(0S08A20 4k@30fps)*2 ->MIPI:
VI
采集两路
sensor 4k@30fps
分别作为枪机和球机的通路输入，两路都
开启
2to1 WDR
，其中枪机通路开
LDC
，球机通路路开
6
轴防抖；
枪机通路送
VPSS
（开
3DNR
），然后送
venc
进行编码（
4K@30fps
h264 smartp + 1080P@30fps h264 smartp + 4K@1fps jpeg
）；
球机通路送
VPSS
（开
3DNR
），然后送
venc
进行编码（
4K@30fps
h264 smartp + 4K@1fps jpeg
）；
音频：
1
路采集
16kHz mono + 1
路编解码
+ 1
路输出
mono
重采样到
32kHz +1
路
ai
开
AGC/ANR
；
网络：
2x 4K30fps@12Mbps
；
智能：
VGG16
循环处理图片；
DSP: DSP0+DSP1
开启，采用
bilateral filter
算法处理
1920x1080 yuv
数据中的
Y 分量。
15.1
概述
安全子系统支持以下安全特性：
●
支持硬件产生真随机数，产生的真随机数符合
FIPS140-1
的随机测试标准。
●
支持
OTP
（
One Time Programmable
），用户可用空间达
30Kbit
。
●
支持硬件对称加解密算法和
HASH
算法：
−
对称加解密算法
支持
AES128
、
AES192
、
AES256
，
AES
算法的实现符合
FIPS 197
标准。
AES
的工作模式符合
NIST special800-38a
标准。
−
HASH
算法
支持
SHA256
、
SHA384
、
SHA512
、
HMAC-SHA256
、
HMAC-SHA384
、
HMAC-SHA512
●
支持硬件非对称加解密算法，支持
RSA 2048/3072/4096
，符合
PKCS#1
V1.5/2.1
标准；
●
支持
JTAG
保护；
●
支持
KeyLadder
，用于密钥加解密管理，增加安全强度。
●
支持
ARM TrustZone
。
●
支持安全内存隔离。
●
支持安全启动。支持
bootloader
的签名校验和加解密。