雷达手势识别技术

 然后仍然是Clutter removal filter：

之后正则化转化为灰度图像：

使用matlab func. “ind2rgb8”转换为 RGB Image:

将RGB Image 送入训练好的CNN分类：

其中：

杂波去除为MTI滤波器（略）；

正则化公式：

1.2 CNN Architecture

2、TI Radar手势识别方案

演示视频：Gesture recognition 手势识别 - 直播回放 : TI mmWave 毫米波雷达在汽车车内的应用 - TI在线培训手机版

例程源码：https://dev.ti.com/tirex/explore

研究的雷达手势识别算法，需要识别的手势为左滑、右滑、上滑、下滑、逆时针旋转、顺时针旋转六种：

基本的雷达数据处理流程：

2.1 算法流程

1. 2D-FFT。对每个接收通道的ADC数据进行处理2D-FFT操作，得到包含距离维和多普勒维的2D-FFT matrix。

2. Noncoherent accumulation/非相干累加。对多个接收通道的2D-FFT matrix进行非相干累加，得到Range-Doppler Heat map。

3. Feature Extraction/特征提取。在Heat map中提取多个特征，每个特征生成时间序列。

4.Feature processing/特征处理。对特定时间窗内提取的特征，通过机器学习算法进行分类，输出对应的手势类别。

2.2 技术难点

1. 确认目标角度和位置。

2. 雷达应具有较高的距离分辨率及角度分辨率
在Heat map上尽量为点目标。下图中，由于距离、角度分辨率较低，目标进行了发散，传统的峰值检测技术将不再试用。

3. Range-Doppler Heat map中提取特定特征。可以将特征视为从热图提取的单个数值，其值可反映特定参数的加权平均值；如：平均多普勒，平均距离，多普勒扩展等。其中，雷达的每一帧数据为每个特征生成一个值，通过帧序列得到每个特征的时间序列。

4. 识别和分类。对于手势识别，在提取了多个特征后，生成特征的时间序列，利用机器学习方法识别和分类各种手势。

2.3 特征提取

1. Weighted Doppler / 加权多普勒

对于每一帧数据的 Heat map，计算手的速度权重。

其中，i为图像索引，为Range Dopper Image 的值，为第i个索引对应的Dopper value。

2. Instantaneous Energy / 瞬间能量

检测手的存在

3. Weighted Range / 距离加权

检测手的位置

4. Azimuth Angle /水平角度

        检测手的水平角度，区分左划和右划手势。

5. Elevation Angle / 俯仰角度

        检测手的俯仰角度，区分上划和下划手势。

6. Doppler-Azimuth Correlation / 多普勒-方位角相关性

表示方位角与俯仰角之间的协方差， 即方位角变化与俯仰角变化的关系。已知方位角向量为俯仰角向量为：则：

2.4 特征分类

例程代码中使用的神经网络的结构如下图所示。 它由 90 个节点输入（前 15 帧累积的 6 个特征）、两个大小分别为 30 和 60 的hidden layer组成，每个hidden layer都有一个修正ReLU，最后是一个softmax函数，用于转换为 10 个输出概率 。

2.5 处理流程

2.6 手势识别分析

1. 左划 / 右划

当手从左向右划动及从右向左划动时， Azimuth Angle 及 Doppler-Azimuth Correlation 均有明显的变化。

2.上划 / 下划

当手从上向下划动及从下向上划动时， Elevation Angle 变化趋势明显相反。

3. 顺时针 / 逆时针
当手顺时针或逆时针转动时，Doppler-Azimuth Correlation分别为正相关和负相关。