【神经网络框架】非局部神经网络
一、非局部操作的数学定义与理论框架
1.1 非局部操作的通用公式
非局部操作（Non-local Operation）是该研究的核心创新点，其数学定义源自经典计算机视觉中的非局部均值算法（Non-local Means）。在深度神经网络中，非局部操作被形式化为：
其中：
1.2 与传统操作的对比分析
（1）与卷积操作的对比
传统卷积操作仅处理局部邻域（如3×3或5×5窗口），依赖深层堆叠逐步扩大感受野。而非局部操作直接计算全局位置间的依赖关系，具有以下优势：
- 单层即可捕获长程依赖
- 避免信息传递的路径损耗
- 支持跨时空维度的交互
（2）与循环操作的对比
RNN/LSTM等循环结构通过时间步