无限宽度神经网络的神经正切核（Neural Tangent Kernel, NTK）
神经正切核（Neural Tangent Kernel, NTK）是深度学习理论中的一个核心概念，用于描述无限宽度神经网络的训练动态。它通过将神经网络的训练过程与核方法（Kernel Methods）联系起来，揭示了梯度下降优化在超参数化（Over-parameterized）网络中的数学本质。
大家可能也有疑问：
（1）为什么参数梯度之间的外积能够描述网络的训练动态？
（2）为什么在无限宽度下这个期望会收敛到一个确定的核函数？
（3）这个期望在实际应用中有何意义，如何计算？