《利用原始数据进行深度神经网络闭环 用于光学驻留空间物体检测》论文精读

Deep Neural Network Closed-loop with Raw Data for Optical Resident Space
Object Detection

摘要

光学勘测是观测驻留空间物体和空间态势感知的重要手段。随着天文技术和还原方法的应用，宽视场望远镜在发现和识别驻留空间物体方面做出了重大贡献。然而，随着现代光学和电子技术的发展，仪器和基础设施的探测极限被大大扩展，导致原始图像数量庞大，图像中的来源也更多。在传统测量和校准方面，还原这些数据时会出现挑战。基于数据量，应用机器学习算法特别可行和可靠。这里开发了一个端到端的深度学习框架，使用原始检测的先验信息对其进行训练，并对获取的新数据执行自动检测任务。基于专用空间碎片勘测望远镜获得的连续 CCD 图像对闭环进行评估。结果表明，与传统方法相比，我们的框架可以实现更高的性能，并且通过数据融合，无需更改硬件或部署新设备即可提高系统效率。该技术值得在观测天文学的许多领域得到更广泛的应用。

介绍

随着卫星和发射技术的发展，大量驻留空间物体（RSO）在轨运行，如通信导航卫星、火箭弹体以及由此产生的空间碎片，对空间环境的安全和可持续性构成威胁。获取有关RSO的有效信息，包括其位置和状态，也称为空间态势感知（SSA），至关重要。利用天文望远镜进行光学测量是观测和探测RSO的重要被动手段（Schildknecht 2007），与激光测距（Zhang等2012）和雷达（Tingay等2013）等其他主动方式相比，对高地球轨道区域进行测量更为合适（Matney等2004；Sun等2015）。此外，考虑到光学基础设施的经济成本相对较低，开发望远镜阵列（Zhang & Zhao 2021）或建立多个站点的网络（Molotov et al. 2008）是可行的。

大视场望远镜在光学RSO勘测中得到广泛应用，由于可以在较短的时间内勘测大范围天区，提高了工作效率。随之而来的目标检测和提取算法也得到了开发和部署，其中传统的天文源提取技术，包括SExtractor（Bertin & Arnouts 1996）和DAOPHOT（Stetson 1987；Schechter et al. 1993），得到了广泛的应用并发挥了重要作用。同时，在具体应用中也提出了专用算法，并在目标检测中取得了良好的效果。具体而言，考虑到背景恒星与 RSO 之间的相对运动，根据不同的观测策略，恒星和 RSO 的图像呈现不同的形状，利用掩蔽或条纹检测技术可以有效地减少数据（Kouprianov 2008；Sun 等 2016；Hickson 2018）。基于 RSO 的运动特性，还提出了从天球坐标中的连续帧中提取和关联物体的方法（Sun 等 2019；Du 等 2022；Zhang 等 2024）。此外，包括形态学变换（Sun & Zhao 2013）和恢复（Sun & Jia 2017）以及图像堆叠（Yanagisawa 等 2005）在内的图像处理方法被广泛用于提高物体的信噪比（SNR）并提高检测效率。

然而，随着望远镜和传感器技术的发展，如今基础设施的探测极限大大扩展，导致原始图像数量庞大，图像中的源也更多。例如，一幅宽视场图像中的源数量可达 10,000 多个，并且由于部署了读出速度快的传感器，帧速率显著提高，获取了大量数据。以前的挑战出现了数据缩减和目标检测方法，提取效率和时间成本受到影响，性能受到限制。

人工智能的发展引发了一场技术革命，催生了各种物体检测模型，这些模型经过训练后，能够从单个帧中提取不同类型的源，类似于人类的感知。这种技术需要大量数据来训练模型的参数以完成特定任务。考虑到现代天文基础设施获得的大数据，应用这些技术尤其可行。

这些领域取得了重大突破。对于斯隆数字巡天 (SDSS)，采用了 You Only Look Once (YOLOv4) 来开发源检测和分类网络 (He et al. 2021)。提出了一种改进的 YOLOv3 用于红移星系团检测，并实现了与传统方法类似的性能 (Grishin et al. 2023)。卷积神经网络 (CNN) 也广泛应用于广角望远镜的数据缩减 (Jia et al. 2020)，例如检测带有小行星条纹的图像 (Wang et al. 2022a) 和寻找蓝色水平分支恒星 (He et al. 2023)。除了这些单阶段方法外，在专用应用中还使用基于两个阶段的模型进行点和条纹源检测 (Dumitrescu et al. 2022)。但需要注意的是，这些应用中的模型大多是在模拟数据上进行训练和验证的，考虑到缺乏原始训练数据，性能有限，值得进一步研究。

在我们的工作中，开发了一个基于 YOLOv5 模型的深度学习神经网络，用于从大量原始 CCD 图像中检测和提取 RSO。我们的方法使用传统方式获得的先验信息对原始数据进行训练，并基于恒星和 RSO 之间的形态差异，该模型学习这些特征并从单帧中提取 RSO 图像及其测量信息。还对原始数据进行了性能评估。结果表明，使用我们的闭环网络可以实现高效率，并且通过数据融合可以实现系统的提升。第 2 节介绍了原理和算法，第 3 节描述了应用，第 4 节讨论了结果。第 5 节得出结论。

原理与算法

深度学习过程包括两个关键步骤：数据集构建和神经网络结构。在这个大数据时代，高质量的数据在深度学习中起着至关重要的作用，大多数数据集都是通过手动标记和注释构建的。另一方面，合适的结构将对特定任务表现出优异的性能。对于数据集，我们提出了一种自动标记方法，该方法利用以前应用的物体检测和识别算法，实时提取 RSO 图像的位置，并基于此信息构建模型训练的数据集。这种方法节省了大量的时间并生成了一个全面的数据集。我们的方法还根据分布和实验优化了标签参数。此外，我们利用先验知识进行图像变换，以促进物体检测并提高效率，特别是对于微弱的情况。对于网络架构，考虑到 RSO 图像在较大的视场框架内呈现为小规模和微弱的光源，因此在颈部和头部区域调整网络结构，以更好地检测特定类别的物体。

网络架构

YOLO 是一种先进的卷积神经网络 (CNN)，可提供实时物体检测能力。与两阶段 CNN 检测网络（先利用两个独立的网络检测候选对象，然后对其进行分类）不同，YOLO 采用单个网络进行定位和分类，实现端到端检测，很好地满足了我们的要求。在缩减过程中，它将输入数据划分为多个网格单元，并预测每个网格中的边界框。这些边界框以 (x, y, w, h, C, p(c1), p(c2),…) 的格式呈现，其中 (x, y) 是物体的中心坐标，(w, h) 表示物体的大小，包括宽度和高度。C 是检测的置信系数，(p(c1), p(c2),…) 分别显示不同类别的概率。给出了一个特定的损失函数来评估边界框的预测和真实值之间的差异。通过反向求导来优化神经网络中的参数以降低损失函数值，模型逐渐学习数据集的特征。我们网络的损失函数如下。

其中 α、β 和 γ 是加权系数。LossBOX 是预测值与真实值之间的位置差异。对于 YOLOv5，使用完全交并 (CIOU)
来获得此距离。

其中，交并比（IOU）的计算方法如下。

给定边界框的交点可以按如下方式推导出来。

其中标签gt表示参数由ground truth给出，没有gt的符号由预测得到。然后得到Union。

这里引入了v、ρ和c来更准确地表示距离。

LossOBJ 表示预测矩形与实际真实框相比的可靠性，LossCLA 表示预测类别与特定类别之间的差异。YOLOv5 模型采用二元交叉熵 (BCE) 损失来评估此方差。

其中 n 表示预测矩形内的像素数。二进制标签 yi 表示假或真，其值分别为 0 或 1。概率 p(i) 表示模型预测的给定像素属于指定区域或类别的可能性。

网络优化

与多类检测任务不同，对于我们的网络，模型仅使用单个对象类进行训练。因此，在损失函数中，为简单起见，β 设置为零。另一方面，考虑到 RSO 图像的大小相对于整个帧通常较小，并且图像的分布类似于经典的高斯函数，我们使用归一化 Wasserstein 距离 (NWD；Wang 等人，2022b) 修改了 LossBOX。新的 LossBOX 表示如下。

图 1.我们的网络架构。

参数 C 由数据集决定，设置为 16 以最佳地执行训练任务。

对于颈部结构，我们采用额外的上采样层来检测微弱且较小的 RSO 图像。与基本的 P3、P4 和 P5 层不同，我们在检测头中用 P2 替换 P5，这导致模型参数减少了 40%，并提高了检测能力。修改后的结构如图 1 所示。

应用

观察结果

利用专门用于 RSO 调查的望远镜进行试验观测，并根据原始数据分析了网络的效率。该望远镜的详细信息如表 1 所示。

表 1 望远镜和 CCD 框架的详细信息

观测时，考虑到高轨道RSO的动力学特性，相对于地面观测者，其角运动较慢，因此采用凝视模式，即在关闭驱动器的情况下，望远镜在曝光过程中始终指向特定的视界场。单帧曝光时间为2s，以相同的方位角和仰角获取连续图像。采用这种策略，背景恒星在图像中显示为短条纹，而位于高轨道区域的RSO则显示为点。由于视场相对较宽，同一图像中可能会出现多个RSO，如图2所示。

图 2. 原始 CCD 图像的一部分快照，绿色圆圈表示图像中的六个 RSO。

切换场的时间间隔为2分钟，考虑到CCD相机的读出时间和望远镜的指向设置，每个场大约可以获得15个原始CCD帧。观测在4个夜晚进行。在获取大量原始CCD图像后，使用先前的算法进行目标检测和轨迹提取。这里的轨迹是指同一物体的一系列测量信息，包括质心和赤经和赤纬的观测位置。具体来说，提取每幅图像中的源并获取它们的测量位置，然后利用天体测量学推导出它们的赤道位置。根据连续图像中恒星和RSO的运动差异，检测RSO候选者并生成轨迹。最后，将这些轨迹与目录相关（Yu et al. 2021）；与目录不相关的被识别为错误检测，与目录相关的被作为先验信息，用于模型训练和验证。经过优化，我们之前的减少管道可以近乎实时地检测RSO。值得注意的是，在使用我们开发的网络提取轨迹后，还会进行轨道相关，并获得错误检测和相关对象的数量，然后评估我们网络的性能。

表 2 显示了使用上述方法获得的详细结果，包括观测的场、每天获取的原始图像数量、提取的轨迹数量以及减少后的不相关和相关对象。相关 RSO 的偏心率和半长轴分布如图 3 所示。可以发现，每天可以获取大约 9000 张原始图像，并且可以提取超过 2800 个轨迹。需要注意的是，通常一个轨迹可能包含 8 ∼ 15 个位置测量，因此对于 CNN 的应用来说，大量的先验检测是可行和可靠的。

表 2 使用以前方法的观察结果

数据集构建

获得的数据集提供了有关 RSO 的信息，包括其位置测量值和图像大小。可以应用人工智能模型从数据集中学习特征，然后对新数据执行对象检测。因此，构建高质量的数据集至关重要。通常，测量的位置（x，y）和尺寸（宽度，高度（w，h）需要手动注释。在我们基于先前的物体检测方法的测试中，我们已经获得了RSO的测量位置。然后另一个问题是为数据集选择最佳的框大小。所有RSO图像的宽度和高度均使用SExtractor使用3σ阈值获得，分布如图4所示。它表明大多数RSO图像（约85％）小于20×20像素，并且它们与背景星星不同，背景星星具有高像素值和更大的尺寸。考虑到整个图像的大小为2048×2048，这些通常是小而暗淡的物体。根据分布并经过一些调查，宽度和高度都设置为16像素，以在模型训练中实现性能和效率之间的平衡。

背景水平和物体亮度的变化可能导致模型内部混乱，数据规范化至关重要。为了应对这一挑战，应用灰度变换来增强微弱 RSO图像的信号。变换执行如下。

其中，bkg 和 σ 分别为 SExtractor 得到的平均背景水平和标准差。增强的效果如图 5 所示。

图 3. 相关 RSO 的偏心率和半长轴分布。

模型训练

虽然模型参数已经优化，但 YOLO 网络仍有超过六百万个参数。训练过程是指根据任务特定特征调整这些参数。从全零或随机值开始将花费更多 epoch 来使这些模型参数收敛，并且在大型数据集上会消耗更多时间。参数初始化可以促进该过程并减少训练 epoch 所花费的时间，因此我们不是训练整个数据集，而是首先制作一个较小的数据集，并将其用于预训练以获得 RSO 检测任务中的初始权重。该数据集由 200 张随机选择的图像构成，基于第一天的 RSO 图像，训练集与验证集的比例为 3:1。需要注意的是，所有这些图像都是手动标记的，以避免出现条纹或密集星场等异常情况。预训练大约需要 1 小时，并获得初始权重以供后续模型训练。使用预训练的权重，对于包含一天数据的训练集，模型大约需要 50 个 epoch 才能收敛，时间成本约为 10 小时，而使用配备 NVIDIA RTX 3060 (6G) 的个人台式机则需要 40 小时。值得注意的是，如果使用配备更多 GPU 的专业工作站，时间成本将减少到大约 2 小时。初始权重训练的训练和验证的损失函数如图 6 所示，以及精度和召回率曲线。这些表明，损失函数在 150 个 epoch 后显着下降并收敛，而精度和召回率接近 1 并为后续训练做好了准备。

图 4. 所有 RSO 图像的宽度和高度分布。

图 5. 图像的灰度变换。左：变换前。右：变换后。

图 6. 初始重量训练的表现

为了分析我们网络的性能，我们使用两种不同的训练和测试策略进行比较。对于第一种策略，我们使用第 1 天的数据集训练模型，并在第 2 天的数据集上测试模型，然后我们基于第 3 天的数据集训练模型，并使用第 4 天的数据集测试模型。每个数据集包括超过 7000 张图像和 35,000 个标签，训练集与验证集的比例为 3:1。当采用第二种策略时，前两天的数据用于训练，后两天的数据用于测试。两种策略的收敛时间都保持在 40，但第二种策略的训练时间由于数据量增加了一倍而增加。图 7 表明预训练权重有效，训练过程从低损失和高召回率开始，因此节省了时间成本。

图7.模型训练的表现。

结果与讨论

网络训练完成后，我们会在测试集上评估其性能。我们还分析了仅由我们的网络检测到的新物体，以研究改进之处。在物体检测阶段，在获得每帧的物体检测结果后，使用广度优先搜索策略，这意味着生成所有潜在候选者的测量位置，而不管它们的置信度如何。然后，为了最大限度地减少误报，我们根据它们的置信度挑选前八个候选者。再加上训练有素的模型，检测效率通过这种方式得到提升。

采用上述两种策略，对每个天区提取连续的检测结果，得到轨迹，然后进行轨道相关，结果分别如表3和表4所示。可以发现，两种训练策略都比传统方法产生了更多的相关轨迹和检测到的物体，因此它们的性能更好。

此外，利用预先训练好的权重，我们的网络可以在不到 0.1 秒的时间内完成 2048 × 2048 帧的物体检测，这还不包括文件 I/O 时间成本。相比之下，传统方法在检测阶段将花费 1 ∼ 2 秒。需要注意的是，这种实现得益于 CNN 的结构。如果帧大小急剧增加（未来很可能会发生这种情况），时间成本不会显著增加，但相比之下，对于传统的图像处理方法，时间成本将相应增加。

基于第二种策略获得的数据进行了进一步的研究，该策略提取了更多的RSO和轨迹，并且错误检测更少。图8显示了第二天用传统方法和开发的网络获得的检测的星等分布，从星等分布来看，该图显示了最多的检测和轨迹，并且暗端的尾部更均匀。结果表明，分布相似，峰值在10∼12 mag之间，最暗的检测大于16 mag。我们的方法对亮物体和暗物体的性能都略好一些。详细信息如表5所示。可以发现，从四天的图像中都检测到了新的RSO。当然，有些轨迹和物体只能被我们的网络或之前的传统方法检测到，因此这两种方法的检测是不同的。图 9 显示了新探测到的物体的图像。这些图像表明，这些新探测到的物体不仅仅是点状的，而且还呈现出条纹或其他不规则形状。计算它们的视角速度后，表明它们是位于高地球轨道区域的典型 RSO。图 10 显示了通过轨道确定获得的这些物体的半长轴和偏心率，表明大多数新探测到的物体都位于高椭圆轨道 (HEO) 中，这些轨道表现出独特的动力学特性。值得注意的是，通过数据融合，很明显，在不部署新基础设施的情况下，轨迹和物体的数量将得到改善，并且系统的效率得到提高。

表3 首次应用策略检测结果

表4 第二种应用策略的检测结果

图 8. 使用传统方法和我们提出的网络的检测幅度分布。

图 9. 四个新发现的 RSO 的图像。

图 10. 新探测到的物体的半长轴和偏心率。

表 5 新检测物体与传统方法的比较

结论

由于现代光学和电子技术的发展，RSO 调查的基础设施和仪器得到了极大的改善。使用传统方法处理这些大量数据时，数据缩减方面出现了挑战。这里开发了一种使用深度学习的新型对象检测技术。基于端到端深度学习框架，该模型在大量原始数据上进行训练和测试。结果表明，与以前的方法相比，实现了类似的性能，并且可以实时缩减数据。此外，我们的网络检测到许多新的轨迹和物体，从而提高了系统的效率。结果表明，基于人工智能的技术可以为天文数据缩减实现强大的协同作用，并且它肯定会在未来发挥重要作用。