论文（六）：Fire-Net: A Deep Learning Framework for Active Forest Fire Detection

  论文名称：Fire-Net: A Deep Learning Framework for Active Forest Fire Detection（Fire-Net：用于主动森林火灾检测的深度学习框架）
  论文目的：提出名为Fire-Net的深度学习框架，在Landsat-8影像集上训练，用于检测活跃的火灾和燃烧的生物质。模型总体准确率为97.35%，且能检测小型活跃火灾。
  论文链接：点击跳转

1.Introduction

  一般地，传统火灾探测方法主要基于三个原则：

• 1.使用阈值方法检测高温像素。
• 2.分析像素邻域的方法，将高温像素与邻域像素进行比较。
• 3.基于产生的烟雾和移动的火柱检测火灾像素。

这些方法大多依赖于传统的机器学习方法。本文选择了Landsat-8卫星数据，与MODIS、VIRIIS 和 Sentinel-3 等其他卫星数据集相比，该数据集有更高的空间分辨率，这也提高了检测小型火灾的成本。本研究提出一种基于深度学习的新型主动火灾探测方法。此方法将 Landsat-8 卫星影像中的 RGB 和热影像组合在一起，利用卷积神经网络架构的强大功能来检测深度特征。主要成果如下：

• 提出基于深度学习的主动火灾检测框架——Fire-Net。
• 将空间和光谱特征相结合，不再使用单一的光谱特征进行检测。
• 利用 residual 和 depthwise 以及 separable 卷积块，并为不平衡问题引入新的损失函数。

2.Study Area

  本模型使用了以下五个研究区域，这些区域有不同的气候条件等环境特征：

不同区域的气候条件各不相同，这允许分析各种数据，以期生成更通用的模型。其中，使用北美、澳大利亚的火灾数据训练和验证模型，澳大利也、亚马逊雨林、中非、切尔诺贝利地区用于测试模型的可转移性。

2.1Landsat-8 Dataset

  Landsat-8 卫星传感器能够在 11 个光谱波段捕获数据，空间分辨率为 15 米（全色）、30 米（可见光、NIR 和 SWIR）和 100 米（热波段）。此外，该传感器以 16 天的时间分辨率从地球上收集数据集。由于这项研究需要 4 个光谱波段（R、G、B 和热波段），我们选择了标准的地形校正 Level 1 T 数据集。

2.2Inventory data

  从

• https://www.nasa.gov/image-feature/goddard
• https://www.nasa.gov/

网站（原文有链接）通过目视检查确定了活跃火灾的位置，再从 Landsat-8 数据集中提取相应的活动火灾位置，用于训练（65% 的样本）、验证（15% 的样本）和测试（20% 的样本）。在这项研究中，生成了 722 个大小为 256 × 256 像素的小型图像（简称图像块），分别由 469、109 和 144 个图像块分别用于训练、验证和测试模型。

3.Methodology

  研究中使用北美和澳大利亚的火灾数据作为Fire-Net深度学习算法和多尺度残差学习网络（MSR-U-Net）的训练与测试样本，并针对Landsat-8数据集有更高的空间分辨率与火灾结构的特点，提出了一种基于深度学习的双流深度特征提取器架构，即Fire-Net框架由两个深度特征提取器通道组成。第一个通道用于检测火灾，而第二个通道用于检测背景像素和非火灾物体。研究流程如下：

• 1.数据预处理：将Landsat-8图像分割为256x256大小的图像块（包含R、G、B和热波段，为四通道），并将数据集划分为训练、验证、测试数据集。
• 2.将训练、验证数据集用于训练模型以获得模型最佳权重，测试数据集用于评估模型性能，并停止条件设为250轮。
• 3.评估模型转移性：通过第二个（澳大利亚野火，各部分未参与训练）、第三个（亚马逊雨林）、第四个（中非）和第五个研究区域（切尔诺贝利）来检测模型转移性，并计算了七个指标。

3.1Image Pre-processing

  对Landsat-8 L-T产品图像进行预处理（辐射矫正、正射校正等），并将图像拆分为大小为 256 × 256 像素的图像块，热波段需要转化为辐射，然后转化为亮温（brightness temperature）以输入Fire-Net模型中训练。

3.2Proposed Deep Learning Architecture (Fire-Net)

  双流特征深度学习方法基于多尺度残差卷积神经网络，其利用了深度/逐点卷积、残差和多尺度卷积块的优势。有：

• 深度/逐点卷积：有效减少模型参数数量和计算成本。
• 残差块：防止梯度消失问题，且还提供了与更深网络相当的效率。
• 多尺度块：提高模型对尺寸变化的鲁棒性，实现小型火灾的探测性能。

架构如下，共包含两个流用于深度特征提取：

• 2D-multi-scale-shallow-block：二维多尺度浅块。
• 2D-multi-scale-residual-block：二维多尺度残差块。
• 2D-residual-block：二维残差块。
• 2D-convolution-block：二维卷积块。
• 2D-upsampling-block：二维上采样块。
• 2D-max-pooling-block：二维最大池化块。

首先使用多尺度二维卷积层提取浅层特征（2D-multi-scale-shallow-block，见
点击跳转），而提取的深度特征会被送到两个深度特征提取器通道中。由于小火可以覆盖小区域，因此在提取深层特征之前，我们对第一个通道使用了 2 倍的速率上采样（2D-upsampling-block），该流还结合了残差块和多尺度残差块（2D-residual-block、2D-multi-scale-residual-block，见点击跳转）。第二个通道不使用上采样，直接通过残差块和多尺度残差块进行特征提取，最后通过求和算子对两通道提取的深层特征进行融合，并将得到的单特征图送到2D卷积层并得到是否是火灾像素的标签。
  浅层深度提取器、残差块、多尺度残差块结构如下：

3.2.1Convolution Layers

  卷积层主要用于从输入数据中提取高级深度特征，Fire-Net架构主要采用三种策略：

• 使用多尺度核卷积（不同核大小的卷积核）实现对不同火灾规模的鲁棒性。
• 使用残差层防止梯度消失或爆炸的问题。
• 使用深度/点级卷积块，这种卷积层为每个输入特征只考虑一个滤波器。

  Fire-Net 架构中三个卷积层的结构如下：
【１】标准卷积核

【２】逐点卷积

【３】逐层卷积

本实验使用混合损失函数（权重－二进制－交叉－熵－骰子，weight－binary－cross－entropy - dice，WBCED）作为损失函数，其对小目标更有效。其实际上是骰子损失和加权交叉熵损失的组合，计算方式如下：

其中，p为预测值，y为真实值。Fire-Net 架构由自适应矩估计 （Adam） 优化器通过反向传播进行训练，其中权重使用 Golorot 初始化器进行初始化。用于训练 Fire-Net 的超参数如下：

• Batch-size=7
• Learning rate=0.001
• Number of Epochs：250

在Tensorflow v2.4.1和Keras v2.4.3上实现。

3.2.2 Evaluation Indices/methods or accuracy assessment.

  将Fire-Net与MSR-U-Net、五种机器学习方法（KNN、SVM、MLP、RF、XGBoost）的效果进行对比，其中，MSR-U-Net在将多尺度核卷积滤波器与残差块深度特征提取相结合方面与 Fire-Net具有相似性。

• KNN：k=4。
• SVM：penalty coefficient=10，Radial Basis=1000。
• MLP：共有两个隐藏层，分别有40、30个神经元。
• RF：树的数量=93，分割特征数量=3。
• XGBoost：估计器数量=105，最大深度=4，eta=0.03，最小子权重=1，子样本=0.8，colsample-bytree= 0.8。

4.Results

4.1 Australian Forest

  澳大利亚森林火灾检测结果如下图，其中Reference map表示参考地图：

两种深度学习方法都检测到了火灾区域，但MSR-U-Net的火灾边界像素出现误判。两种模型性能对比如下表：

• FPR（假阳性率）：预测错的正样本占全体负样本的比率。

可见，MSR-U-Net的MD值较低，FPR值较高。可见，Fire-Net 模型在主动火灾探测方面的错误率较低。其他机器学习算法的实验结果：

尽管 SVM 的 OA 最准确 （99.03%），但与精度、召回率和 F1 分数等其他指标相比，其表现较低。SVM 的 MD 指数 （99.98%） 表明它不能有效检测活跃的火灾。另一方面，与其他算法相比，RF 和 XGBOOST 表现出良好的性能。然而，总的来说，Fire-Net 的表现优于所有这些算法，因为它们在 7 个评估指标中缺乏稳健性、正确性和确定性。

4.2Central Africa Forest Fire

中非森林火灾区域较小，两种方法都能够检测到存在错误分类情况的活跃火灾。将图像放大：

由上图可见，Fire-Net覆盖率更多相关的火灾区域，检测到了MSR-U-Net 未检测到的几乎所有相关火灾像素。两个模型的数据如下：

  由上表可见，两种方法在检测非火灾像素方面都表现良好，而在检测火灾像素时，它们的准确性有所下降。对于此数据集，MD 率很高，并且两个网络都专注于非 fire 像素。KC 值较低表示两个网络的性能可靠性降低。

  由上表可见，五种模型大多检测到了FPR 值低于 1% 的非活跃火灾。此外，较低的 Precision 和 F1-Scores 值表明，与 Fire-Net 相比，这 5 种方法中没有看到所有 7 个评估指标之间的一致性和平衡性。

4.3Brazilian’s Forest Fire

同样将上图放大：

可以看出，两种方法都成功地检测到了火灾，Fire-Net 的性能优于 MSR-U-Net。Fire-Net 的准确率为 95.98%，召回率为 98.04%，接近零 FPR，F1 分数为 97.0%。

  从五种机器学习模型性能中可知，OA 基本相同，约为 99%。另一方面，精确度低于 60%，FPR 率低 （低于 1%），MD 率较高。这些表示主动火灾探测较弱。因此，这 5 种机器学习方法在该区域无法与 Fire-Net 相提并论。

4.4Chernobyl’s Forest Fire

同样将上图放大：

虽存在云层与小规模火灾，但两个网络性能仍良好。其中，MSR-U-Net 未能检测到少量活跃的火灾，Fire-Net模型仍显示出更高的准确率、召回率和 f1 分数。

5.Discussion

5.1Accuracy

  本研究提出了一种称为 Fire-Net 的深度网络用于主动森林火灾检测，根据 4 个不同的案例研究领域评估了网络的准确性，还将 Fire-Net 的结果与已建立的 MSR-U-Net 深度神经网络进行了比较。Fire-Net模型与其他火灾检测方法的性能比较：

关于系数的详细分析可参考原文。
  深度学习方法最重要的问题之一是数据集的平衡。火灾区域覆盖的区域非常小，而非火灾区域在场景中占主导地位。为了解决这个问题，本研究引入了新颖的损失函数，其结合骰子损失和加权二进制交叉熵。

5.2Feature Extraction

深度学习方法可以自动提取深度信息特征。值得注意的是，所提出的方法只使用了四个波段（红、绿、蓝和热）。这些波段是大多数 RS 卫星影像中最常见的波段和广泛可用的数据。因此，该方法可以由其他具有更高时间分辨率的卫星用于主动火灾探测和森林管理，以实现实时和连续的火灾监测。

5.3Transferability

  大多数提出的主动火灾探测方法都是基于阈值的，由于环境条件不同且森林布局多样，因此为决策设定恒定阈值是不切实际的。从深度学习的角度来看，Fire-Net与MSR-U-Net网络都基于深度学习，不需要对阈值进行硬编码。相反，在训练步骤中，每个网络都会通过优化过程发现连接每个节点的最佳权重。所有地区的可转移性都以高准确度清晰显示。

6.Conclusion

  提出了一种深度 CNN （Fire-Net） 来检测各个地区的活跃森林火灾，并将 Fire-Net 与另一种最先进的深度网络 MSR-U-Net 和其他常见的机器学习算法进行了比较。对主动火灾探测的结果进行了定性和定量评估。性能评估表明，主动火灾和非主动火灾检测之间存在权衡。由于小区域内活跃的火灾范围较小，大多数机器学习算法无法检测到小区域活跃的火灾，且算法的 OA 指数测量的高准确度主要针对非火灾区域。这些模型的其他指标，即精度、KC 和 F1 分数。相比之下，所提出的 Fire-Net 方法对主动和非主动火灾探测都显示出很高的有效性，且以高准确率和低漏检率检测到小型活跃火灾。

7.有用的参考文献

https://doi.org/10.3390/rs13020220
https://doi.org/10.1155/2021/6638241
https://doi.org/10.1080/07038992.2020.1776597
https://doi.org/10.3390/rs12060909
https://doi.org/10.1016/j.rse.2015.08.032
https://doi.org/10.3390/rs11030271,2-S2.0-85061366864
https://doi.org/10.1007/s10846-016-0464-7,2-s2.0-85008496954
https://doi.org/10.1109/PIERS-Spring46901.2019.9017857
https://doi.org/10.1109/TGRS.2019.2923248
https://doi.org/10.1016/j.rse.2017.06.028
https://doi.org/10.1007/s11069-004-1797-2,2-S2.0-20044375619

• Maskouni F. H. 和 Seydi S. T.，使用基于卷积神经网络的双时间 Sentinel-2 图像绘制森林燃烧区域地图：Golestan 森林案例研究，工程论文集。（2021） 10，第 1 期，6-11，https://doi.org/10.3390/ecsa-8-11291。

• Seydi S. T.、Hasanlou M. 和 Amani M.，用于多源遥感数据集中土地覆盖/土地利用变化检测的新型端到端多维 CNN 框架，遥感。（2020） 12，第 12 期，https://doi.org/10.3390/rs12122010。
• He K.、Zhang X.、任 S. 和 Sun J.，用于图像识别的深度残差学习，IEEE 计算机视觉和模式识别会议论文集，2016 年，美国内华达州拉斯维加斯，770–778，https://doi.org/10.1109/CVPR.2016.90,2-s2.0-84986274465。
• no S.、Kim T. H. 和 Lee K. M.，用于动态场景去模糊的深度多尺度卷积神经网络，IEEE 计算机视觉和模式识别会议 （CVPR） 会议记录，2017 年，美国夏威夷檀香山，257–265，https://doi.org/10.1109/CVPR.2017.35,2-s2.0-85041912102。
• Oliva P. 和 Schroeder W.，用于直接燃烧区域测绘的 VIIRS 375 m 主动火灾探测产品的评估，环境遥感。（2015） 160， 144–155， https://doi.org/10.1016/j.rse.2015.01.010， 2-s2.0-85027956544.
• Giglio L.、Schroeder W. 和 Justice C. O.，集合 6 MODIS 主动火灾探测算法和火灾产品，环境遥感。（2016） 178， 31–41， https://doi.org/10.1016/j.rse.2016.02.054， 2-s2.0-84960331039， 30158718.