视觉目标检测之小目标检测技术调研与实验

定义

小目标检测是计算机视觉领域中的一个极具挑战性的问题。小目标检测广义是指在图像中检测和识别尺寸较小、面积较小的目标物体。

通常来说，小目标的定义取决于具体的应用场景，但一般可以认为小目标是指尺寸小于 32*32 像素的物体，如下图 COCO 公开数据集的定义。当然，对于不同的任务和应用，小目标的尺寸和面积要求可能会有所不同。

挑战

基于上述描述以及近年来研究的进展，小目标检测面临的技术挑战主要体现在以下几个方面：

1. 特征提取难度大

   • 区域太小，信息有限：小目标在图像中仅占据极少的像素区域，深度学习模型在卷积过程中经过多次下采样后，很容易丢失细粒度信息，使得特征提取效果大打折扣。
   • 细节不足：相比于常规尺寸目标，小目标往往缺乏丰富的纹理、颜色和形状细节，导致模型难以学习到充分的判别特征。
     一般解决方案：增大输入图像分辨率。将输入图像的分辨率提高，以便更好地捕捉目标的细节。

2. 背景干扰与噪声问题

   • 易被误判为噪声：由于尺寸较小，小目标在特征图中可能与背景噪声难以区分，容易被误认为是背景中的随机噪点，增加了误检和漏检的风险。
   • 复杂背景环境：在一些复杂场景（如室内会议、街景等），背景中大量冗余信息可能会淹没小目标的特征，进一步降低检测精度。

3. 尺度不匹配与多尺度检测

   • 尺度不平衡：现有检测网络往往在设计时侧重于中、大尺寸目标，小目标所对应的特征层分辨率较低，难以准确定位和识别。
   • 多尺度融合困难：虽然一些方法采用了多尺度特征融合策略，但如何在不同尺度间有效传递和聚合信息，仍然是一个亟待解决的问题。
     一般解决方案：多尺度特征融合。由于小目标的尺寸较小，其特征信息往往分布在图像的多个尺度中，因此需要在多个尺度的特征图中进行融合，以提高模型对小目标的感知能力。常见的多尺度特征融合方法包括 Feature Pyramid Networks（ FPN） 和 Path Aggregation Network（ PAN） 等。

4. 检测器设计的局限性

   • 锚框匹配问题：常见的锚框（Anchor）机制在面对小目标时，预设的尺寸往往过大或位置不匹配，导致匹配不到合适的候选区域。
   • 区域提议算法不足：对于小目标，传统的区域提议方法（如 RPN）可能难以生成足够多且精确的候选框，从而影响后续的检测效果。
     一般方案：无锚点设计，不再预测锚框。

5. 数据标注与样本不平衡

   • 标注精度问题：由于小目标尺寸较小，在数据标注时容易出现不准确的情况，进一步影响模型的训练效果。
   • 正负样本比例失衡：在训练数据中，小目标的正样本数量往往较少，正负样本比例严重失衡，容易导致模型偏向于检测大目标或对小目标的识别不足。

6. 实际应用场景的限制

   • 视角与位置问题：例如在室内会议场景中，如果摄像头位于固定角度（如左上角），远离镜头的区域（如对角线位置）的小目标检测效果往往更差，这也暴露了模型对不同视角和区域的适应性不足。
   • 实时性与效率要求：在一些实时监控或自动驾驶等应用中，要求模型不仅要具备高精度，还需在有限的计算资源下快速响应，这对小目标检测算法提出了更高的挑战。

常见技术方案

1. 图像输入分辨率与样本均衡等，或场景分析，比如特定区域裁剪。
2. 多尺度特征融合。多尺度特征融合是提高检测精度（特别是小目标检测）的一项关键技术。
3. 注意力机制。可以理解成nlp的attention.yolo11有个block是attention机制。 常见的注意力机制包括SENet、SKNet等。
4. 长跳跃连接。将不同层级的特征图进行融合的一种方法，可以帮助模型更好地捕捉不同层级的特征信息。众所周知，浅层特征图的细节信息丰富但语义信息较弱，深层特征图则与之相反。因此，在小目标检测中，可以将低层级的特征图和高层级的特征图进行融合，以增强对小目标的定位能力。
5. 数据增强、尺度变换、随机裁剪、高级组合。通过对数据进行随机变换来增加数据样本的数量和多样性，如将原始图像缩小一定比例，从而得到多个尺寸较小的图像样本。在不改变目标位置的情况下，可以通过随机裁剪的方式得到多个不同的图像样本，以增加数据的多样性。Mosaic 增强，其由多张原始图像拼接而成，这样每张图像会有更大概率包含小目标。
6. 大图切分Tiling预处理。
7. SAHI，即切片辅助超级推理，是一个专用于小目标检测的推理框架，理论上可以集成到任意的目标检测器上。小目标检测的切片辅助推理介绍链接
8. 其他技术优化，如损失函数。或专门针对小目标进行二次检测。

yolo在小目标识别上的改进

以下是YOLO系列主要是从V1到V11各版本的对比分析，重点聚焦小目标识别能力的改进：

1. YOLOv1（2015）

• 核心特点：首次提出单阶段检测框架，直接回归边界框坐标和类别概率，但网格划分粗糙（7×7），每个网格仅预测2个框。
• 小目标问题：网格划分稀疏，难以检测密集或小目标；全连接层导致空间信息丢失，小目标特征易被忽略。
• 改进方向：未针对小目标优化，召回率低。

2. YOLOv2（2016）

• 关键改进：
  • 引入Anchor Boxes（通过k-means聚类生成5个先验框）和Passthrough层（融合高分辨率浅层特征）。
  • 多尺度训练（输入图像尺寸动态调整）。
• 小目标优化：
  • Passthrough层通过拆分和拼接特征图，增强小目标的细节保留。
  • 但Anchor Box数量有限，对小目标的覆盖仍不足。

3. YOLOv3（2018）

• 突破性改进：
  • 多尺度预测：结合FPN（特征金字塔网络），在13×13、26×26、52×52三种尺度上检测目标，分别对应大、中、小物体。
  • 更密集的Anchor Boxes：9个聚类生成的锚框，覆盖更多尺寸比例。
• 小目标优化：
  • 52×52的细粒度特征图显著提升小目标检测能力。
  • 残差网络（Darknet53）增强了深层特征的表达能力。

4. YOLOv4（2020）

• 核心技术：
  • Mosaic数据增强：拼接四张图像，模拟小目标密集场景。
  • SPP模块（空间金字塔池化）：融合不同感受野的特征，增强多尺度特征提取。
  • PANet：自顶向下和自底向上的双向特征融合，优化小目标特征传递。
• 小目标优化：
  • 通过多尺度数据增强和更复杂的特征融合机制，提升小目标的鲁棒性。

5. YOLOv5（2020）

• 改进点：
  • 自适应锚框计算：根据数据集自动调整锚框尺寸，减少人工干预。
  • Focus结构：切片操作保留高分辨率信息，减少计算量。
• 小目标优化：
  • 输入分辨率提升至640×640，捕捉更多细节。
  • 跨网格匹配策略（匹配目标中心附近的3个网格），增加小目标的候选框数量。

6. YOLOv6（2022）

• 创新设计：
  • RepConv重参数化卷积：提升推理速度的同时保持精度。
  • SimOTA动态标签分配：优化正样本选择，减少漏检。
• 小目标优化：
  • 引入EfficientRep骨干网络，通过轻量化设计减少浅层特征丢失。

7. YOLOv7（2022）

• 关键技术：
  • ELAN模块（高效层聚合网络）：增强特征复用和梯度传播。
  • 动态正样本分配（OTA）：根据IoU和分类得分动态选择最佳匹配。
• 小目标优化：
  • 通过浅层特征的高效聚合，保留更多小目标细节。

8. YOLOv8（2023）

• 核心改进：
  • C2F模块：结合跨阶段特征和残差连接，优化梯度流。
  • 解耦检测头：分离分类和回归任务，减少干扰。
• 小目标优化：
  • TAL标签分配策略：基于对齐度量（align_metric）动态筛选正样本，提升小目标定位精度。

9. YOLOv9（2024）

• 突破性技术：
  • PGI（程序化梯度信息）：解决深层网络梯度消失问题，保留小目标的关键特征。
  • GELAN网络：通过梯度路径规划优化特征融合，增强多尺度表达能力。
• 小目标优化：
  • 在COCO数据集上，小目标检测精度（AP_S）提升约5%。

10. YOLOv10（2024）

• 创新设计：
  • 双标签分配策略：同时优化分类和回归任务，减少漏检。
  • 空间-通道解耦下采样：减少下采样过程中的信息丢失。
• 小目标优化：
  • 消除NMS后处理，直接输出最优检测框，减少冗余计算对小目标的影响。
• 清华大学构建的源码

10. YOLOv11（2024）

• 创新设计：
  • 增强的特征提取能力：通过改进Backbone和Neck架构，新增了C3k2和C2PSA等组件，提升了目标检测的精度。
  • 优化效率和精度：重新设计了架构，优化了训练流程，提高了处理速度。YOLO11m在COCO 数据集上实现更高mAP，且参数滅少 22%。
• 小目标优化：
  • C3k2和C2PSA组件，特征提取在多目标检测和遮挡方面变现更好。
• 正统官方Ultralytics实现。也分大中小预训练模型。
• 技术参考链接：YOLO11来啦 | 详细解读YOLO11的改进模块！

小目标识别能力总结

yolo系列补充

YOLOv10 和 YOLOX 是 YOLO 系列中两个不同的分支，它们在设计理念、技术实现和应用场景上有显著区别。以下是两者的详细对比：

1. 设计理念

• YOLOv10：

  • 是 YOLO 系列的正统延续，基于 YOLOv8 和 YOLOv9 的改进，专注于 精度与速度的平衡。
  • 强调 无锚点设计 和 后处理优化，减少冗余计算，提升小目标检测能力。
  • 目标是成为通用目标检测的标杆模型。

• YOLOX：

  • 是 YOLO 系列的一个 创新分支，由旷视科技（Megvii）团队开发。
  • 强调 无锚点设计 和 解耦检测头，简化了传统 YOLO 的锚框机制。
  • 目标是 轻量化 和 高效推理，适合实时检测和边缘计算。

4. 优缺点对比

YOLOv10

• 优点：
  • 无锚点设计简化了模型结构，减少超参数调优。
  • 消除NMS后处理，提升推理效率。
  • 在小目标检测上表现优异。
• 缺点：
  • 模型复杂度较高，对硬件资源要求较高。
  • 训练和调优需要更多计算资源。

YOLOX

• 优点：
  • 无锚点设计和解耦检测头使其在速度和精度之间取得良好平衡。
  • 适合实时检测和边缘计算场景。
  • 训练和部署相对简单。
• 缺点：
  • 对小目标的检测能力略逊于 YOLOv10。
  • 仍然依赖NMS后处理，可能存在冗余计算。

5. 适用场景

• YOLOv10：

  • 适合对 精度要求高 的场景，尤其是小目标检测任务。
  • 适合通用目标检测，如自动驾驶、安防监控等。

• YOLOX：

  • 适合 实时检测 和 边缘计算 场景，如移动端应用、无人机检测等。
  • 适合对速度和轻量化要求较高的任务。

• 如果你需要 高精度检测，尤其是小目标检测，且硬件资源充足，推荐 YOLOv10。

• 如果你需要 实时检测 或 轻量化部署，且对精度要求适中，推荐 YOLOX。

关注yolo模型 V8与V10性能对比

综合实验

综合上述分析，结合最新yolo v11特性，很明显，V11添加的算法更适合小目标识别。后续以V11作为base进行实验研究。顺便对比V8

• ultralytics官方提供的平均精度值与响应时延对比图。y轴为目标检测coco数据集中，在定位精度交并比loU为0.5-95阈值下，模型对80类目标的平均检测精度。
  
  
• 此次实验选择下载官方的中杯模型yolo11m.pt，实验数据集是自己摄像头收集的人形检测。
• 主要观测的测试图片如下，里面远侧有三个小人。一个骑电车、一个跑步、一个在画廊施工。
  

v8对比v11实验结果

• yolo-V8下，直接按数据集进行微调后，推理效果，实际是漏检的。
  
• yolo v11m，在源模型上二次微调的效果，实际多检出一个人。
  

yolov11 --model.train()函数的参数(Train Settings)

特别补充：imgsz必须是32的整数倍，且输入resize成正方形，不可以像(1024, 768)。原因是如下:

将输入图像resize到一个固定的尺寸这件事贯穿了DL在目标检测领域的始终：

1. 在r-cnn刚提出的阶段，由于网络结构的限制，进入全连接层的输入维度必须是固定的，那么一个最简单的解决方案就是把输入图像归一化到固定的尺寸，得到输出后反变换回去。这种resize的做法实际上是为了适应卷积神经网络的一种让步。
2. 随着人们对检测精度的追求，大家开始关注resize所带来的损失。不论是sppnet还是roi pooling，他们都致力于将任意维度的特征图转化成固定的维度以适应全连接的输入，这一思路从理论上解除了整个检测网络对输入的尺寸依赖，这也是fast r-cnn的一个改进点，从此输入图像可以是任意宽高。
3. 然而各路算法在使用gpu做加速的过程中遇到了新的问题，每一个batch的计算必须拥有相同的size，这是算法本身之外的一个限制，但这个限制却成为了并行加速计算的拦路虎。yolo的作者针对这个情况，在不改变原始图像宽高比的前提下进行了resize操作，具体的做法是对不符合原图比例的区域进行padding.
4. 下图是yolov11图像变换源码位置，实际是用插值法缩放成正方形。
   

数据增强设置和超参数

数据增强技术对于提高 YOLO 模型的鲁棒性和性能至关重要，它通过引入训练数据的变异性，帮助模型更好地泛化到未见过的数据。下表概述了每个增强参数的目的和效果：

数据集格式，voc、yolo、coco数据集标准

在目标检测这块，yolo支持很多种数据格式，包括经典的coco、新版coco8、VOC等格式。我们重点关注常用目标检测格式经典COCO和VOC.
yolo兼容coco和voc， 只要吧dataset的yaml文件填写正确即可。

对于yolo的输入voc格式

对于yolo输入的coco格式

yolo的dataset配置文件yaml样例

以上是对于yolo来说的数据集格式，一般就是新增一个yaml文件即可。而标准的coco数据格式并不是完全一致，下面以coco数据集举例。

coco标准数据集(目标检测部分)

coco经典数据集，除了image文件夹外，就是annotation文件夹，里面配备的json标注文件。coco.json标注信息如下图，核心文件夹在就行，三个文件夹categories用于表明class类别，images下每个dict说清每张图片信息等，annotations里就是标注信息啦，比如矩形框或多边形框的坐标。

coco和yolo数据集互转代码

# -*- encoding: utf-8 -*-
"""
@File    :   coco_annotations_json_builder.py
@Description    :  YOLO 格式的数据集转化为 COCO 格式的数据集
@Author    :   一只特立独行的羱
@Contact :   未知
@License :   (C)Copyright 2019-2030,xx

@Modify Time         @Version   
------------         --------
2025/2/18 14:26         1.0  
"""

import os
import cv2
import json
import yaml
import pathlib
from tqdm import tqdm
from typing import List
from pycocotools.coco import COCO

import os
import json
from pycocotools.coco import COCO
from tqdm import tqdm


def coco2yolo(coco_annotation_file, split_name='train'):
    root_path = pathlib.Path(coco_annotation_file).resolve().parent
    output_dir = root_path.joinpath(f"labels/{split_name}")
    image_dir = root_path.joinpath('images')
    name, stem = pathlib.Path(coco_annotation_file).name, pathlib.Path(coco_annotation_file).stem
    pathlib.Path(output_dir).parent.mkdir(parents=True, exist_ok=True)
    # 加载COCO标注文件
    coco = COCO(coco_annotation_file)

    # 获取所有图像的ID
    image_ids = coco.getImgIds()

    # 遍历每张图像
    for image_id in tqdm(image_ids):
        # 获取图像信息
        image_info = coco.loadImgs(image_id)[0]
        image_width = image_info['width']
        image_height = image_info['height']
        image_filename = image_info['file_name']

        # 获取该图像的所有标注
        annotation_ids = coco.getAnnIds(imgIds=image_id)
        annotations = coco.loadAnns(annotation_ids)

        # 创建YOLO格式的标注文件
        yolo_annotation_file = os.path.join(output_dir, os.path.splitext(image_filename)[0] + '.txt')

        with open(yolo_annotation_file, 'w') as f:
            for ann in annotations:
                # 获取类别ID
                class_id = ann['category_id']

                # 获取边界框信息
                bbox = ann['bbox']
                x_min, y_min, width, height = bbox

                # 计算中心点坐标和归一化值
                x_center = (x_min + width / 2) / image_width
                y_center = (y_min + height / 2) / image_height
                norm_width = width / image_width
                norm_height = height / image_height

                # 写入YOLO格式的标注
                f.write(f"{class_id} {x_center} {y_center} {norm_width} {norm_height}\n")
    # 生产数据划分的test.txt
    image_relative_path = pathlib.Path(image_dir).joinpath(split_name).relative_to(root_path)
    with open(f"{root_path}/{stem}.txt", 'w') as f:
        for image_id in image_ids:
            image_info = coco.loadImgs(image_id)[0]
            image_filename = image_info['file_name']
            image_path = f"./{image_relative_path}/{image_filename}"

            f.write(f"{image_path}\n")


def yolo2coco(config_path, splitset: List[str]):
    if splitset is None:
        splitset = ['train', 'val']
    root_path = pathlib.Path(config_path).resolve().parent
    assert os.path.exists(str(root_path))
    # 读取 YAML 文件
    with open(config_path, "r") as file:
        config = yaml.safe_load(file)
    classes = config['names']
    dataset_catgories = []  # 选择的数据集划分类别
    for per in splitset:
        catgory = config[per]
        ph = pathlib.Path.joinpath(root_path, catgory)
        dataset_catgories.append(ph)

    print("Loading data from ", root_path)

    # 标注信息
    for cat in dataset_catgories:
        print(f"builder coco json by {cat}")
        # categories
        coco_json = {'categories': [], 'annotations': [], 'images': []}
        for i, cls in classes.items():
            coco_json['categories'].append({'id': i, 'name': cls, 'supercategory': None})

        contents = cat.read_text(encoding='utf8').splitlines()

        # 标注的id
        ann_id_cnt = 0
        for index, k in enumerate(tqdm(contents)):
            # 图片名称和图片全称
            name, stem = pathlib.Path(k).name, pathlib.Path(k).stem
            # 获取图片和标签
            img_path = root_path.joinpath(k)
            label_path = pathlib.Path(str(root_path.joinpath(k).with_suffix('.txt')).replace("/images/", "/labels/"))

            # 读取图像的宽和高
            im = cv2.imread(str(img_path))
            height, width, _ = im.shape
            # 添加图像的信息
            coco_json['images'].append({'file_name': name,
                                        'id': index,
                                        'width': width,
                                        'height': height})

            # 添加标签
            if not os.path.exists(label_path):
                # 如没标签，跳过，只保留图片信息。
                print(f"该标签路径不存在：{label_path}")
                continue

            labelList = label_path.read_text(encoding='utf8').splitlines()
            for label in labelList:
                label = label.strip().split()
                x = float(label[1])
                y = float(label[2])
                w = float(label[3])
                h = float(label[4])

                # convert x,y,w,h to x1,y1,x2,y2
                H, W, _ = im.shape
                x1 = (x - w / 2) * W
                y1 = (y - h / 2) * H
                x2 = (x + w / 2) * W
                y2 = (y + h / 2) * H
                # 标签序号从0开始计算。
                cls_id = int(label[0])
                width = max(0, x2 - x1)
                height = max(0, y2 - y1)
                coco_json['annotations'].append({
                    'area': width * height,
                    'bbox': [x1, y1, width, height],
                    'category_id': cls_id,
                    'id': ann_id_cnt,
                    'image_id': index,
                    'iscrowd': 0,
                    # mask, 矩形是从左上角点按顺时针的四个顶点
                    'segmentation': [[x1, y1, x2, y1, x2, y2, x1, y2]]
                })
                ann_id_cnt += 1

        # 保存结果
        json_name = f"{cat.stem}_coco_annotation.json"
        output_path = f"{root_path}/output/{json_name}"
        pathlib.Path(output_path).parent.mkdir(parents=True, exist_ok=True)
        with open(output_path, 'w') as f:
            json.dump(coco_json, f, allow_nan=True, ensure_ascii=True, indent=2)
            print('Save annotation to {}'.format(json_name))


if __name__ == "__main__":
    # arg = "/Volumes/storage/PythonProjects/LocalProcess/data/ytdzwl_coco/ytdzwl_coco.yaml"
    # yolo2coco(config_path=arg,splitset=['test'])
    cfg_path = "/Volumes/storage/PythonProjects/LocalProcess/data/slice/val_coco.json"
    coco2yolo(coco_annotation_file=cfg_path, split_name='val')

coco标注数据查看结果代码

# -*- encoding: utf-8 -*-
"""
@File    :   coco_view.py
@Description    :   None 
@Author    :   一只特立独行的羱
@Contact :   未知
@License :   (C)Copyright 2019-2030,xx

@Modify Time         @Version   
------------         --------
2025/2/19 09:31         1.0  
"""
import json
import matplotlib.pyplot as plt
import matplotlib.patches as patches
from PIL import Image
import numpy as np
from pycocotools.coco import COCO

# 设置路径
annotation_path = "/Volumes/storage/PythonProjects/LocalProcess/data/slice/annotation/test_coco.json"
image_dir = "/Volumes/storage/PythonProjects/LocalProcess/data/slice/images/test"

# 初始化COCO API
coco = COCO(annotation_path)

# 获取所有图像ID，或指定特定ID
image_ids = coco.getImgIds()
selected_id = image_ids[1]  # 选择第一张图像

# 加载图像信息
image_info = coco.loadImgs(selected_id)[0]
image_path = f"{image_dir}/{image_info['file_name']}"
image = Image.open(image_path)

# 加载标注信息
annotation_ids = coco.getAnnIds(imgIds=selected_id)
annotations = coco.loadAnns(annotation_ids)

# 创建画布
fig, ax = plt.subplots(1)
ax.imshow(image)
print('标注个数：', annotations.__len__())
# 绘制标注
for ann in annotations:
    # 获取bbox坐标（COCO格式: [x, y, width, height]）
    x, y, w, h = ann['bbox']
    # 创建矩形框
    rect = patches.Rectangle((x, y), w, h, linewidth=1, edgecolor='r', facecolor='none')
    ax.add_patch(rect)

    # 添加类别标签
    category = coco.loadCats(ann['category_id'])[0]['name']
    label = f"{category}"
    ax.text(x, y - 5, label, color='r', fontsize=8, backgroundcolor='white')

plt.axis('off')
plt.show()

实验结果记录

鱼塘训练和测试集的情况说明

1. 数据格式为经典coco格式，共有2个类别，person、boat，核心是person。
2. train有339条，val有81条(从标注中随机抽取的)，test有31条。
3. 单张图像信息为：图像尺寸宽高: 2560x1440；通道数: 3；像素总数: 3686400；

基于yolov11m.yaml的框架，没有base下训练，在test集中表现(混淆矩阵)，有两个类别person、boat，主要关注person：

基于yolov11m.pt的base上训练，在test集中表现：

基于yolov8.yaml的训练，在test集中表现：

基于yolov11m.pt的base上训练，并且调整入模resize为1056，在test集中表现：

基于yolov11m.pt的base上训练，并且调整入模resize为2112（按显卡24G显存下，只能设置batch=1），在test集中表现：

基于yolov11m.pt的base上训练，对数据集进行按960分辨率切片，一张原图切片成6个slice,并且调整入模resize为960。在不去除backgroud下直接使用，评测如下(此份结果不一定准确)：

基于yolov11m.pt的base上训练，对数据集进行按960分辨率切片，一张原图切片成6个slice,并且调整入模resize为960。对数据集进行数据清洗，保证background在10%以下：

undo

显存不足，如何解决？

1. 降低batch_size。如果batch太小，容易陷入局部最优，导致泛化差。批量大小的设置不仅受显存限制，还会影响训练速度、梯度稳定性、泛化能力、收敛速度等多个方面。合理选择批量大小需要综合考虑显存容量、数据集大小、任务复杂度等因素，并通过实验进行调优。常见的批量大小值包括 16、32、64、128 等，具体选择取决于任务需求和硬件条件。
2. 多卡并行。yolo支持多卡数据并行的方式，即如果总批量大小为 64，使用 4 张 GPU，则每张 GPU 处理 16 个样本。因为要卡通信使用nccl，部分显卡不一定能通信成功。
3. 混合精度训练。使用 FP16（半精度浮点数）代替 FP32（单精度浮点数），显存占用减少一半。在 YOLOv11 中，可以通过设置 --amp 参数启用混合精度训练。一般来说，yolo要按基础模型做一遍前向传播检测兼容性。

结论

分析

1. 小目标必须分辨率足够，肉眼可见人形。但由于模型输入是经过resize的，所以也要保证resize后能捕捉到人形，所以，resize越大，卷积捕捉的信息越大。需要让输入尽量匹配训练的size.
2. 因便于并行和cnn，yolo都是采用正方形resize，这会导致形变，如果长宽比相差过大，需要考虑裁剪。
3. 滑动窗口可以很好解决高分辨率下的小目标识别问题，但由于训练的数据并非切分滚动的数据，所以会导致很多检出很多目标。
4. 训练过程，resize多尺寸可以增强识别力，但在分辨率和显存不足的情况下，作用比太小。

方案

1. 尽量把输入的resize设大，让模型匹配输入像素。
2. 如果关键区域能确定，可以直接裁剪训练集，让输入是监控重点区域的正方形。
3. 如果输入分辨率很大，建议使用图像分区，比如长方形，切割成4块正方形区域，并构建训练集。推理时也同样方式构建。加工方式使用SAHI框架。
4. 要增加负样本，比如没有目标的图像background，大概占比10%，可以增加鲁棒性。
5. 数据不足时，因预训练模型中也有人形检测，在base基础上叠加训练，效果更好。

<文档还在更新完善中…>