语义分割数据集介绍——Camvid和Cityscapes介绍
Camvid数据集介绍
官方下载地址
http://mi.eng.cam.ac.uk/research/projects/VideoRec/CamVid/
概述
CamVid全称： Cambridge-driving Labeled Video Database
CamVid 数据集是由剑桥大学公开发布的城市道路场景的数据集，它包括 701 张精准标注的图片用于语义分割，如果要使用CamVid数据集做目标检测，就需要bbox标签，
数据集包括 701 张精准标注的图片用于语义分割模型训练，可分为训练集、验证集、测试集。
类别占比
数据库提供32个ground truth语义标签，各个类别占比如下图：
Camvid 语义标签为RGB图片，各个类别对应的颜色name_color_dict如下：
name_color_dict={ 'Animal': [64, 128, 64],
'Archway': [192, 0, 128],
'Bicyclist': [0, 128, 192],
'Bridge': [0, 128, 64],
'Building': [128, 0, 0],
'Car': [64, 0, 128],
'CartLuggagePram': [64, 0, 192],
'Child': [192, 128, 64],
'Column_Pole': [192, 192, 128],
'Fence': [64, 64, 128],
'LaneMkgsDriv': [128, 0, 192],
'LaneMkgsNonDriv': [192, 0, 64],
'Misc_Text': [128, 128, 64],
'MotorcycleScooter': [192, 0, 192],
'OtherMoving': [128, 64, 64],
'ParkingBlock': [64, 192, 128],
'Pedestrian': [64, 64, 0],
'Road': [128, 64, 128],
'RoadShoulder': [128, 128, 192],
'Sidewalk': [0, 0, 192],
'SignSymbol': [192, 128, 128],
'Sky': [128, 128, 128],
'SUVPickupTruck': [64, 128, 192],
'TrafficCone': [0, 0, 64],
'TrafficLight': [0, 64, 64],
'Train': [192, 64, 128],
'Tree': [128, 128, 0],
'Truck_Bus': [192, 128, 192],
'Tunnel': [64, 0, 64],
'VegetationMisc': [192, 192, 0],
'Void': [0, 0, 0],
'Wall': [64, 192, 0],
}
语义标签转成bbox标签
选择需要提取的类别 names = [‘Pedestrian’, ‘Car’, ‘Truck_Bus’]，根据 camvid 语义分割标签结果提取目标检测bbox标签的代码如下：
import cv2
import torch
import numpy as np
from PIL import Image
import matplotlib.pyplot as plt
def mask_to_2D(label):
""" return: semantic_map -> [H, W] """
color_list = list(name_color_dict.values())
semantic_map = np.zeros(label.shape[:-1])
for index, color in enumerate(color_list):
equality = np.equal(label, color)
class_map = np.all(equality, axis=-1)
semantic_map[class_map] = index
return semantic_map
def draw_box(img, boxes, colors):
""" plots one bounding box on image img """
for box, color in zip(boxes, colors):
cv2.rectangle(img, (box[0], box[1]), (box[2], box[3]), color, thickness=2, lineType=cv2.LINE_AA)
plt.imshow(img)
plt.axis('off')
plt.show()
def get_bbox(label_file, names):
""" get bbox from semantic label """
# convert RGB mask to 2D mask
mask = np.array(Image.open(label_file))
mask_2D = mask_to_2D(mask)
mask_to_save = np.zeros_like(mask_2D)
# instances are encoded as different colors
obj_ids = np.unique(mask_2D)
# split the color-encoded mask into a set of binary masks
masks = mask_2D == obj_ids[:, None, None]
# get bounding box coordinates for each mask
num_objs = len(obj_ids)
boxes, colors = [], []
for i in range(num_objs):
id = obj_ids[i]
name = list(name_color_dict.keys())[int(id)]
if name in names:
binary = masks[i].astype(np.int8)
num_labels, labels = cv2.connectedComponents(binary, connectivity=8, ltype=cv2.CV_16U)
for id_label in range(1, num_labels):
temp_mask = labels == id_label
pos = np.where(temp_mask)
xmin = np.min(pos[1])
xmax = np.max(pos[1])
ymin = np.min(pos[0])
ymax = np.max(pos[0])
# filter result by setting threshold of width and hegith: 20
if (xmax - xmin) > 20 and (ymax - ymin) > 20:
boxes.append([xmin, ymin, xmax, ymax])
color = list(name_color_dict.values())[int(id)]
colors.append(color)
mask_to_save[pos] = id_label
# draw mask and bbox
draw_box(mask, boxes, colors)
if __name__ == '__main__':
names = ['Pedestrian', 'Car', 'Truck_Bus']
label_file = "camvid/labels/0001TP_006690_L.png"
label = np.array(Image.open(label_file))
get_bbox(label_file, names)
得到bbox标签之后，就可以使用camvid数据集同时做语义分割和目标检测了。
Cityscapes数据集
官方下载地址
https://www.cityscapes-dataset.com/
概述
Cityscapes数据集简单介绍：
城市街景数据集 Cityscapes 收集了来自 50 个不同城市、良好天气条件下的街景，共包含 5000 张高分辨率（1024x2048）图像。其中 3475 张带标注的图像用于训练和验证（2975 张用于训练，500 张用于验证），1525 张未标注图像用于测试。此外，数据集中还提供了 20000 张弱标注图像供研究使用。该数据集涵盖 30 多种类别，主要包括城市街景中的车辆、行人、建筑物、道路等常见物体和场景。
参考
1、Cityscapes数据集：如何将像素级的多边形标注的分割数据标注转为目标检测的bbox标注
2、目标检测: Camvid 语义标签转化为bbox标签