智能驾驶汽车虚拟仿真视频数据理解(一)
赛题官网
datawhale 赛题介绍
跑通demo paddle
跑通demo torch
- 提交的障碍物取最主要的那个?不考虑多物体提交。
- 障碍物,尽可能选择状态发生变化的物体。如果没有明显变化的,则考虑周边的物体。
- 车的状态最后趋于减速、停止,时序模型可能会影响结果。样本处理时有对运动做加速,但是视频剪辑没有剪得特别好,考虑中间主要的运动场景。
- 注释文本:中英文。
- 没有公开训练数据集,只有测试数据集。
五个样例,甚至30个测试样本也可以用来自己标注。
滴滴?
标签信息
“scerario” : [“suburbs”,“city street”,“expressway”,“tunnel”,“parking-lot”,“gas or charging stations”,“unknown”]
“weather” : [“clear”,“cloudy”,“raining”,“foggy”,“snowy”,“unknown”]
“period” : [“daytime”,“dawn or dusk”,“night”,“unknown”]
“road_structure” : [“normal”,“crossroads”,“T-junction”,“ramp”,“lane merging”,“parking lot entrance”,“round about”,“unknown”]
“general_obstacle” : [“nothing”,“speed bumper”,“traffic cone”,“water horse”,“stone”,“manhole cover”,“nothing”,“unknown”]
“abnormal_condition” : [“uneven”,“oil or water stain”,“standing water”,“cracked”,“nothing”,“unknown”]
“ego_car_behavior” : [“slow down”,“go straight”,“turn right”,“turn left”,“stop”,“U-turn”,“speed up”,“lane change”,“others”]
“closest_participants_type” : [“passenger car”,“bus”,“truck”,“pedestrain”,“policeman”,“nothing”,“others”,“unknown”]
“closest_participants_behavior” : [“slow down”,“go straight”,“turn right”,“turn left”,“stop”,“U-turn”,“speed up”,“lane change”,“others”]
上传json格式示例
{
"author" : "abc" ,
"time" : "YYMMDD",
"model" : "model_name",
"test_results" :[
{
"clip_id" : "xxxx_1",
"scerario" : "cityroad",
"weather":"unknown",
"period":"night",
"road_structure":"ramp",
"general_obstacle":"nothing",
"abnormal_condition":"nothing",
"ego_car_behavior":"turning right",
"closest_participants_type":"passenger car",
"closest_participants_behavior":"braking"
},
{
"clip_id" : "xxxx_2"
... ...
},
... ...
}
数据集
行人检测数据集(极市平台的补充版)
无人驾驶数据集使用指南2019
bdd100k
技术栈参考?
官方技术栈参考
下一步规划
clip
夏令营往期优秀笔记
解题思路
YOLO 目标检测
关键点
提取到关键点之后,做关键点匹配。
匹配有一个距离的计算,做暴力计算。
通过视频,做关键点匹配,判断左图到右图是否有旋转的变化?判断关键点的运动。
运动间隔
两帧的结果,查看变化,
车道线检测
识别道路路线,得到分割的结果,判断是不是直行,拐弯。
CLIP
OPENAI 开源的一个多模态模型.
自监督的方式训练文本对的对应关系。
可以做 zero-shot 的预测。