大疆上云api开发
目前很多公司希望使用上云api开发自己的无人机平台,但是官网资料不是特别全,下面浅谈一下本人开发过程中遇到的一系列问题。
本人使用机场为大疆机场2，飞机为M3TD，纯内网使用
部署
链接: 上云api代码.
- 首先从github上面拉去代码
上云api代码github.
后端使用maven,jdk17
前端使用使用yarn下载依赖 - 安装中间件
emqx
$ docker run -d --name emqx -p 1883:1883 -p 8081:8081 -p 8083:8083 -p 8883:8883 -p 8084:8084 -p 18083:18083 emqx/emqx:v4.0.0
对应代码修改:
后端
mqtt:
# @see com.dji.sample.component.mqtt.model.MqttUseEnum
# BASIC parameters are required.
BASIC:
protocol: MQTT # @see com.dji.sample.component.mqtt.model.MqttProtocolEnum
host: 127.0.0.1
# host: 127.0.0.1
port: 1883
username: JavaServer
password: 123456
client-id: 123456
# If the protocol is ws/wss, this value is required.
path:
# DRC控制链路
DRC:
# 示例代码在前端进行控制，需要返回给前端。默认使用ws连接
protocol: WS # @see com.dji.sample.component.mqtt.model.MqttProtocolEnum
host: 127.0.0.1
# host: 127.0.0.1
port: 8083
path: /mqtt
username: JavaServer
password: 123456
注意,两处都要修改,下面的ws是用于手动控制的关键
前端对应配置修改
mysql8.0
执行后端中的这个脚本就行
对应的后端配置文件
# 数据库配置
datasource:
# druid数据源配置
druid:
# 数据源类型
type: com.alibaba.druid.pool.DruidDataSource
# 数据库驱动
driver-class-name: com.mysql.cj.jdbc.Driver
# 数据库连接地址
url: jdbc:mysql://127.0.0.1:3306/cloud_sample?useSSL=false&allowPublicKeyRetrieval=true
username: root
password: 123456
initial-size: 10
min-idle: 10
max-active: 20
max-wait: 60000
redis
下载redis6即可,使用docker部署比较方便
对应的后端配置文件
redis:
host: 127.0.0.1
port: 6379
database: 2
username: # if you enable
password:
lettuce:
pool:
max-active: 8
max-idle: 8
min-idle: 0
minio
如果要内网使用的话需要自己搭建存储服务,并且修改后端代码这部分
oss:
enable: true
provider: minio
endpoint: http://127.0.0.1:9000
# 以下内容需要去minio控制台自己创建
access-key:
secret-key:
# minio控制台新建bucket
bucket: cloud-bucket
expire: 3600
region: us-east-1
object-dir-prefix: wayline
ntp
如果要内网使用,需要自己搭建ntp服务器,这非常重要,要不然会导致执行航线的时候回报错,这个自己网上找一个相关服务搭建即可
对应的后端配置文件
ntp:
server:
host: 127.0.0.1
port: 123
直播服务器
这算是搭建过程中比较难得一个点,关于内网使用的话,可以搭建zlmediakit服务或者srs服务
此外,现在大疆机场支持的推流为rtmp,webrtc和国标
对于zlmediakit服务,它的好处是可以推rtmp或者webrtc,然后拉去这两种,还可以拉去rsp的流,比如我们实现的ai识别就是,通过rtmp或者webrtc推流,然后在去zlmediakit里面拉去rtsp的六
对于srs服务,它的好处是可以很方便快捷的搭建,并且大疆demo里面直播用的就是srs的js,就不用额外去写直播画面播放的这个功能,zlmediakit的话就需要自己去改相关代码
docker搭建方式
CANDIDATE="192.168.1.10"
docker run --rm -it -p 1935:1935 -p 1985:1985 -p 8080:8080 -p 1990:1990 -p 8088:8088 \
--env CANDIDATE=$CANDIDATE -p 8000:8000/udp \
registry.cn-hangzhou.aliyuncs.com/ossrs/srs:5 ./objs/srs -c conf/https.docker.conf
此外,如果你们是可以接外网的环境,那么直接使用声网就行,就不需要额外搭建直播服务器,下面分别谈一下这几种推流在代码中是如何进行配置的
rtmp
后端配置文件
# RTMP Note: This IP is the address of the streaming server. If you want to see livestream on web page, you need to convert the RTMP stream to WebRTC stream.
rtmp:
url: rtmp://192.168.4.20/live/
前端配置文件
rtmpURL: 'rtmp://192.168.4.20/live/', // Example: 'rtmp://192.168.1.1/live/'
webrtc
注意,这个配置对应的是使用srs,并且使用webrtc推流的方式,这种推流可以使用大疆demo里面的播放页面播放出来
whip:
url: http://192.168.4.20:1985/rtc/v1/whip/?app=live&stream=
这个配置对应的是使用zlmediakit,并且使用webrtc推流的方式,这种需要自己写播放页面
# zlmediakit推流地址
# url: http://192.168.4.20/index/api/whip?app=live&stream=
播放地址为:使用zl自带的控制台,输入这个播放连接
http://192.168.4.20/index/api/webrtc?app=live&stream=1581F6Q8D246DG2WE4-81-0-0&type=play
注意,stream为我无人机对应的sn码,你的可能会不同,需要去mq或者控制台查询到
在调试过程中发现,机场推rtmp的质量远远不如webrtc,所以建议大疆推流的时候使用webrtc协议
手柄配置
需要使用大疆手柄进行机场调试,使它切换到第三方云平台
主要目的是让机场连接到你配置的mqtt网关
如果一切顺利的话,配置完上面这些信息就能跑起来了,下面谈一下调试过程中遇到的一些问题以及解决思路
问题
mq和后端能收到消息,但是机场飞机没有上线
去mq后台将机场客户端踢出
喊话器功能
无人机本身不支持喊话功能,需要挂载第三方的设备,我们使用的是成至MP20,需要自己根据接口进行开发
红外功能
无人机本身自带的红外是这样的
但是我们的ai识别盒子需要的红外是黑白画面,上云api暂时没有接口可以调红外的模式,需要使用司空2平台,更改红外镜头的相机参数,然后再回第三方平台开启
一键起飞
需要填入指定参数,海拔一定要比当前部署的机场的海拔高,要不然会失败
后端枚举类报错
调试过程中,我们用过大疆新版本的固件,然后就一直会报一些枚举类的错误,是因为新版本固件跟大疆1.10不匹配导致,最好使用1.10对应的固件版本,因为新版本消息体可能改过一些
固件一致性升级
如果你用上云api降低过固件的话,设备管理里面会提示固件的一致性升级,其实你如果没有使用到一些新的功能特性的话,这一致性升级是不用管它的
直播推流
大疆机场2最高支持推3路流,也就是仓内和仓外和无人机,一共三个镜头
航线
如果没有绘制航线需求的话,可以使用手柄或者司空2绘制航线,导入上云api使用
悬停功能
如果有涉及到航线飞行,飞行过程中自动悬停的话,可以使用航线暂停和航线恢复接口。比如我们的流程就涉及到ai识别-》悬停-》喊话-》取消悬停继续航线
