SIZAITECH

思载科技
如何通过无人机获取RTSP视频流进行AI分析推理
来源: | 作者:思载科技 | 发布时间: 2024-04-07 | 281 次浏览 | 分享到:

无人机目前在各个行业都有很广泛的应用,AI人工智能也是时下大热。如果将无人机拍摄的视频与AI结合,那么可以在很多领域发挥人力所不能及的能力。可以让无人机的应用达到更进一步提升。


我们都知道,目前很多视频分析的AI推理都是基于RTSP的视频流进行采样分析,通过先进的推理硬件,针对视频进行不间断的计算分析,从而得到想要的任务结果。


但是目前很多无人机没有办法直接给出RTSP的视频流,比如大疆无人机都在其飞控APP中集成了RTMP的推流能力,高端的行业无人机也是采用GB/T28181国标的方式实现推流。这让一些计算机视觉和机器学习的AI软件库无法与其直接适配,给AI能力开发带来一定困扰。要通过无人机实现AI能力分析可以分为以下几步。


 

搭建一套无人机推流平台

无人机的使用一般是在外场环境,受到条件限制,一般我们的推理服务器不建议部署在前端。由于算力需要大量的资源保障,一般部署在后台机房。这就需要为外场的无人机搭建一套视频推流平台,用于接收无人机的实时画面。

无人机推流平台

部署思载科技无人机接入平台,支持RTMP,GB/T28181等多种方式推流,兼容各种无人机推流格式。在平台侧可以实时查看无人机视频及视频传输状态,编码格式,帧率,码率,分辨率和丢包情况。


平台可以提供实时录像能力,将无人机画面进行录像保存,同时满足实时调看,调取录像能力,并可通过接口输出给其它平台用于展示分析。


 

视频流实时转换RTSP

无人机视频推理应用组网方案

无人机接入平台将接收到的RTMP,GB/T28181的视频转换为RTSP视频流,并与无人机的接入通道匹配,供推理服务器分析应用。如需要对接收的视频进行分辨率,编码,帧率,码率进行调整。视频接入平台可以动用转码能力,实现视频流的实时转码。配置转码服务器,减少推理服务器压力。 


 

输出到AI算法能力平台

无人机AI应用

AI算法服务器根据接收到的视频流,通过算力能力,开始对视频进行推理分析。无人机由于独特的视角,可以实现针对公共安全,污染,灾害等问题提供更精准的分析预警能力。


 

反馈推理分析结果

推理结果可以实时反馈给指挥中心,结合消息,图像等多种呈现模式。在项目中实现落地应用。与无人机推流平台提供的API开发接口,可以将无人机接入,呈现,预警分析数据以一张图协同方式呈现,让项目呈现更丰富。


无人机与AI的结合可以发挥双方的优势,构建出更有竞争力的解决方案。在实施上其实并不复杂,选择一款稳定,可靠,具备多种能力的无人机接入平台就可以解决这一问题,也是目前无人机AI推理集成的主要应用方式,一套系统解决无人机的视频接入,管理,录制,调看,接口能力输出。对于AI算法公司只需要专注算法和推理,针对无人机打磨出更完善的产品,解决客户所需。