GB28181平台如何接入无人机实现智能巡检？

大家都知道，无人机巡检系统，有效解决了传统巡查工作空间和时间局限问题，降低人力工作成本，有效替代人工巡检工作模式。智能巡检系统通过人工智能技术和机械智能技术完美结合，在工业等场景下，应用非常广泛。本文旨在讲如何实现无人机（如大疆无人机）数据到GB28181平台（如海康、大华、宇视等国标平台）。

本文以Android平台接入大疆无人机为例，首先，无人机可以通过厂商提供的接口，回调编码后的H.264/H.265数据，需要注意的是，由于GB/T28181-2016，官方规范，仅对H.264做过描述，考虑到系统通用性和尽可能的规避转码带来的性能或使用体验问题，一般建议H.264编码。

无人机的数据会上来后，可以通过编码后的数据接口，投递到JNI层，把视音频数据封装成PS包，让把PS包以负载的方式封装成RTP包，完成媒体数据的上传即可。

本文以转发的模块为例说明，无图无真相：

具体实现：APP启动后，我们先点击启动GB28181按钮，完成到国标平台的注册，并通过心跳机制，保持和国标平台端的通信。

当国标平台端，需要查看无人机的实时画面时，可以发送Invite，请求无人机画面，Android平台GB28181接入模块，这时启动拉取无人机回调数据，并完成数据投递，和H.264到PS到RTP的打包上传即可。

/*
* MainActivity.java
* GitHub: https://github.com/daniulive/SmarterStreaming
*/
class ButtonGB28181AgentListener implements OnClickListener {
public void onClick(View v) {
stopGB28181Stream();
destoryRTPSender();

if (null == gb28181_agent_ ) {
if( !initGB28181Agent() )
return;
    }

if (gb28181_agent_.isRunning()) {
gb28181_agent_.terminateAllPlays(true);// 目前测试下来,发送BYE之后,有些服务器会立即发送INVITE,是否发送BYE根据实际情况看
gb28181_agent_.stop();
btnGB28181Agent.setText("启动GB28181");
    }
else {
if ( gb28181_agent_.start() ) {
btnGB28181Agent.setText("停止GB28181");
      }
    }
  }
}

//停止GB28181 媒体流
private void stopGB28181Stream() {
if(!isGB28181StreamRunning)
return;

if (libPublisher != null) {
libPublisher.StopGB28181MediaStream(publisherHandle);
  }

if (!isRecording && !isRTSPPublisherRunning && !isPushing) {
if (publisherHandle != 0) {
if (libPublisher != null) {
libPublisher.SmartPublisherClose(publisherHandle);
publisherHandle = 0;
      }
    }
  }

isGB28181StreamRunning = false;
}

开放的video数据投递接口如下：

/**
* 设置编码后视频数据(H.264)
*
* @param codec_id, H.264对应 1
*
* @param data 编码后的video数据
*
* @param size data length
*
* @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0.
*
* @param timestamp video timestamp
*
* @param pts Presentation Time Stamp, 显示时间戳
*
* @return {0} if successful
*/
public native int SmartPublisherPostVideoEncodedData(long handle, int codec_id, ByteBuffer data, int size, int is_key_frame, long timestamp, long pts);

如果还有audio的话，audio数据接口如下：

/**
* 设置音频数据(AAC/PCMA/PCMU/SPEEX)
*
* @param codec_id:
*
*  NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000,
* NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE,
* NT_MEDIA_CODEC_ID_PCMU,
* NT_MEDIA_CODEC_ID_AAC,
* NT_MEDIA_CODEC_ID_SPEEX,
* NT_MEDIA_CODEC_ID_SPEEX_NB,
* NT_MEDIA_CODEC_ID_SPEEX_WB,
* NT_MEDIA_CODEC_ID_SPEEX_UWB,
*
* @param data audio数据
*
* @param size data length
*
* @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略
*
* @param timestamp video timestamp
*
* @param parameter_info 用于AAC special config信息填充
*
* @param parameter_info_size parameter info size
*
* @return {0} if successful
*/
public native int SmartPublisherPostAudioEncodedData(long handle, int codec_id, ByteBuffer data, int size, int is_key_frame, long timestamp,ByteBuffer parameter_info, int parameter_info_size);

其他信令交互流程前面提到很多次了，本文不再赘述，这里主要看看Invite和Ack的处理：

先看Invite处理：

@Override
public void ntsOnInvitePlay(String deviceId, PlaySessionDescription session_des) {
handler_.postDelayed(new Runnable() {
@Override
public void run() {
MediaSessionDescription video_des = session_des_.getVideoDescription();
SDPRtpMapAttribute ps_rtpmap_attr = video_des.getPSRtpMapAttribute();

Log.i(TAG,"ntsInviteReceived, device_id:" +device_id_+", is_tcp:" + video_des.isRTPOverTCP()
+ " rtp_port:" + video_des.getPort() + " ssrc:" + video_des.getSSRC()
+ " address_type:" + video_des.getAddressType() + " address:" + video_des.getAddress());

// 可以先给信令服务器发送临时振铃响应
//sip_stack_android.respondPlayInvite(180, device_id_);

long rtp_sender_handle = libPublisher.CreateRTPSender(0);
if ( rtp_sender_handle == 0 ) {
gb28181_agent_.respondPlayInvite(488, device_id_);
Log.i(TAG, "ntsInviteReceived CreateRTPSender failed, response 488, device_id:" + device_id_);
return;
        }

gb28181_rtp_payload_type_  = ps_rtpmap_attr.getPayloadType();
gb28181_rtp_encoding_name_ =  ps_rtpmap_attr.getEncodingName();

libPublisher.SetRTPSenderTransportProtocol(rtp_sender_handle, video_des.isRTPOverUDP()?0:1);
libPublisher.SetRTPSenderIPAddressType(rtp_sender_handle, video_des.isIPv4()?0:1);
libPublisher.SetRTPSenderLocalPort(rtp_sender_handle, 0);
libPublisher.SetRTPSenderSSRC(rtp_sender_handle, video_des.getSSRC());
libPublisher.SetRTPSenderSocketSendBuffer(rtp_sender_handle, 2*1024*1024); // 设置到2M
libPublisher.SetRTPSenderClockRate(rtp_sender_handle, ps_rtpmap_attr.getClockRate());
libPublisher.SetRTPSenderDestination(rtp_sender_handle, video_des.getAddress(), video_des.getPort());

if ( libPublisher.InitRTPSender(rtp_sender_handle) != 0 ) {
gb28181_agent_.respondPlayInvite(488, device_id_);
libPublisher.DestoryRTPSender(rtp_sender_handle);
return;
        }

int local_port = libPublisher.GetRTPSenderLocalPort(rtp_sender_handle);
if (local_port == 0) {
gb28181_agent_.respondPlayInvite(488, device_id_);
libPublisher.DestoryRTPSender(rtp_sender_handle);
return;
        }

Log.i(TAG,"get local_port:" + local_port);

String local_ip_addr = IPAddrUtils.getIpAddress(context_);
gb28181_agent_.respondPlayInviteOK(device_id_,local_ip_addr, local_port);

gb28181_rtp_sender_handle_ = rtp_sender_handle;
      }

private String device_id_;
private PlaySessionDescription session_des_;

public Runnable set(String device_id, PlaySessionDescription session_des) {
this.device_id_ = device_id;
this.session_des_ = session_des;
return this;
      }
    }.set(deviceId, session_des),0);
  }

@Override
public void ntsOnCancelPlay(String deviceId) {
// 这里取消Play会话
handler_.postDelayed(new Runnable() {
@Override
public void run() {
Log.i(TAG, "ntsOnCancelPlay, deviceId=" + device_id_);

destoryRTPSender();
      }

private String device_id_;

public Runnable set(String device_id) {
this.device_id_ = device_id;
return this;
      }

    }.set(deviceId),0);
  }

Ack后调用StartGB28181MediaStream()，开始发送大疆无人机编码后的数据到国标平台端。

@Override
public void ntsOnAckPlay(String deviceId) {
handler_.postDelayed(new Runnable() {
@Override
public void run() {
Log.i(TAG,"ntsOnACKPlay, device_id:" +device_id_);

if (!isRecording && !isRTSPPublisherRunning && !isPushing) {
OpenPushHandle();
      }

libPublisher.SetGB28181RTPSender(publisherHandle, gb28181_rtp_sender_handle_, gb28181_rtp_payload_type_, gb28181_rtp_encoding_name_);
int startRet = libPublisher.StartGB28181MediaStream(publisherHandle);
if (startRet != 0) {

if (!isRecording && !isRTSPPublisherRunning && !isPushing) {
if (publisherHandle != 0) {
libPublisher.SmartPublisherClose(publisherHandle);
publisherHandle = 0;
          }
        }

destoryRTPSender();

Log.e(TAG, "Failed to start GB28181 service..");
return;
      }

isGB28181StreamRunning = true;
    }

private String device_id_;

public Runnable set(String device_id) {
this.device_id_ = device_id;
return this;
    }

  }.set(deviceId),0);
}

需要注意的是，可以在国标平台端发起Invite请求，到Ack完成后，才开始调用大疆无人机的接口回调H.264数据，有些型号的无人机，也可以回调编码前的yuv/nv12等格式数据，这种我们也可以处理，自己编码即可。

由于无人机的特殊性，携带经纬度信息，也可以通过GB28181位置订阅(MobilePosition)实现无人机实时位置的更新。