一问详解Unity下RTMP推送|轻量级RTSP服务|RTSP|RTMP播放模块说明

技术背景

好多开发者，对Unity下的模块，不甚了解，实际上，除了Windows/Linux/Android/iOS Native SDK，大牛直播SDK发布了Unity环境下的RTMP推流|轻量级RTSP服务（Windows平台+Linux平台+Android平台）和RTMP|RTSP直播播放（Windows、Linux、Android和iOS平台全覆盖）低延迟的解决方案。

目前，大牛直播SDK的Unity3D环境下，已覆盖以下SDK：

•  Windows平台RTMP直播推送SDK（采集Unity窗体、摄像头或屏幕）;
•  Windows平台轻量级RTSP服务SDK（采集Unity窗体、摄像头或屏幕）;
•  Windows平台RTMP|RTSP直播播放SDK；
•  Linux平台RTMP直播推送SDK（采集Unity窗体、Unity声音）;
•  Linux平台RTMP|RTSP直播播放SDK；
•  Android平台RTMP直播推送SDK（采集Unity窗体、摄像头、麦克风或Unity声音）；
•  Android平台轻量级RTSP服务SDK（采集Unity窗体、摄像头、麦克风或Unity声音）；
•  Android平台RTMP|RTSP直播播放SDK；
•  iOS平台RTMP|RTSP直播播放SDK。

模块详解

本文以Windows、Android、iOS平台为例，做个大概说明。

Windows平台RTSP|RTMP播放

• demo说明：SmartU3dWinPlayer是大牛直播SDK Unity3D Windows平台RTMP/RTSP直播播放端工程，其界面展示了播放相关的操作按钮。
• 集成说明：需将SmartU3dWinPlayer\Assets\Plugins\x86和x86_64下相关库添加到工程，并添加指定文件，使用大牛直播SDK的app name进行测试，正式授权版按授权app name使用。
• 调用时序：
  • 准备播放：调用OpenPlayer()完成PlayerInit和PlayerOpen操作，设置相关参数和回调，调用PlayerStart启动播放。
  • OpenPlayer实现：进行一些初始化操作，设置事件回调和视频帧回调。
  • Video frame实时处理并绘制：通过回调获取yuv数据及相关信息，进行相关处理和绘制。
  • 停止播放：调用NT_U3D_StopPlay()后，调用NT_U3D_UnInit()。
  • Event回调：处理连接、缓冲、下载速度等相关事件的回调。

Windows平台RTMP推送|轻量级RTSP服务

• demo说明：SmartU3dWinPublisher是大牛直播SDK Unity3D Windows平台RTMP直播推送SDK Demo工程，界面展示了推送相关的操作按钮和信息。
• 集成说明：需将相关库添加到工程，并添加指定文件，使用大牛直播SDK的app name进行测试，正式授权版按授权app name使用。
• 调用时序：
  • 基础初始化：设置日志路径并初始化SDK。
  • 调用Open()接口，获取推送实例：通过OpenPublisherHandle()获取推送实例句柄。
  • 初始化参数配置：注意采集unity窗口时的图层模式设置。
  • 数据采集：包括摄像头、屏幕和Unity窗体的数据采集，以及Unity的AudioClip数据采集。
  • 数据对接：将Unity的视频和音频数据传递给SDK。
  • 本地数据预览：通过StartPreview()和StopPreview()进行本地数据预览及相关处理。
  • 相关event回调处理：处理连接相关的事件回调。
  • 开始推送、停止推送：通过StartPublisher()和StopPublisher()进行推送和停止推送操作。
  • 关闭实例：通过Close()关闭推送实例。

Android平台RTSP|RTMP播放

• demo说明：SmartU3dAndroidPlayer是大牛直播SDK Unity3D Android平台RTMP/RTSP直播播放端工程。
• 集成说明：将相关库和文件添加到工程，配置相关权限，修改app - name，正式授权版需设置license key。
• 调用时序：
  • 【最先调用】NT_U3D_Init：player初始化，目前预留。
  • 【正式授权版设置license key】NT_U3D_SetSDKClientKey, 设置正式授权版license，请早于NT_U3D_Open接口调用。
  • 【获得player句柄】NT_U3D_Open，设置上下文信息，返回player句柄。
  • 【设置GameObject】NT_U3D_Set_Game_Object，注册Game Object，用于消息传递。
  • 【设置硬解码】NT_U3D_SetVideoDecoderMode，设置特定机型硬解码播放，如硬解码检测到不支持，切换到软解码。
  • 【audio输出类型】NT_U3D_SetAudioOutputType()，设置音频输出模式。
  • 【缓冲设置】NT_U3D_SetBuffer，设置播放端缓存数据buffer。
  • 【RTSP TCP/UDP设置】NT_U3D_SetRTSPTcpMode，设置TCP/UDP播放模式，注意此接口仅用于RTSP。
  • 【RTSP 超时时间设置】NT_U3D_SetRTSPTimeout，设置RTSP超时时间。
  • 【RTSP TCP/UDP自动切换】NT_U3D_SetRTSPAutoSwitchTcpUdp，设置RTSP TCP/UDP自动切换。
  • 【实时静音 - 可实时调用】NT_U3D_SetMute，设置播放过程中实时静音/取消静音。
  • 【快速启动】NT_U3D_SetFastStartup，设置快速启动后，如果CDN缓存GOP，播放端可快速出帧。
  • 【低延迟模式】NT_U3D_SetPlayerLowLatencyMode，设置低延迟模式。
  • 【视频垂直反转 - 可实时调用】NT_U3D_SetFlipVertical，视频垂直反转。
  • 【视频水平反转 - 可实时调用】NT_U3D_SetFlipHorizontal，视频水平反转。
  • 【视频显示角度设置 - 可实时调用】NT_U3D_SetRotation，支持视频播放view顺时针旋转。
  • 【下载速度回调设置】NT_U3D_SetReportDownloadSpeed，设置下载速度上报, 默认不上报下载速度。
  • 【快照设置】NT_U3D_SetSaveImageFlag，设置是否需要在播放或录像过程中快照。
  • 【快照 - 录像或播放后，可随时调用】NT_U3D_SaveCurImage，播放过程中，根据设置路径和文件名，实时快照。
  • 【快速切换url - 可实时调用】NT_U3D_SwitchPlaybackUrl，快速切换播放url。
  • 【录像设置】NT_U3D_CreateFileDirectory，创建文件路径。
  • 【录像设置】NT_U3D_SetRecorderDirectory，设置文件路径。
  • 【录像设置】NT_U3D_SetRecorderFileMaxSize，设置每个录像文件最大size。
  • 【录像设置】NT_U3D_SetRecorderAudioTranscodeAAC，支持拉取的RTMP/RTSP的PCMA/PCMU/SPEEX音频格式转AAC后录制。
  • 【设置播放或录像URL】NT_U3D_SetUrl，设置播放/录像url。
  • 【播放】NT_U3D_StartPlay，开始播放。
  • 【播放】NT_U3D_GetVideoFrame，获取底层回调的YUV数据。
  • 【播放】NT_U3D_StopPlay，停止播放。
  • 【录像】NT_U3D_StartRecorder，开始录像。
  • 【录像】NT_U3D_StopRecorder，停止录像。
  • 【关闭】NT_U3D_Close, 关闭播放器实例。
  • 【最后调用】NT_U3D_UnInit，UnInit Player，最后调用。
• 相关实现：
  • 初始化播放：完成初始化和参数设定后，调用NT_U3D_StartPlay()实现播放。
  • 停止播放：调用NT_U3D_StopPlay()后，根据情况进行相关处理。
  • 相关Event处理：处理来自Android的事件消息。

Andorid平台RTMP推送|轻量级RTSP服务

• demo说明：SmartU3dAndroidPublisher是大牛直播SDK Unity3D Android平台RTMP直播推送SDK工程demo，以采集Unity窗体和麦克风、Unity的音频数据为例。
• 集成说明：将相关库和文件添加到工程，配置相关权限，修改app - name，正式授权版需设置license key。
• 调用时序：
  • 【最先调用】NT_PB_U3D_Init，推送实例初始化，目前预留。
  • 【正式授权版设置license key】NT_PB_U3D_SetSDKClientKey, 设置正式授权版license，请早于NT_PB_U3D_Open接口调用。
  • 【启动麦克风】NT_PB_U3D_StartAudioRecord，请确保sample_rate有效，当前只支持特定采样率和通道数，推荐44100和单通道(1)，如需采集麦克风音频，可在Unity动态获取麦克风采集权限。
  • 【停止麦克风】NT_PB_U3D_StopAudioRecord，如启动了麦克风，调用停止推送相关操作之前，把麦克风采集停掉。
  • 【获得推送实例句柄】NT_PB_U3D_Open，设置上下文信息，返回推送实例句柄。
  • 【是否启用麦克风采集】NT_PB_U3D_EnableAudioRecordCapture，设置是否使用麦克风采集的音频。
  • 【设置GameObject】NT_PB_U3D_Set_Game_Object，注册Game Object，用于消息传递。
  • 【设置H.264硬编码】NT_PB_U3D_SetVideoHWEncoder，设置特定机型H.264硬编码。
  • 【设置H.265硬编码】NT_PB_U3D_SetVideoHevcHWEncoder，设置特定机型H.265硬编码。
  • 【设置软编码可变码率编码】NT_PB_U3D_SetSwVBRMode，设置软编码可变码率编码模式。
  • 【设置关键帧间隔】NT_PB_U3D_SetGopInterval，设置关键帧间隔。
  • 【软编码编码码率】NT_PB_U3D_SetSWVideoBitRate，设置软编码编码码率。
  • 【设置帧率】NT_PB_U3D_SetFPS，设置视频帧率。
  • 【设置编码profile】NT_PB_U3D_SetSWVideoEncoderProfile，设置软编码编码profile。
  • 【设置软编码编码速度】NT_PB_U3D_SetSWVideoEncoderSpeed，设置软编码编码速度。
  • 【设置是否混音】NT_PB_U3D_SetAudioMix，设置混音。
  • 【实时静音】NT_PB_U3D_SetMute，设置推送过程中音频实时静音。
  • 【输入音量调节】NT_PB_U3D_SetInputAudioVolume，设置输入音量。
  • 【设置音频编码类型】NT_PB_U3D_SetAudioCodecType，设置音频编码类型，默认AAC编码。
  • 【设置音频编码码率】NT_PB_U3D_SetAudioBitRate，设置音频编码码率, 当前只对AAC编码有效。
  • 【设置speex音频编码质量】NT_PB_U3D_SetSpeexEncoderQuality，设置speex音频编码质量。
  • 【设置音频噪音抑制】NT_PB_U3D_SetNoiseSuppression，设置音频噪音抑制。
  • 【设置音频自动增益控制】NT_PB_U3D_SetAGC，设置音频自动增益控制。
  • 【设置快照flag】NT_PB_U3D_SetSaveImageFlag，设置是否需要在推流或录像过程中快照。
  • 【实时快照】NT_PB_U3D_SaveCurImage，推流或录像过程中快照。
  • 【录像音频控制】NT_PB_U3D_SetRecorderAudio，音频录制开关。
  • 【录像视频控制】NT_PB_U3D_SetRecorderVideo，视频录制开关。
  • 【录像】NT_PB_U3D_CreateFileDirectory，创建录像存储路径。
  • 【录像】NT_PB_U3D_SetRecorderDirectory，设置录像存储路径。
  • 【录像】NT_PB_U3D_SetRecorderFileMaxSize，设置单个录像文件大小。
  • 【数据投递】NT_PB_U3D_OnCaptureVideoI420Data，实时投递YUV数据。
  • 【数据投递】NT_PB_U3D_OnCaptureVideoRGB24Data，实时投递RGB24数据。
  • 【数据投递】NT_PB_U3D_OnCaptureVideoRGBA32Data，实时投递RGBA数据。
  • 【数据投递】NT_PB_U3D_OnPCMData，实时投递PCM数据，数据类型为byte数组。
  • 【数据投递】NT_PB_U3D_OnPCMShortArray，实时投递PCM数据，数据类型short数组。
  • 【数据投递】NT_PB_U3D_OnPCMFloatArray，实时投递PCM数据，数据类型float数组。
  • 【混音数据投递】NT_PB_U3D_OnMixPCMShortArray，传递PCM混音音频数据给SDK, 每10ms音频数据传入一次，数据类型short数组。
  • 【混音数据投递】NT_PB_U3D_OnMixPCMFloatArray，传递PCM混音音频数据给SDK, 每10ms音频数据传入一次，数据类型float数组。
  • 【推送URL】NT_PB_U3D_SetPushUrl，设置推送的RTMP URL。
  • 【开始RTMP推流】NT_PB_U3D_StartPublisher，开始RTMP推流。
  • 【停止RTMP推流】NT_PB_U3D_StopPublisher，停止RTMP推流。
  • 【开始录像】NT_PB_U3D_StartRecorder，开始录像。
  • 【暂停录像】NT_PB_U3D_PauseRecorder，暂停录像。
  • 【停止录像】NT_PB_U3D_StopRecorder，停止录像。
  • 【关闭】NT_U3D_Close, 关闭推送实例。
  • 【最后调用】NT_PB_U3D_UnInit，UnInit推送SDK，最后调用。
• 相关实现：
  • 基础初始化：完成一些初始化和权限设置等工作。
  • OpenPusher实现：调用底层SDK的Open接口创建推送实例。
  • InitAndSetConfig具体实现：完成SDK的一些参数设定工作。
  • Push()封装：获取推送实例句柄后，进行参数设置和数据采集推送。
  • 停止推送：停止推送前进行相关清理工作。
  • 数据采集：包括Unity窗体和AudioClip数据的采集。
  • 数据对接：将Unity的视频和音频数据传递给SDK。
  • 相关event回调处理：处理推送相关的事件回调。

iOS平台RTSP|RTMP播放

• demo说明：SmartU3diOSPlayer是大牛直播SDK Unity3D iOS平台RTMP/RTSP直播播放端工程。
• 集成说明：将相关文件拷贝到Assets - > Plugins - > iOS目录，在Unity3D工程中生成xcode工程，并添加相关依赖库和设置。
• 调用时序：
  • 【最先调用】NT_U3D_Init：player初始化，目前预留。
  • 【正式授权版设置license key】NT_U3D_SetSDKClientKey, 设置正式授权版license，请早于NT_U3D_Open接口调用。
  • 【获得player句柄】NT_U3D_Open，设置上下文信息，返回player句柄。
  • 【设置GameObject】NT_U3D_Set_Game_Object，注册Game Object，用于消息传递。
  • 【设置硬解码】NT_U3D_SetVideoDecoderMode，设置是否用硬解码播放，如硬解码不支持，切换到软解码。
  • 【缓冲设置】NT_U3D_SetBuffer，设置播放端缓存数据buffer。
  • 【RTSP TCP/UDP设置】NT_U3D_SetRTSPTcpMode，设置TCP/UDP播放模式，注意此接口仅用于RTSP。
  • 【RTSP 超时时间设置】NT_U3D_SetRTSPTimeout，设置RTSP超时时间。
  • 【RTSP TCP/UDP自动切换】NT_U3D_SetRTSPAutoSwitchTcpUdp，设置RTSP TCP/UDP自动切换。
  • 【实时静音 - 可实时调用】NT_U3D_SetMute，设置播放过程中，实时静音/取消静音。
  • 【快速启动】NT_U3D_SetFastStartup，Set fast startup(快速启动)，设置快速启动后，如果CDN缓存GOP，daniulive player可快速出帧。
  • 【低延迟模式】NT_U3D_SetPlayerLowLatencyMode，设置低延迟模式。
  • 【视频垂直反转 - 可实时调用】NT_U3D_SetFlipVertical，视频垂直反转。
  • 【视频水平反转 - 可实时调用】NT_U3D_SetFlipHorizontal，视频水平反转。
  • 【视频显示角度设置 - 可实时调用】NT_U3D_SetRotation，支持视频播放view顺时针旋转。
  • 【下载速度回调设置】NT_U3D_SetReportDownloadSpeed，设置下载速度上报, 默认不上报下载速度。
  • 【快照设置】NT_U3D_SetSaveImageFlag，设置是否需要在播放或录像过程中快照。
  • 【快照 - 录像或播放后，可随时调用】NT_U3D_SaveCurImage，播放过程中，根据设置路径和文件名，实时快照。
  • 【快速切换url - 可实时调用】NT_U3D_SwitchPlaybackUrl，快速切换播放url。
  • 【录像设置】NT_U3D_CreateFileDirectory，创建文件路径，注意iOS只提供接口，未提供具体实现。
  • 【录像设置】NT_U3D_SetRecorderDirectory，设置文件路径。
  • 【录像设置】NT_U3D_SetRecorderFileMaxSize，设置每个录像文件最大size。
  • 【录像设置】NT_U3D_SetRecorderAudioTranscodeAAC，支持拉取的RTMP/RTSP的PCMA/PCMU/SPEEX音频格式转AAC后录制。
  • 【设置播放或录像URL】NT_U3D_SetUrl，设置播放/录像url。
  • 【播放】NT_U3D_StartPlay，开始播放。
  • 【播放】NT_U3D_GetVideoFrame，获取底层回调的YUV数据。
  • 【播放】NT_U3D_StopPlay，停止播放。
  • 【录像】NT_U3D_StartRecorder，开始录像。
  • 【录像】NT_U3D_StopRecorder，停止录像。
  • 【关闭】NT_U3D_Close, 关闭播放器实例。

总结

大牛直播 SDK发布的Unity3D 的跨平台低延迟直播SDK，它支持 Windows、Linux、Android 和 iOS 平台。

在 Windows 平台上，它包括播放端和推送端 SDK。播放端 SDK 可以在 Unity 环境下实现跨平台低延迟的 RTMP|RTSP直播播放，无需二次封装，调用时序可参照 Windows C# 调用 SDK 调用说明。推送端 SDK 可以将 Unity 的窗口、摄像头或整个屏幕作为数据源，将 Unity 的 AudioClip 音频、麦克风、扬声器作为音频源进行 RTMP 直播推送。

在 Android 平台上，播放端 SDK 通过一系列接口和参数设置来实现直播播放的各种功能，如初始化、设置 license key、硬解码、音频输出、缓冲、RTSP 设置、实时静音、快速启动、低延迟模式等，并能处理相关事件。推送端 SDK 可以采集 Unity 窗体、麦克风和 Unity 音频等数据进行 RTMP 直播推送，通过设置各种参数和调用相应接口来完成推送的初始化、配置、数据投递和控制等操作。

在 iOS 平台上，播放端 SDK 通过设置相关接口和参数来实现直播播放的功能，如初始化、设置 license key、获得句柄、设置 GameObject、硬解码、缓冲、RTSP 设置、实时静音、快速启动、低延迟模式等，并能进行快照和录像设置。

总的来说，大牛直播 SDK 为开发者在Unity3D 环境中实现直播功能提供了便利，开发者可以根据不同平台的需求进行集成和调用。