谈谈RTMP|RTSP播放器视频view垂直|水平反转和旋转设计
技术背景
我们在做RTMP|RTSP播放器的时候，有这样的技术诉求，有的摄像头出来的数据是有角度偏差的，比如“装倒了”，或者，图像存在上下或者左右反转，这时候，就需要播放器能做响应的处理，显示出符合预期的角度的画面。
咱们都知道，在数字视频中，画面是由一系列像素点组成的，每个像素点都有其在二维平面上的坐标。上下翻转是将像素点的纵坐标（y 轴坐标）进行反转，左右翻转是将横坐标（x 轴坐标）进行反转，旋转则是将每个像素点按照一定的角度进行坐标变换，从而实现视频画面的旋转效果。
技术实现
以大牛直播SDK的Windows平台RTMP|RTSP播放器为例，我们的接口设计，是这样的：
/*
* smart_player_sdk.h
* Created by daniusdk.com (C) All rights reserved.
*/
....
/*
* 上下反转(垂直反转)
* is_flip: 1:表示反转, 0:表示不反转
*/
NT_UINT32(NT_API *SetFlipVertical)(NT_HANDLE handle, NT_INT32 is_flip);
/*
* 水平反转
* is_flip: 1:表示反转, 0:表示不反转
*/
NT_UINT32(NT_API *SetFlipHorizontal)(NT_HANDLE handle, NT_INT32 is_flip);
/*
* 设置旋转，顺时针旋转
* degress： 设置0， 90， 180， 270度有效，其他值无效
* 注意：除了0度，其他角度播放会耗费更多CPU
* 接口调用成功返回NT_ERC_OK
*/
NT_UINT32(NT_API* SetRotation)(NT_HANDLE handle, NT_INT32 degress);
....需要注意的是，这些接口，都要做成支持动态调用的，也就是说，播放前后，都可以正常调用，demo调用示例代码如下。
void CSmartPlayerDlg::OnBnClickedCheckFlipHorizontal()
{
if (player_handle_ != NULL)
{
player_api_.SetFlipHorizontal(player_handle_, BST_CHECKED == btn_check_flip_horizontal_.GetCheck() ? 1 : 0);
}
}
void CSmartPlayerDlg::OnBnClickedCheckFlipVertical()
{
if (player_handle_ != NULL)
{
player_api_.SetFlipVertical(player_handle_, BST_CHECKED == btn_check_flip_vertical_.GetCheck() ? 1 : 0);
}
}
void CSmartPlayerDlg::OnBnClickedButtonRotation()
{
rotate_degrees_ += 90;
rotate_degrees_ = rotate_degrees_ % 360;
if (0 == rotate_degrees_)
{
btn_rotation_.SetWindowText(_T("旋转90度"));
}
else if (90 == rotate_degrees_)
{
btn_rotation_.SetWindowText(_T("旋转180度"));
}
else if (180 == rotate_degrees_)
{
btn_rotation_.SetWindowText(_T("旋转270度"));
}
else if (270 == rotate_degrees_)
{
btn_rotation_.SetWindowText(_T("不旋转"));
}
if ( player_handle_ != NULL )
{
player_api_.SetRotation(player_handle_, rotate_degrees_);
}
}
总结
除了上面提到的RTMP|RTSP播放器view反转和旋转外，一个健全的播放器，除了低延迟和性能指标外，基础功能，可参考的实现如下：
- [支持播放协议]RTMP、RTSP；
- [多实例播放]支持多实例播放；
- [事件回调]支持网络状态、buffer状态等回调；
- [视频格式]支持H.265、H.264，此外，还支持RTSP MJPEG播放；
- [视频格式]支持RTMP扩展H.265和Enhanced RTMP H.265，H.264；
- [音频格式]支持AAC/PCMA/PCMU/SPEX(RTMP)；
- [H.264/H.265软解码]支持H.264/H.265软解；
- [H.264硬解码]Windows/Android/iOS支持特定机型H.264硬解；
- [H.265硬解]Windows/Android/iOS支持特定机型H.265硬解；
- [H.264/H.265硬解码]Android支持设置Surface模式硬解和普通模式硬解码；
- [RTSP模式设置]支持RTSP TCP/UDP模式设置；
- [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换；
- [RTSP超时设置]支持RTSP超时时间设置，单位：秒；
- [RTSP 401认证处理]支持上报RTSP 401事件，如URL携带鉴权信息，会自动处理；
- [缓冲时间设置]支持buffer time设置；
- [首屏秒开]支持首屏秒开模式；
- [复杂网络处理]支持断网重连等各种网络环境自动适配；
- [快速切换URL]支持播放过程中，快速切换其他URL，内容切换更快；
- [音视频多种render机制]Android平台，视频：surfaceview/OpenGL ES，音频：AudioTrack/OpenSL ES；
- [实时静音]支持播放过程中，实时静音/取消静音；
- [实时音量调节]支持播放过程中实时调节音量；
- [实时快照]支持播放过程中截取当前播放画面；
- [只播关键帧]Windows平台支持实时设置是否只播放关键帧；
- [渲染角度]支持0°，90°，180°和270°四个视频画面渲染角度设置；
- [渲染镜像]支持水平反转、垂直反转模式设置；
- [等比例缩放]支持图像等比例缩放绘制(Android设置surface模式硬解模式不支持)；
- [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔)；
- [解码前视频数据回调]支持H.264/H.265数据回调；
- [解码后视频数据回调]支持解码后YUV/RGB数据回调；
- [解码前音频数据回调]支持AAC/PCMA/PCMU数据回调；
- [音视频自适应]支持播放过程中，音视频信息改变后自适应；
- [扩展录像功能]支持实时录像功能。