一文详解WebRTC、RTSP、RTMP、SRT

背景

好多开发者，希望对WebRTC、RTSP、RTMP、SRT有个初步的了解，知道什么场景该做怎样的方案选择，本文就四者区别做个大概的介绍。

WebRTC

提到WebRTC，相信好多开发者第一件事想到的就是低延迟，WebRTC（Web Real-Time Communication）是一项实时通讯技术，它允许网络应用或者站点在不借助中间媒介的情况下，建立浏览器之间点对点（Peer-to-Peer）的连接，实现视频流、音频流或其他任意数据的传输。以下是关于WebRTC的详细介绍：

一、技术特点

1. 实时性与高质量：
   • WebRTC提供了低延迟、高质量的实时通信，使得音视频会议、在线教育、视频直播等实时应用更加流畅和自然。
2. 点对点通信：
   • WebRTC支持直接在两个浏览器之间建立点对点的连接，提高了通信的效率和安全性。
3. 加密安全：
   • WebRTC通过SRTP（Secure Real-Time Transport Protocol）和DTLS（Datagram Transport Layer Security）来保护传输的音视频数据，确保通信内容的安全性和保密性。
4. 跨平台兼容：
   • WebRTC可以在多种操作系统和设备上运行，包括桌面电脑、移动设备和智能电视等，提供更广泛的兼容性。
5. 自适应比特率：
   • WebRTC支持自适应比特率传输，根据网络条件自动调整音视频质量，确保在不同网络环境下的流畅播放。

二、应用场景

WebRTC技术已经广泛应用于多个领域，包括但不限于：

• 视频会议和在线会议：构建实时的视频会议和在线会议应用，提供多方通信和屏幕共享功能。
• 在线教育：搭建在线教育平台，支持远程教学和互动交流。
• 视频直播：实现实时的视频直播，支持实时聊天和互动功能。
• 客户服务：构建在线客户服务平台，实现实时语音、视频和文字通信，提供更好的客户体验。
• 社交网络：用于社交网络中的实时语音、视频通话，增强社交网络的交互性。
• 智能硬件与智能家居：如无人机、摄像头监控、智能语音设备等，实现远程控制和数据传输。

三、技术架构与API

WebRTC的技术架构通常包括以下几个部分：

• Web开发者API层：提供基于JavaScript的API，允许开发者在Web应用中直接调用浏览器提供的实时通信功能。
• 浏览器厂商实现层：浏览器厂商可以根据标准自定义实现WebRTC的底层技术，如音视频采集、编解码、网络传输等。
• 硬件适配层：与硬件相关的音频采集和渲染、视频捕捉、网络IO等模块，这些模块通常是可重载的，以增加WebRTC的灵活性和跨平台性。

四、优缺点

优点：

• 方便：用户无需安装任何插件或软件，即可通过浏览器实现实时通信。
• 免费：Google开源WebRTC技术，不收取任何费用。
• 强大的打洞能力：支持NAT和防火墙穿透技术，如STUN、ICE、TURN等。

缺点：

• 缺乏服务器方案的设计和部署：需要开发者自行设计和管理服务器方案。
• 传输质量难以保证：基于P2P的传输设计难以保障复杂的互联网环境下的传输质量。
• 设备端适配问题：在不同设备和操作系统上可能存在适配性问题，如回声、录音失败等。
• 对Native开发支持不够：虽然也可以用于Native开发，但框架设计复杂，API粒度较细。

RTSP

RTSP（Real Time Streaming Protocol）是一种网络控制协议，用于控制流媒体服务器，以实现音频、视频等多媒体流的实时播放和控制。RTSP本身并不传输流媒体数据，而是作为控制流媒体传输的协议，通常与RTP（Real-time Transport Protocol）和RTCP（Real-time Transport Control Protocol）等协议协同工作。

以大牛直播SDK的模块为例，海康2560*1440 8M码率，分别用vlc player和大牛直播SDK的SmartPlayer播放为例，延迟效果。

RTSP的主要特点

1. 媒体流控制：
   • RTSP提供了对媒体流的控制功能，如播放、暂停、快进、快退、定位等操作。这使得客户端可以根据需要灵活地控制媒体流的播放。
2. 可扩展性：
   • RTSP支持多种传输层协议，如TCP和UDP，可以根据网络环境和应用需求选择合适的传输方式。同时，RTSP还支持多种编解码器和媒体格式，具有良好的可扩展性。
3. 跨平台性：
   • RTSP是一种基于文本的协议，易于解析和扩展，可以在不同的操作系统和平台上实现。这使得RTSP成为流媒体传输领域的一种通用协议。
4. 会话控制：
   • RTSP支持会话的概念，可以建立和管理多个媒体流之间的会话关系。这使得RTSP可以处理复杂的多媒体应用场景，如多方视频会议等。

RTSP的应用场景

RTSP广泛应用于各种流媒体传输场景，包括但不限于：

• 网络视频监控：在闭路电视监控系统中，RTSP用于控制摄像头和流媒体服务器之间的视频流传输，实现远程监控和回放功能。
• 网络广播：在网络广播系统中，RTSP用于控制广播媒体流的播放和分发，确保观众可以实时接收并控制广播内容。
• 流媒体点播：在流媒体点播系统中，RTSP用于实现用户对媒体文件的点播请求和播放控制，提供个性化的播放体验。
• 视频会议：在视频会议系统中，RTSP可以用于控制多方视频流的传输和同步，确保会议的顺利进行。

RTSP与RTP、RTCP的关系

RTSP通常与RTP和RTCP一起使用，以实现流媒体的传输和控制。其中，RTP负责媒体数据的实时传输，RTCP负责传输控制信息（如丢包率、延迟等），而RTSP则负责控制整个媒体会话的建立、维护和终止。三者协同工作，共同实现流媒体的实时传输和控制。

WebRTC、RTSP、RTMP比较

RTMP

RTMP（Real Time Messaging Protocol）是一种实时消息传输协议，它主要用于在流媒体服务器和客户端之间高效地传输音频、视频和数据。RTMP最初由Adobe公司开发，用于在Flash Player和Adobe Media Server（现在的Adobe Media Services）之间传输流媒体内容。尽管Adobe Flash Player和Adobe Media Server的更新和支持已经逐渐减少，但RTMP协议仍然被广泛使用，并且有许多开源和商业的RTMP服务器和客户端实现。

以大牛直播SDK的模块为例，Android平台分别为启动了轻量级RTSP服务，和RTMP推流，Windows分别播放RTSP和RTMP流，延迟效果如下。

RTMP的主要特点

1. 基于TCP：RTMP使用TCP协议进行数据传输，这意味着它提供了比基于UDP的协议（如WebRTC的某些部分）更可靠的传输，但可能在高延迟或网络拥塞时表现不佳。

2. 实时性：尽管RTMP基于TCP，但它被设计为支持实时流媒体传输。通过使用适当的缓冲和流控制机制，RTMP可以提供接近实时的流媒体体验。

3. 兼容性：RTMP在流媒体行业有着广泛的兼容性，许多现有的流媒体平台和设备都支持RTMP。这使得RTMP成为将流媒体内容推送到多个平台和观众的一个流行选择。

4. 易于集成：RTMP协议相对简单，且有许多开源和商业的库和工具可用于RTMP的编码、解码和传输。这使得RTMP易于集成到现有的应用程序和系统中。

5. 安全性：虽然RTMP本身不提供加密功能，但可以通过在传输层（如使用HTTPS或TLS封装RTMP连接）或应用层（如使用RTMP的加密扩展）来增强安全性。

然而，RTMP也有一些缺点，特别是在现代流媒体环境中：

• 延迟：由于RTMP基于TCP，并且通常使用较大的缓冲区来确保数据的可靠传输，因此它可能比其他一些实时通信协议（如WebRTC）具有更高的延迟。

• 带宽效率：RTMP可能不如一些现代协议（如SRT）在带宽效率方面高效。这可能会导致在带宽受限的环境中流媒体质量下降。

• Adobe依赖性：尽管RTMP现在是开源的，并且有许多非Adobe的实现，但它最初是由Adobe开发的，并且与Adobe的产品和服务紧密相关。这可能导致在某些情况下对Adobe技术的依赖。

RTMP的应用场景

1. 视频直播

RTMP协议在视频直播领域有着广泛的应用。通过RTMP协议，主播可以将实时视频流传输到流媒体服务器，观众则可以通过各种客户端（如网页浏览器、移动应用等）观看直播内容。RTMP的低延迟特性使得音视频数据可以实时传输，非常适合体育赛事直播、新闻现场报道、在线教育、社交媒体直播等需要实时互动的场景。

2. 视频点播

除了直播，RTMP协议也被用于视频点播领域。通过RTMP协议，视频文件可以被分块传输，并在客户端进行播放，同时支持视频的快进、快退等操作。这种方式满足了用户对于高清视频的点播需求，适用于在线视频课程、影视点播平台等场景。

3. 实时通讯

RTMP协议因其良好的实时性和可靠性，也被广泛应用于实时通讯领域。在视频会议、在线客服以及社交软件中，RTMP协议可以作为视频和音频数据的传输协议，保证实时通讯的稳定和流畅。

4. 其他流媒体应用

RTMP协议还可用于其他流媒体应用场景，如IPTV（交互式网络电视）服务中的低延迟传输、虚拟现实（VR）和增强现实（AR）应用中的远程场景实时音视频流传输等。

尽管如此，RTMP仍然是流媒体行业中一个非常流行和重要的协议，特别是在需要将流媒体内容推送到多个平台和观众时。随着技术的进步和新的协议（如WebRTC和SRT）的出现，RTMP可能会逐渐被一些更现代、更高效的协议所取代，但在可预见的未来，它仍将继续在流媒体行业中发挥重要作用。

SRT

SRT（Secure Reliable Transport）是一种开源的视频传输协议，旨在通过互联网高效、可靠且安全地传输视频流。SRT由Haivision公司开发并开源，它结合了UDP的效率和TCP的可靠性，同时增加了加密、错误恢复和多路传输等特性，以应对复杂的网络环境和高要求的实时视频传输场景。

SRT的主要特点

1. 低延迟：
   • SRT通过优化网络传输和减少协议开销，实现了低延迟的视频流传输，适合实时通信和直播等应用。
2. 高可靠性：
   • SRT结合了UDP的效率和TCP的可靠性，通过错误恢复机制（如重传和FEC前向纠错）来确保数据包的完整性和到达率。
3. 安全性：
   • SRT支持加密传输，可以保护视频流内容免受中间人攻击和其他安全威胁。
4. 多路径传输：
   • SRT支持多路径传输，可以在网络条件不佳的情况下，通过多条路径发送数据包，提高传输的稳定性和可靠性。
5. 灵活性：
   • SRT支持多种编解码器和媒体格式，可以灵活地适应不同的应用场景和设备。
6. 开源与跨平台：
   • SRT是一个开源项目，可以在多种操作系统和平台上使用，方便开发者进行集成和部署。

SRT的应用场景

SRT广泛应用于各种需要高效、可靠、安全传输视频流的场景，包括但不限于：

• 视频直播：在视频直播领域，SRT可以确保低延迟、高质量的视频传输，提升观众的观看体验。
• 远程制作：在远程制作场景中，SRT可以支持多路视频流的实时传输和同步，方便制作团队进行远程协作。
• 视频点播：虽然SRT主要用于实时视频传输，但它也可以用于视频点播场景，提供高质量的视频流服务。
• 视频监控：在视频监控领域，SRT可以确保视频数据的实时、可靠传输，提高监控系统的效率和安全性。

SRT与其他协议的比较

• 与RTSP比较：RTSP主要是一种控制协议，用于控制流媒体服务器的媒体流传输，而SRT则是一种传输协议，专注于视频流的实时、可靠、安全传输。RTSP可以与SRT等传输协议结合使用，实现更复杂的流媒体应用。
• 与RTMP比较：RTMP（Real Time Messaging Protocol）是一种基于TCP的传输协议，虽然也广泛用于视频直播，但在高延迟和丢包率较高的网络环境下表现不佳。SRT通过优化网络传输和增加错误恢复机制，可以在更复杂的网络环境中提供更好的传输效果。

总结

WebRTC作为一种实时通信技术，具有实时性、高质量、点对点通信、加密安全、跨平台兼容等优点，并在多个领域得到了广泛应用。然而，它也存在一些缺点和挑战，需要开发者在使用时加以注意和解决。

RTSP作为一种网络控制协议，在流媒体传输领域具有广泛的应用。它提供了对媒体流的控制功能，支持多种传输层协议和媒体格式，具有良好的可扩展性和跨平台性。通过与RTP和RTCP等协议协同工作，RTSP可以实现高质量的流媒体传输和控制，满足各种流媒体应用场景的需求。

SRT作为一种开源的视频传输协议，通过其低延迟、高可靠性、安全性和灵活性等特点，为实时视频传输提供了强有力的支持。它在视频直播、远程制作、视频监控等领域有着广泛的应用前景。随着SRT技术的不断发展和完善，相信它将在更多领域发挥重要作用。

简单来说：

如果追求实时性和浏览器兼容性：WebRTC是首选，因为它支持浏览器之间的点对点通信，且延时低。

如果需要进行流媒体播放控制：RTSP是合适的选择，因为它提供了丰富的控制功能。

如果用于直播领域：RTMP因其广泛的CDN支持和简单的协议实现，仍然是主流选择。

如果追求高质量的视频传输：SRT提供了低延迟、高可靠性的保障，是视频直播和远程监控等领域的优选。

写到这里，回答下好多开发者的疑惑，为什么WebRTC和SRT这么好，大牛直播SDK只做了跨平台的RTMP推送、RTMP播放、轻量级RTSP服务和GB28181设备接入？是的，WebRTC和SRT也都有适用的场景，WebRTC已经非常成熟，SRT实际上我们之前也有做过，只是没有对外发布，以目前我们的经历，能把RTMP推送、RTMP播放、RTSP播放、RTSP转RTMP推送、轻量级RTSP服务和GB28181设备接入模块做到一梯队高水平，属实不易，随着后续音视频需求越来越多，我们也会做相应的调整和跟进，与时俱进，提供更优异的低延迟音视频直播解决方案。