H.264/H.265 视频压缩标准支持在视频流中包含 SEI 信息。你可以使用 SEI 信息实现多种功能,包括 RTC 消息和业务信令同步等。
在音视频通信中,你可以在采集的视频流中,通过调用sendSEIMessage添加 SEI。这一添加过程在客户端实现,添加的频率高至和帧率一致。你可以使用这一方法实现准实时的场景,如毫秒级变化的 PK 血条信息,和主播音量信息等。
你可以通过此接口对 RTC SDK 内部采集的视频帧添加 SEI。
对于采用自定义采集获得的视频帧:
在转推直播时,你可以在各个客户端实现采集时添加 SEI 信息。具体的操作步骤可以参看 在音视频通话中添加 SEI 信息。
你也可以在转推直播时,使用合流服务端的能力,在合成的一路视频流中添加 SEI 信息。在传入 LiveTranscoding 参数时,你可以在 LiveTranscoding.AdvancedConfig 参数中添加 SEI 信息。
在合流服务端添加 SEI 信息时,SEI 信息添加频率和视频 I 帧间隔一致,量级约为数秒,频率远低于在客户端添加。如果你需要添加的信息频繁变化,比如实时音量信息,不应在服务端添加。
接收来自 CDN 的音视频流时,你需要自行实现获取和处理 SEI 信息的逻辑。
接收来自 RTC 音视频流时,你可以通过OnSEIMessageReceived回调获取 SEI 数据。
SEI 是 H.264/H.265 视频压缩标准中的一部分。无论视频采集时,是使用的内部采集的方式,还是外部采集的方式,你都可以选择内部渲染/外部渲染的方式处理,并获取其中的 SEI 数据。
以下是各个平台的相关API参考: