H.264/H.265 视频压缩标准支持在视频流中包含 SEI 信息。你可以使用 SEI 信息实现多种功能,包括 RTC 消息和业务信令同步等。

功能变更日志
  1. 自客户端 SDK 3.27 起,SEI 的功能可用。
在音视频通话中添加 SEI 信息

在音视频通信中,你可以在采集的视频流中,通过调用sendSEIMessage添加 SEI。这一添加过程在客户端实现,添加的频率高至和帧率一致。你可以使用这一方法实现准实时的场景,如毫秒级变化的 PK 血条信息,和主播音量信息等。

你可以通过此接口对 RTC SDK 内部采集的视频帧添加 SEI。
对于采用自定义采集获得的视频帧:

在转推直播时,添加 SEI 信息

在转推直播时,你可以在客户端或服务端添加 SEI 信息。

在合流服务端添加 SEI 信息时,SEI 信息添加频率和视频 I 帧间隔一致,量级约为数秒,频率远低于在客户端添加。建议在客户端添加频繁变化的信息,比如实时音量信息。

接收 SEI 信息

接收来自 CDN 的音视频流时,你需要自行实现获取和处理 SEI 信息的逻辑。

接收来自 RTC 音视频流时,你可以通过OnSEIMessageReceived回调获取 SEI 数据。

SEI 是 H.264/H.265 视频压缩标准中的一部分。无论视频采集时,是使用的内部采集的方式,还是外部采集的方式,你都可以选择内部渲染/外部渲染的方式处理,并获取其中的 SEI 数据。

API 参考

以下是各个平台的相关API参考: