方案一

• 通用 SEI 发送接口（内外部视频源均适用）：sendSEIMessage，可随视频帧发送 SEI 数据

• 调用成功后，远端会收到 SEI 回调：

  onSEIMessageReceived

• 支持 4KB长度

• 支持消息重发

• 支持合并所有 RTC 用户的 SEI 数据并推到 CDN 流中

• 以视频15 fps 为例，同步精度为 0~66 ms，如对精度有更高要求，请参看方案四。

视频通话场景（如 K 歌、直播连麦等）

方案二

• 外部视频源随帧 SEI 发送接口：

  • 调用GLTextureVideoFrameBuilder-setexternaldatainfo，可设置纹理格式视频数据返回帧的 SEI 数据

  • 调用CpuBufferVideoFrameBuilder-setexternaldatainfo，可设置 CpuBuffer 视频帧的 SEI 数据

  • 调用pushExternalVideoFrame，可将视频帧数据用 VideoFrame 类封装后传递给 SDK

  • 调用getExternalDataInfo，可获取 SEI 数据

方案三

内部采集黑帧

1. 调用 setVideoSourceType设置视频源及屏幕流

• 设置为内采模式：VIDEO_SOURCE_TYPE_INTERNAL

• 不要调用启动摄像接口：startVideoCapture

• 或关闭摄像头采集：stopVideoCapture

2. 调用通用 SEI 发送接口：sendSEIMessage

3. 调用成功后，远端会收到 SEI 回调： onSEIMessageReceived

• 支持 4KB长度

• 支持消息重发

• 支持合并所有 RTC 用户的 SEI 数据并推到 CDN 流中

• 以视频15 fps 为例，同步精度为 0~66 ms，如对精度有更高要求，请参看方案四。

纯音频通话场景（如 K 歌、语聊等）

方案四

音频 RTP 扩展头

• 调用sendStreamSyncInfo发送 SEI 信息

• 调用成功后，远端收到 SEI 回调：onStreamSyncInfoReceived

• 支持的最大 SEI 传输长度为 255B，如对消息长度有更高要求，请参看方案一和方案二。

• RTC 用户的 SEI 数据不会推到 CDN 流中

• 可实现更高的同步精度，理论上可以做到 0~20ms

• 调用频率为单个 SDK 50次每秒

方案五

• 媒体通道：直播合流时发送 SEI 信息
  • 具体操作步骤可参看方案一、方案二和方案三

• SEI 随视频帧发送

• 不重复发送

• RTC 通道可能会丢帧

• 在合流服务端添加 SEI 信息时，SEI 信息添加频率和视频 I 帧间隔一致，量级约为数秒，频率远低于在客户端添加。建议在客户端添加频繁变化的信息，比如实时音量信息。

转推直播场景（如用户观众侧进房后切换布局、放置 PK 血条位置等）

方案六

• 信令通道：直播合流 I 帧前固定 SEI 信息
  • 调用startPushMixedStreamToCDN和updatePushMixedStreamToCDN接口，发送合流控制信令，将 SEI 信息传到后处理服务器，再由后处理推到 CDN 中。

• 合流接口中传递到直播流中的信息，会在合流 I 帧前重复发送

• 如果合流布局变更，会立即触发一个最新的 SEI 帧；如果合流布局不变更，SEI 帧仍会发送。

• 适用于比较固定的信息

方案七

• 调用 DataChannel 接口：

  • sendUserMessage，给房间内指定的用户发送点对点文本消息

  • sendUserBinaryMessage，给房间内指定的用户发送点对点二进制消息

  • sendRoomMessage，给房间内的所有其他用户群发文本消息

  • sendRoomBinaryMessage，给房间内的所有其他用户群发二进制消息

发送非媒体流 SEI 信息（如给房间内其他用户发送文本消息等）