阿克苏建设局网站,物流企业的网站模板免费下载,莱州网站建设费用,flash个人网站源码简单的一个框架
一、上行
1.音频
音频采集-3A处理-混合(麦克风bgm自定义音频)-编码-fec-打网络包(UDT/QUIC/SRT)-加密-socket发送
2.视频
视频采集-编码-切片-fec-打网络包(UDT/QUIC/SRC)-加密-socket发送
二、下行…简单的一个框架
一、上行
1.音频
音频采集-3A处理-混合(麦克风bgm自定义音频)-编码-fec-打网络包(UDT/QUIC/SRT)-加密-socket发送
2.视频
视频采集-编码-切片-fec-打网络包(UDT/QUIC/SRC)-加密-socket发送
二、下行
1.音频
socket接收-解网络包-解密-送入抗抖动buffer
播放器(播放线程)-获取抗抖动buffer数据包-解码-播放
2.视频
socket接收-解网络包-解密-组视频包-送入抗抖动buffer-送入解码缓存-图片处理-渲染 总结:
音频视频网络部分大致相同FEC/网络包/加密
在实际场景中每一个部分都会涉及更多的细节逻辑
比如
1. 编码音频一般会再opus/aac之间做选择opus更广泛更低的编码延迟在实时场景中有更好的表现。视频一般为x264/o264中做选择但是视频为了获取更好的性能又会选择硬编硬解这就又引入了更多的平台相关的技术更为复杂
2. 因为音视频都是单独传输接收端又要考虑音画同步问题
3. 视频数据即便是编码压缩后数据依旧比较大要考虑加入buffer做为平滑发送(pacing)的手段
在包括 采集编解码网络延迟播放每一个部分的延迟都需要纳入考虑范畴
