网站单页在线制作软件,网络营销是什么基础类型,株洲网站建设费用,政务服务网站建设方案⭐四、封装篇 H264封装成mp4、flv等格式#xff0c;那为什么需要封装#xff1f; h264也能播放#xff0c;但是按照帧率进行播放#xff0c;可能不准 ★FLV **FLV#xff08;Flash Video#xff09;**是一种用于传输和播放视频的容器文件格式。FLV 格式广泛应用于流媒…⭐四、封装篇 H264封装成mp4、flv等格式那为什么需要封装 h264也能播放但是按照帧率进行播放可能不准 ★FLV **FLVFlash Video**是一种用于传输和播放视频的容器文件格式。FLV 格式广泛应用于流媒体和网页视频播放尤其在 Flash 技术流行时期是视频流媒体的标准格式之一。FLV 格式结构简单、文件体积小适合网络传输。 特点 FLV 作为容器格式可以封装视频、音频和元数据。通常情况下FLV 中的视频流编码为 H.264音频流编码为 AAC 或 MP3。FLV 文件体积较小数据流封装效率高适合网络视频播放能够减少延迟便于在带宽较低的情况下流畅播放。设计用于流媒体FLV 文件支持按时间戳分块封装便于播放时随时从任意位置读取和加载数据增强了网络流媒体传输的稳定性。FLV 可支持渐进式下载Progressive Download边下载边播放 播放过程在流媒体播放过程中FLV 文件按照上述标签顺序依次传输。播放器读取并解析文件头然后根据标签中的时间戳同步音频和视频。脚本标签包含的元数据会在播放前提供相关信息而每个标签的类型和数据大小字段用于解析和播放音视频内容。 封装格式 文件头Header 前一个标签大小Previous Tag Size 标签Tag 文件头9B 用于标识文件格式和版本信息 Signature固定的三个字节 FLV用于标识这是一个 FLV 文件。Version表示 FLV 的版本通常为 0x01。Type Flags指示文件中是否包含音频Audio和视频Video数据。Data Offset表示 FLV 文件头的长度。 FLV Body Previous Tag Size Tag
Previous Tag Size : 4 字节字段表示前一个标签的大小。这一字段的作用是便于解析器快速跳到下一个标签的位置。
Tag Tag Header Tag Data
Tag Type表示标签类型0x08 表示音频标签0x09 表示视频标签0x12 表示脚本/元数据标签。Data Size表示该标签的数据部分的大小。Timestamp用于同步音视频的时间戳。对于视频文件这个时间戳决定了标签在播放中的位置。Stream ID流标识一般设置为 0保留供未来使用。Tag Data实际的数据部分包含音频、视频或元数据。 ★TS 一种流媒体传输格式全称为 MPEG-TSMPEG Transport Stream广泛用于数字视频和音频的传输。设计目的在于有效传输视频和音频数据同时保证在不同网络环境下的传输稳定性。 特点 封装结构TS 是一种容器格式。每个流在 TS 中都作为一个独立的“包”packet传输通常每个包的大小为 188 字节便于同步和处理。 高容错性TS 包含冗余数据和错误校验信息使其能够在传输中发现和纠正错误适合在不稳定的网络环境下使用 实时流传输TS 具有实时传输的特点通过加入时间戳来保证音视频同步PTS/DTS能够支持音视频的实时流式播放。 灵活性可以封装多种格式的音频如 AAC、MP3和视频如 H.264、H.265适合多路流媒体传输也支持动态切换多个音视频流。* 分层结构 分层结构是分层结构是基于 ISO/OSI 模型专为高效、多路传输设计。它分为三层结构以支持多路音视频和数据流的实时、可靠传输专为高效、多路传输设计。它分为三层结构以支持多路音视频和数据流的实时、可靠传输 ES层 内容最底层的数据流包含压缩编码后的原始音视频数据如 H.264 编码的图像数据或 AAC 编码的音频数据。 作用不包含任何时间戳或识别信息主要专注于原始的音视频内容编码 一个 ES 流中只包含一种类型的数据视频或音频或字幕。 PES层 内容PES 层在 ES 层的基础上增加了时间戳PTS/DTS等信息确保音视频同步。 作用将原始的 ES 数据打包成更小的片段便于在传输流中处理PES 包头还包含信息以区分视频、音频或其他数据。 ES数据包比较大加入PES头时需将ES进行分割只在第一个分割的ES上加PES头类似于传输层的做法 TS层 内容在 PES 层的基础上加入了数据流的识别信息PID和传输相关的控制信息。 作用TS 层是传输的最终封装格式将 PES 包切分成 188 字节的 TS 包每个包中包含同步字、PID、错误校验等信息确保在网络传输中能够恢复数据便于多路流的管理与传输。 ts包大小固定为188字节ts层分为三个部分ts header、adaptation field、payload。 TS Header控制和识别确保接收端识别数据包类型和顺序。 包含的字节内容: 同步字节Sync Byte固定为 0x47用于包头识别和数据同步。 传输错误指示TEI用于标识传输错误。 有效负载单元起始指示Payload Unit Start Indicator, PUSI指示是否为新的 PES 包的起始。 ★PIDPacket Identifier识别和区分不同类型的数据流如音频、视频或信令数据PAT/PMT 等。 pid 决定了负载内容的类型主要包括PAT表PMT表视频流音频流。常用的PID值 PAT 0x0000 作用PAT 是节目关联表包含 TS 流中所有节目的 PID 信息。 用途帮助接收端找到每个节目的 PMTProgram Map Table位置理解流中有哪些节目以及各节目对应的 PMT PID。 PMTPMT 是节目映射表通过 PAT 表找到 PMT PID 后可以解析某个节目具体的音视频流的 PID。 视频流 PID音视频的 PID 在 PMT 中定义通常为一个特定节目中的视频数据流。接收端通过 PMT 获取特定节目的视频 PID。 音频流 PID与视频流类似PMT 还定义了音频流的 PID接收端通过 PMT 找到并解码音频流。 控制字段包括优先级、加扰控制和连续计数器等用于数据流的管理和加密。 Adaptation Field用于同步和补充确保数据流的时间准确性。 Payload实际的音视频数据或信令信息是 TS 包中最核心的内容。
★MP4 常用的多媒体容器格式广泛用于存储音频、视频、字幕以及元数据 特点 容器格式MP4 本身不是编码格式而是一个封装格式可以包含多种编码格式的音视频内容例如 H.264、AAC。 高兼容性MP4 格式在各种设备如手机、电脑、电视和平台上都有很高的兼容性广泛支持。 流媒体支持MP4 支持流式传输可以用于网络环境中按需播放音视频。 灵活的内容组合MP4 容器可以同时包含视频、音频、字幕和元数据方便实现多语言字幕、章节、封面等丰富内容。 MP4的文件结构 MP4 文件结构基于 box盒子 的概念每个box包含不同的信息这些box以树形结构的方式组成。每个 Box 都包含一个 Header头部 和 Payload有效载荷。 box 由 header 和 body 组成header 指明 box 的 size 和 type。size 是包含 box header 的整个 box 的大小。 Header包括盒子的大小和类型。 box type通常是4个ASCII码的字符如“ftyp”、“moov”等 ftypFile Type Box指定 MP4 文件的格式、兼容性和品牌位于文件开头。它描述了文件的主品牌Major Brand、次要版本Minor Version、兼容品牌Compatible Brands。moovMovie Box存储文件级的元数据包含有关整个媒体文件的信息。mdatMedia Data Box存储音视频实际数据的 Box。 Payload存储媒体数据或控制信息可以嵌套其他 Box
!
MP4 文件播放流程
播放器在播放 MP4 文件时通常会按以下流程读取
读取 ftyp Box判断文件格式和兼容性。读取 moov Box获取文件的元数据和轨道信息。读取 mdat Box加载实际的音视频数据并根据 moov 中的索引信息解码播放。分段播放moof/mfra对于流媒体或按需播放的 MP4 文件播放器可以利用 moof 和 mfra 快速访问并流式播放片段。
