音视频入门系列-FFmpeg篇（FFmpeg结构体分析）
通过之前的学习，我们知道了如何通过调用FFmpeg代码来进行解码和编码，正所谓知其然还要知其所以然，这篇文章分析下FFmpeg编解码过程中主要的结构体，通过对这些结构体的分析，可以更好的理解FFmpeg的编解码过程。
1.FFmpeg结构体分析
通过之前对于FFmpeg进行解码、编码的代码学习，我们总结FFmpeg结构体主要分为三个层次：协议层（AVIOContext）、封装层（AVInputFormat）、解码层（AVStream）。具体如下：
2.FFmpeg编解码关键结构体
按照FFmpeg编解码时代码的调用过程，笔者总结有八个关键结构体。本文按照编解码调用顺序介绍如下：
2.1AVFormatContext：描述媒体文件或媒体流的构成和基本信息，贯穿ffmpeg使用整个流程
AVInputFormat *iformat、AVOutputFormat *oformat：输入或者输出流的格式（只能存在一个）AVIOContext *pb：管理输入输出数据unsigned int nb_streams：音视频流的个数AVStream **streams：音视频流char *url：文件名int64_t duration：时长int bit_rate：比特率（单位bite/s）AVDictionary *metadata：元数据（查看元数据：ffprobe filename）
2.2.AVInputFormat：文件的封装格式
char* name：封装格式的名字char* long_name：封装格式的长名字char* extensions：文件扩展名
2.3AVIOContext->URLContext->URLProtocol
◆ 2.3.1 AVIOContext：文件（协议）操作的顶层对象
unsigned char *buffer：缓冲开始位置int buffer_size：缓冲区大小（默认32768）unsigned char *buf_ptr：当前指针读取到的位置unsigned char *buf_end：缓存结束的位置void *opaque：URLContext结构体(*read_packet)(...)：读取音视频数据的函数指针(*write_packet)(...)：写入音视频数据的函数指针(*read_pause)(...)：网络流媒体协议的暂停或恢复播放函数指针
◆ 2.3.2 URLContext：每种协议，有一个协议操作对象和一个关联的协议对象
char* name：协议名称const struct URLProtocol *prot：协议操作对象（ff_file_protocol、ff_librtmp_protocol...）void *priv_data：协议对象（FileContext、LibRTMPContext）
◆ 2.3.3 URLProtocol：协议操作对象
2.4 AVStream：存储音频流或视频流的结构体
int index：音频流或视频流的索引AVRational time_base：计算pts或dts是使用的时间戳基本单位（显示时间：pt = av_q2d(video_stream->time_base) * frame->pts）int64_t duration：该视频/音频流长度AVRational avg_frame_rate：平均帧率（对于视频来说，frame_rate=avg_frame_rate.num / avg_frame_rate.den）AVCodecParameters *codecpar：解码器参数
2.5.AVCodecParameter 和 AVCodecContext
◆新的 ffmpeg 中 AVStream.codecpar(struct AVCodecParameter) 代替 AVStream.codec(struct AVCodecContext)：AVCodecParameter 是由 AVCodecContext 分离出来的，AVCodecParameter中没有函数
◆AVCodecContext 结构体仍然是编解码时不可或缺的结构体：avcodec_send_packet 和 avcodec_receive_frame 使用 AVCodecContext
◆ AVCodecContext 和 AVCodec 的获取方法
//=============== new version code ===============char filePath[] = "test.mp4";AVFormatContext *pFormatCtx;AVCodecContext *pCodecCtx;AVCodec *pCodec;pFormatCtx = avformat_alloc_context();av_register_all();avformat_network_init();avformat_open_input(&pFormatCtx, filePath, NULL, NULL);avformat_find_stream_info(pFormatCtx, NULL);for (int i = 0; i < pFormatCtx->nb_streams; i++){AVStream *pStream = pFormatCtx->streams[i];pCodec = avcodec_find_decoder(pStream->codecpar->codec_id);pCodecCtx = avcodec_alloc_context3(pCodec);avcodec_parameters_to_context(pCodecCtx, pStream->codecpar);}
//============ old version code ============char filePath[] = "test.mp4";AVFormatContext *pFormatCtx;AVCodecContext *pCodecCtx;AVCodec *pCodec;pFormatCtx = avformat_alloc_context();av_register_all();avformat_network_init();avformat_open_input(&pFormatCtx, filePath, NULL, NULL);avformat_find_stream_info(pFormatCtx, NULL);for (int i = 0; i < pFormatCtx->nb_streams; i++){AVStream *pStream = pFormatCtx->streams[i];pCodecCtx = pStream->codec;pCodec = avcodec_find_decoder(pCodecCtx->codec_id);}
◆ 关键参数：可参考 avcodec_parameters_to_context 源码
num AVMediaType codec_type：编解码器的类型（视频，音频...）enum AVCodecID codec_id：标示特定的编码器AVCodecContext:struct AVCodec *codec：采用的解码器AVCodec（H.264,MPEG2...）int bit_rate：平均比特率uint8_t *extradata; int extradata_size：针对特定编码器包含的附加信息（例如对于H.264解码器来说，存储SPS，PPS等）AVCodecContext:enum AVPixelFormat pix_fmt：像素格式（视频）int width, height：宽和高（视频）AVCodecContext:enum AVSampleFormat sample_fmt：采样格式（音频）int sample_rate：采样率（音频）int channels：声道数（音频）uint64_t channel_layout：声道格式AVCodecParameters:int format：像素格式（视频）/采样格式（音频）
2.6 AVCodec：编解码器结构体
◆ 每一个解码器对应一个AVCodec结构体，比如：AVCodec ff_h264_decoder，AVCodec ff_jpeg2000_decoder
◆ 关键成员变量如下：
const char *name：编解码器短名字（形如："h264"）const char *long_name：编解码器全称（形如："H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10"）enum AVMediaType type：媒体类型：视频、音频或字母enum AVCodecID id：标示特定的编码器const AVRational *supported_framerates：支持的帧率（仅视频）const enum AVPixelFormat *pix_fmts：支持的像素格式（仅视频）const int *supported_samplerates：支持的采样率（仅音频）const enum AVSampleFormat *sample_fmts：支持的采样格式（仅音频）const uint64_t *channel_layouts：支持的声道数（仅音频）
2.7 AVPacket：存储解码前数据的结构体
◆ 关键成员变量
AVBufferRef *buf：管理data指向的数据uint8_t *data：压缩编码的数据int size：data的大小int64_t pts：显示时间戳int64_t dts：解码时间戳int stream_index：标识该AVPacket所属的视频/音频流
◆ AVPacket的内存管理：AVPacket本身并不包含压缩的数据，通过data指针引用数据的缓存空间
◆ 多个AVPacket共享同一个数据缓存（AVBufferRef、AVBuffer）
◆ AVPacket拥有独立的数据缓存
av_read_frame(pFormatCtx, packet) // 读取Packetav_packet_ref(dst_pkt,packet) // dst_pkt 和 packet 共享同一个数据缓存空间，引用计数+1av_packet_unref(dst_pkt); //释放 pkt_pkt 引用的数据缓存空间，引用计数-1
◆ AVBuffer 关键成员变量
uint8_t *data：压缩编码的数据size_t size：数据长度atomic_uint refcount：引用计数，如果引用计数为0,则释放数据缓存空间
2.8AVFrame：存储解码后数据的结构体
uint8_t *data[AV_NUM_DATA_POINTERS]：解码后原始数据（对视频来说是YUV，RGB，对音频来说是PCM）int linesize[AV_NUM_DATA_POINTERS]：data中“一行”数据的大小。注意：未必等于图像的宽，一般大于图像的宽。int width, height：视频帧宽和高（1920x1080,1280x720...）int nb_samples：音频的一个AVFrame中可能包含多个音频帧，在此标记包含了几个int format：解码后原始数据类型（YUV420，YUV422，RGB24...）int key_frame：是否是关键帧enum AVPictureType pict_type：帧类型（I,B,P...）AVRational sample_aspect_ratio：图像宽高比（16:9，4:3...）int64_t pts：显示时间戳int coded_picture_number：编码帧序号int display_picture_number：显示帧序号
往期文章传送门：
（音视频技术学习交流QQ群：693316541）
