一、音频播放流程
1、打开音频文件
通过 avformat_open_input() 打开媒体文件并分配和初始化 AVFormatContext 结构体。
函数原型如下:
int avformat_open_input(AVFormatContext **ps, const char *url, AVInputFormat *fmt, AVDictionary **options);
参数说明:
- `ps`:指向 `AVFormatContext` 结构体指针的指针,用于存储打开的媒体文件的信息。
- `url`:要打开的媒体文件的 URL 或文件路径。
- `fmt`:指定输入格式,通常可以设置为 `NULL`,由 FFmpeg 根据文件内容自动检测。
- `options`:附加选项,可以传入一些额外的选项参数。
2、查找输入流信息
调用 avformat_find_stream_info() 函数将会读取媒体文件中的帧,解析它们的头部,
并填充 AVFormatContext 中的流信息,通过访问 AVFormatContext 的 streams 字段来获取每个流的详细信息。
函数原型如下:
int avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options);
参数说明:
- `ic`:指向已打开媒体文件的 `AVFormatContext` 结构体的指针。
- `options`:指向包含附加选项的 `AVDictionary` 指针。
3、查找流索引
使用 av_find_best_stream() 从媒体文件中找到最佳的流索引
函数原型如下:
int av_find_best_stream(AVFormatContext *ic, enum AVMediaType type, int wanted_stream, int related_stream, AVCodec **decoder_ret, int flags);
参数说明:
- `ic`:指向已打开媒体文件的 `AVFormatContext` 结构体的指针。
- `type`:要查找的流类型,可以是 `AVMEDIA_TYPE_VIDEO`、`AVMEDIA_TYPE_AUDIO` 等。
- `wanted_stream`:期望的流索引,如果为负值,则表示没有特定的偏好。
- `related_stream`:相关流索引,用于查找与之相关的最佳流。
- `decoder_ret`:用于返回找到的解码器。
- `flags`:附加标志,可以用来指定额外的查找选项。
4、查找解码器
使用 avcodec_find_decoder() 查找符合指定解码器名称的解码器。
函数原型如下:
AVCodec *avcodec_find_decoder(enum AVCodecID id);
参数说明:
- `id`:要查找的解码器的 ID。
5、初始化解码上下文
调用 avcodec_alloc_context3() 函数会为特定的编解码器分配一个 AVCodecContext 结构体,并对其进行初始化。 AVCodecContext 结构体包含了编解码器的相关参数和状态信息,比如编解码器类型、解码参数、帧率等。
函数原型如下:
AVCodecContext *avcodec_alloc_context3(const AVCodec *codec);
参数说明:
- `codec`:指定要使用的编解码器,可以通过 `avcodec_find_decoder()` 或其他方式获取。
6、获取解码参数
调用 `avcodec_parameters_to_context()` 函数可以方便地将 `AVCodecParameters` 结构体中的参数(如编解码器类型、帧率、分辨率等)复制到 `AVCodecContext` 结构体中,从而准备进行编解码操作。
函数原型如下:
int avcodec_parameters_to_context(AVCodecContext *codec, const AVCodecParameters *par);
参数说明:
- `codec`:要填充参数的 `AVCodecContext` 结构体指针。
- `par`:包含编解码器参数的 `AVCodecParameters` 结构体指针。
7、打开解码器
调用 `avcodec_open2()` 函数可以打开并初始化指定的编解码器上下文,使其准备好进行编解码操作。
函数原型如下:
int avcodec_open2(AVCodecContext *avctx, const AVCodec *codec, AVDictionary **options);
参数说明:
- `avctx`:要打开和初始化的编解码器上下文。
- `codec`:要使用的编解码器,可以通过 `avcodec_find_decoder()` 或其他方式获取。
- `options`:可选的字典参数,用于设置编解码器的选项。
打开解码器时可以使用多线程参数优化解码速度。
AVDictionary* opts = NULL;
//使用多线程解码
if (!av_dict_get(opts, "threads", NULL, 0))
av_dict_set(&opts, "threads", "auto", 0);
8、创建音频重采样上下文
调用 `swr_alloc_set_opts()` 函数可以创建一个音频重采样上下文,并设置其参数。这个函数可以方便地指定输入和输出音频的通道布局、采样格式和采样率等参数。
函数原型如下:
struct SwrContext *swr_alloc_set_opts(struct SwrContext *s,
int64_t out_ch_layout, enum AVSampleFormat out_sample_fmt, int out_sample_rate,
int64_t in_ch_layout, enum AVSampleFormat in_sample_fmt, int in_sample_rate,
int log_offset, void *log_ctx);
参数说明:
- `s`:要创建或设置参数的音频重采样上下文。如果传入非空指针,则会设置现有上下文的参数;如果传入空指针,则会创建一个新的上下文。
- `out_ch_layout`:输出音频的通道布局(channel layout)。
- `out_sample_fmt`:输出音频的采样格式(sample format)。
- `out_sample_rate`:输出音频的采样率(sample rate)。
- `in_ch_layout`:输入音频的通道布局。
- `in_sample_fmt`:输入音频的采样格式。
- `in_sample_rate`:输入音频的采样率。
- `log_offset`:日志输出偏移量。
- `log_ctx`:日志上下文。
9、初始化音频重采样上下文
调用 `swr_init()` 函数可以初始化音频重采样上下文,使其准备好进行音频重采样操作。
函数原型如下:
int swr_init(struct SwrContext *s);
参数说明:
- `s`: 要初始化的音频重采样上下文。
10、分配并初始化一个临时的帧和包
调用 `av_packet_alloc()` 函数可以分配一个 AVPacket 结构体,并返回指向该结构体的指针。AVPacket 结构体用于存储音视频数据,包括数据缓冲区、大小、时间戳等信息。
调用 `av_frame_alloc()` 函数可以分配一个 AVFrame 结构体,并返回指向该结构体的指针。AVFrame 结构体用于存储音视频帧的数据,包括像素数据、采样数据、时间戳等信息。
函数原型如下:
AVPacket *av_packet_alloc(void);
AVFrame *av_frame_alloc(void);
11、读取音视频源文件
调用 `av_read_frame()` 函数可以从输入文件或流中读取一帧音视频数据,并将其存储在 AVPacket 结构体中。
函数原型如下:
int av_read_frame(AVFormatContext *s, AVPacket *pkt);
参数说明:
- `s`:输入文件或流的 AVFormatContext 上下文。
- `pkt`:存储读取到的音视频帧数据的 AVPacket 结构体。
12、发送音频数据到解码器
调用 `avcodec_send_packet()` 函数可以将 AVPacket 数据包发送给解码器进行解码。在发送完所有数据包后,需要调用 `avcodec_send_packet()` 传递一个空的 AVPacket 指针,以便告知解码器已经发送完所有数据。
函数原型如下:
int avcodec_send_packet(AVCodecContext *avctx, const AVPacket *avpkt);
参数说明:
- `avctx`:指向 AVCodecContext 结构体的指针,表示解码器上下文。
- `avpkt`:指向要发送给解码器的 AVPacket 数据包的指针。
13、从解码器接收解码后的音频数据
调用 `avcodec_receive_frame()` 函数可以从解码器中接收解码后的音视频帧数据,并将其存储在 AVFrame 结构体中。
函数原型如下:
int avcodec_receive_frame(AVCodecContext *avctx, AVFrame *frame);
参数说明:
- `avctx`:指向 AVCodecContext 结构体的指针,表示解码器上下文。
- `frame`:用于存储接收到的解码后的 AVFrame 帧数据的结构体。
14、进行音频重采样
调用 `swr_convert()` 函数可以将输入缓冲区中的音频数据进行重采样,并将结果存储到输出缓冲区中。
函数原型如下:
int swr_convert(struct SwrContext *s, uint8_t **out, int out_count, const uint8_t **in, int in_count);
参数说明:
- `s`:指向 SwrContext 结构体的指针,表示音频重采样上下文。
- `out`:指向输出音频数据缓冲区的指针数组。
- `out_count`:输出缓冲区中的样本数。
- `in`:指向输入音频数据缓冲区的指针数组。
- `in_count`:输入缓冲区中的样本数。
15、播放音频
将重采样后的数据写入声卡中进行播放。
简洁流程如下:
其他重要API:
void av_dump_format(const AVFormatContext *ic, int index,
const char *url, int is_output);
//可以将输入/输出文件的格式信息以人类可读的形式打印出来,包括流的详细信息、编解码器信息等。这对于调试和了解输入/输出文件的结构和信息非常有帮助。
参数说明:
- `ic`:指向 AVFormatContext 结构体的指针,表示要进行格式信息输出的输入/输出文件的 AVFormatContext。
- `index`:如果为非负值,表示要输出的流的索引;如果为负值,表示输出所有流信息。
- `url`:文件的 URL 或名称,在打印信息时会用到。
- `is_output`:如果为非零值,表示输出的是输出文件的格式信息;如果为 0,表示输出的是输入文件的格式信息。
int av_samples_get_buffer_size(int *linesize, int nb_channels, int nb_samples, enum AVSampleFormat sample_fmt, int align);
//计算出存储指定数量音频样本所需的缓冲区大小。这个函数通常用于动态分配音频样本数据缓冲区的场景。
参数说明:
- `linesize`:指向存储每个通道数据大小的数组的指针。
- `nb_channels`:音频通道数。
- `nb_samples`:每个通道中的音频样本数。
- `sample_fmt`:音频样本格式,使用 AVSampleFormat 枚举类型。
- `align`:对齐方式,通常为 0。
AVFormatContext *avformat_alloc_context(void);
//用于分配内存并返回一个初始化后的 AVFormatContext 结构体指针。
AVFormatContext 结构体里面有一个重要的参数 interrupt_callback.callback ,用来设置回调函数。当调用av_read_frame或avformat_find_stream_info会阻塞执行很长时间的时候,只要设置该回调函数返回 1 ,那么就会不再阻塞,立即返回。
二、代码例程
音頻播放:点击跳转
視頻播放:点击跳转