ffmpeg实现视频I帧提取_框架

1提取I帧

各参数解释:

-i :输入文件，这里的话其实就是视频；

-vf:是一个命令行，表示过滤图形的描述。选择过滤器select会选择帧进行输出：pict_type和对应的类型:PICT_TYPE_I 表示是I帧，即关键帧；

-vsync 2:阻止每个关键帧产生多余的拷贝；

-f image2 name_%02djpeg:将视频帧写入到中，样式的格式一般是: “%d” 或者 “%0Nd”

-s:分辨率，544960

这样保存下来的关键帧的命名顺序是从001开始的，数字表示第几个关键帧。

2将序列合成视频

上面的命令会把当前目录下的（名字如：image1jpg, image2jpg, 等）合并成videompg

3将视频分解成序列

上面的命令会生成image1jpg, image2jpg,

支持的格式有：PGM, PPM, PAM, PGMYUV, JPEG, GIF, PNG, TIFF, SGI

4从视频抽出声音，并存为Mp3

说明：

源视频：source_videoavi

音频位率：192kb/s

输出格式：mp3

生成的声音：soundmp3

引用：

ffmpeg 提取关键帧 >

FFMPEG是特别强大的专门用于处理音视频的开源库。你既可以使用它的API对音视频进行处理，也可以使用它提供的工具，如 ffmpeg, ffplay, ffprobe，来编辑你的音视频文件。

本文将简要介绍一下 FFMPEG 库的基本目录结构及其功能，然后详细介绍一下我们在日常工作中，如何使用 ffmpeg 提供的工具来处理音视频文件。

在讲解 FFMPEG 命令之前，我们先要介绍一些音视频格式的基要概念。

我们按使用目的可以将 FFMPEG 命令分成以下几类：

然后将编码的数据包传送给解码器（除非为数据流选择了流拷贝，请参阅进一步描述）。解码器产生未压缩的帧（原始视频/ PCM音频/ ），可以通过滤波进一步处理（见下一节）。在过滤之后，帧被传递到编码器，编码器并输出编码的数据包。最后，这些传递给复用器，将编码的数据包写入输出文件。

默认情况下，ffmpeg只包含输入文件中每种类型（视频，音频，字幕）的一个流，并将其添加到每个输出文件中。它根据以下标准挑选每一个的“最佳”：对于视频，它是具有最高分辨率的流，对于音频，它是具有最多channel的流，对于字幕，是第一个字幕流。在相同类型的几个流相等的情况下，选择具有最低索引的流。

您可以通过使用-vn / -an / -sn / -dn选项来禁用某些默认设置。要进行全面的手动控制，请使用-map选项，该选项禁用刚描述的默认设置。

下面我们就来详细介绍一下这些命令。

FFMPEG 可以使用下面的参数进行基本信息查询。例如，想查询一下现在使用的 FFMPEG 都支持哪些 filter，就可以用 ffmpeg -filters 来查询。详细参数说明如下：

接下来介绍的是 FFMPEG 处理音视频时使用的命令格式与参数。

下面是 FFMPEG 的基本命令格式：

ffmpeg 通过 -i 选项读取输任意数量的输入“文件”（可以是常规文件，管道，网络流，抓取设备等，并写入任意数量的输出“文件”。

原则上，每个输入/输出“文件”都可以包含任意数量的不同类型的视频流（视频/音频/字幕/附件/数据）。流的数量和/或类型是由容器格式来限制。选择从哪个输入进入到哪个输出将自动完成或使用 -map 选项。

要引用选项中的输入文件，您必须使用它们的索引（从0开始）。例如。第一个输入文件是0，第二个输入文件是1，等等。类似地，文件内的流被它们的索引引用。例如。 2：3是指第三个输入文件中的第四个流。

上面就是 FFMPEG 处理音视频的常用命令，下面是一些常用参数：

-an（输出）禁用录音。

-acodec编解码器（输入/输出） |设置音频编解码器。这是-codec的别名：a。

-sample_fmt [：stream_specifier] sample_fmt（输出，每个流） |设置音频采样格式。使用-sample_fmts获取支持的样本格式列表。

-af filtergraph（输出） |创建由filtergraph指定的过滤器图，并使用它来过滤流。

了解了这些基本信息后，接下来我们看看 FFMPEG 具体都能干些什么吧。

首先通过下面的命令查看一下 mac 上都有哪些设备。

注意，桌面的输入对帧率没有要求，所以不用限制桌面的帧率。其实限制了也没用。

ffmpeg -f avfoundation -i 1:0 -r 2997 -c:v libx264 -crf 0 -c:a libfdk_aac -profile:a aac_he_v2 -b:a 32k outflv

流拷贝是通过将 copy 参数提供给-codec选项来选择流的模式。它使得ffmpeg省略了指定流的解码和编码步骤，所以它只能进行多路分解和多路复用。这对于更改容器格式或修改容器级元数据很有用。在这种情况下，上图将简化为：

由于没有解码或编码，速度非常快，没有质量损失。但是，由于许多因素，在某些情况下可能无法正常工作。应用过滤器显然也是不可能的，因为过滤器处理未压缩的数据。

上面的命令表式的是音频、视频都直接 copy，只是将 mp4 的封装格式转成了flv。

在编码之前，ffmpeg可以使用libavfilter库中的过滤器处理原始音频和视频帧。几个链式过滤器形成一个过滤器图形。 ffmpeg区分两种类型的过滤器图形：简单和复杂。

简单的过滤器图是那些只有一个输入和输出，都是相同的类型。在上面的图中，它们可以通过在解码和编码之间插入一个额外的步骤来表示：

简单的filtergraphs配置了per-stream-filter选项（分别为视频和音频使用-vf和-af别名）。一个简单的视频filtergraph可以看起来像这样的例子：

请注意，某些滤镜会更改帧属性，但不会改变帧内容。例如。上例中的fps过滤器会改变帧数，但不会触及帧内容。另一个例子是setpts过滤器，它只设置时间戳，否则不改变帧。

复杂的过滤器图是那些不能简单描述为应用于一个流的线性处理链的过滤器图。例如，当图形有多个输入和/或输出，或者当输出流类型与输入不同时，就是这种情况。

复杂的过滤器图使用-filter_complex选项进行配置。请注意，此选项是全局性的，因为复杂的过滤器图形本质上不能与单个流或文件明确关联。

-lavfi选项等同于-filter_complex。

一个复杂的过滤器图的一个简单的例子是覆盖过滤器，它有两个视频输入和一个视频输出，包含一个视频叠加在另一个上面。它的音频对应是amix滤波器。

先通过 ffplay 找到要删除 LOGO 的位置

使用 delogo 滤镜删除 LOGO

crop 格式：crop=out_w:out_h:x:y

如果要修改为垂直翻转可以用vflip。

首先创建一个 inputstxt 文件，文件内容如下：

file '1flv'

file '2flv'

file '3flv'

然后执行下面的命令：

1转码

ffmpeg -re -i <source_url> -acodec aac -b:a 64k -vcodec h264 -b:v 1024k -loglevel level+verbose -hide_banner -level 31 -vprofile baseline -g 20 -r 20 -vsync 2 -strict -2 -f flv <target_url>

更多命令参考：

ffmpeg推送保存rtmp流命令

2日志重定向到文件

在命令输完以后加入 > logfilename 2>&1 即可保存到自己指定的logfilename中

3日志中加入自定义标识

要关注的av_log中加入自己的标识，之后用这个标识过滤就行

ffmpeg在做音视频编解码时非常方便，所以很多场景下转码使用的是ffmpeg，通过ffmpeg –-help可以看到ffmpeg常见的命令大概分为六部分：

命令格式如下：

下面罗列一些ffmpeg常用的信息查询命令：

1、查询版本信息

2、ffmpeg查询是否支持对应的视频文件格式

使用ffmpeg转吗，有时候可能会遇到无法解析的视频文件或者无法生成视频文件，报错提示不支持生成对应的视频文件，这时候就需要查看当前使用的ffmpeg是否支持对应的视频文件格式，需要使用ffmpeg -formats参数来查看:

根据上面输出的信息可以看到，输出的内容分为3个部分，具体如下。

输出信息中包含了三部分内容,具体如下。

输出信息的内容分为四列，具体如下。

从输出的帮助信息中可以看到，FLV的muxer的信息包含两大部分，具体如下。

从输出的帮助信息可以看到，FLV的demuxer的信息包含两大部分：

从帮助信息可以看到，H264(AVC)的编码参数包含两大部分，具体如下。

从帮助信息可以看到，H264(AVC)的解码参数查看包括两大部分，具体如下：

从帮助信息可以看到，colorkey滤镜查看信息包含两大部分，具体如下。

ffmpeg的封装转换（转封装）功能包含在AVFormat模块中，通过libavformat库进行Mux和Demux *** 作；多媒体文件的格式有很多种，这些格式中的很多参数在Mux与Demux的 *** 作参数中是公用的，下面来详细介绍一下这些公用的参数。

通过查看ffmpeg --help full信息，找到AVFormatContext参数部分，该参数下的所有参数均为封装转换可使用的参数。下表列出了ffmpeg AVFormatContext的主要参数及说明。

这些都是通用的封装、解封装 *** 作时使用的参数，后续章节中介绍转封装 *** 作、解封装 *** 作、封装 *** 作时，上述参数可以与对应的命令行参数搭配使用。

ffmpeg编解码部分的功能主要是通过模块AVCodec来完成的，通过libavcodec库进行Encode与Decode *** 作。多媒体编码格式的种类有很多，但是还是有很多通用的基本 *** 作参数设置，下面来详细介绍这些公用的参数。

通过命令ffmpeg --help full可以看到AVCodecContext参数列表信息。该选项下面的所有参数均为编解码可以使用的参数。

ffmpeg还有一些更细化的参数，本节中并未详细提及，可以根据本节中提到的查看方法查看ffmpeg的帮助文件以查看更多的内容，本节中介绍的是重点及常用的通用参数，后续章节中介绍编码 *** 作时，上述参数可以配合对应的例子使用。

ffmpeg工具的主要用途为编码、解码、转码以及媒体格式转换，ffmpeg常用于进行转码 *** 作，使用ffmpeg转码的主要原理如图

通过之前介绍的参数，可以设置转码的相关参数，如果转码 *** 作频涉及封装的改变，则可以通过设置AVCodec与AVFormat的 *** 作参数进行封装与编码的改变，下面示例：

从输出信息中可以看到，以上输出的参数中使用了前面介绍过的参数，具体如下。

在 FFmpeg套件中，除了ffmpeg作为多媒体处理工具之外，还有ffprobe多媒体信息查看工具，ffprobe主要用来查看多媒体文件的信息，下面就来看一下ffprobe中常见的基本命令。

usage: ffprobe [OPTIONS] [INPUT_FILE] the other

ffprobe常用的参数比较多，可以通过ffprobe --help来查看详细的帮助信息。

这些输出的帮助信息既是ffprobe常用的 *** 作参数，也是ffrpobe的基础参数。例如查看log，查看每一个音频数据包信息或者视频数据包信息，查看节目信息，查看流信息，查看每一个流有多少帧以及每一个流有多少个音视频包，查看视频像素点的格式等。下面就来根据以上的输出参数重点列举几个例子。

1)使用下面的命令，查看多媒体数据包信息：

通过show_packets查看的多媒体数据包信息使用PACKET标签括起来，其中包含的信息主要如下：

2)除了以上字段和信息之外，还可以通过如下的组合参数来查看包中的具体数据：

和上面的比起来多了一个data字段，具体如下

[PACKET]

codec_type=video

stream_index=0

pts=379904

pts_time=24733333

dts=379904

dts_time=24733333

duration=512

duration_time=0033333

size=2010

pos=3272564

flags=__

data=

00000000: 0000 07d6 419a cc21 3ffa 5800 0031 9893 A!X1

00000010: d7e7 0641 039b 27c5 e0f8 5175 1abc 0e4f A'QuO

00000020: d710 f401 3224 0093 a2e5 c07e 9c30 0003 2$~0

略过一大段数据

00000770: 1ebe 840a 5ac2 4f9a 614c 5697 8eab fef8 ZOaLV

00000780: 0b59 9647 cc6d 8a4b f8c0 89e8 798e f569 YGmKyI

00000790: 2aca ec22 e1f5 d2e5 31b1 010e 7725 e127 "1w%'

000007a0: c5f4 7051 f07b 8449 649f 3fab 6a3d 3913 pQ{Idj=9

000007b0: d9e4 bdd6 0f22 fa77 2b32 35f5 f4f7 5393 "w+25S

000007c0: 1c9d fe72 1550 ba41 c774 5031 96d5 aef5 rPAtP1

000007d0: f1b9 77a7 ad54 0800 010f wT

[/PACKET]

从输出的内容中可以看到多媒体包中包含的数据，那么我们可以根据上述输出内容中的pos，也就是文件偏移位置来查看，pos的值为3272564，将其转换为十六进制位置为0x31EF74，这就是这个包在flv文件中的偏移量，可以使用Linux下的xxd 1mp4命令进行查看:

0031ef70: 0000 000e 0000 07d6 419a cc21 3ffa 5800 A!X

0031ef80: 0031 9893 d7e7 0641 039b 27c5 e0f8 5175 1A'Qu

0031ef90: 1abc 0e4f d710 f401 3224 0093 a2e5 c07e

0031efa0: 9c30 0003 389a 06b7 f211 fb06 362c 95a9 086,

0031efb0: 0020 8f32 e280 6773 015e 78d2 87a3 e114 2gs^x

0031efc0: f3b3 9d2d ffd7 b202 2233 923f 3d42 bc7f -"3=B

可以看到从0x31EF74开始的数据和上面一致：0000 07d6 419a cc21 3ffa 5800。

通过ffprobe读取packets来进行对应的数据分析，使用show_packets与show_data配合可以进行更加精确的分析。

3)除了packets与data之外，ffprobe还可以分析多媒体的封装格式，其使用FORMAT标签括起来显示：

[FORMAT]

filename=1mp4

nb_streams=2

nb_programs=0

format_name=mov,mp4,m4a,3gp,3g2,mj2

format_long_name=QuickTime / MOV

start_time=0000000

duration=25704000

size=3307949

bit_rate=1029551

probe_score=100

TAG:major_brand=isom

TAG:minor_version=512

TAG:compatible_brands=isomiso2avc1mp41

TAG:encoder=Lavf5533100

[/FORMAT]

下面是对输出信息关键字段的说明：

4)使用下面的命令可以查看视频文件的帧信息，输出的帧信息将使用FRAME标签括起来：

[FRAME]

media_type=video

stream_index=0

key_frame=1

pts=0

pts_time=0000000

pkt_dts=0

pkt_dts_time=0000000

best_effort_timestamp=0

best_effort_timestamp_time=0000000

pkt_duration=512

pkt_duration_time=0033333

pkt_pos=22995

pkt_size=1888

width=720

height=1280

pix_fmt=yuv420p

sample_aspect_ratio=N/A

pict_type=I

coded_picture_number=0

display_picture_number=0

interlaced_frame=0

top_field_first=0

repeat_pict=0

color_range=tv

color_space=bt709

color_primaries=bt709

color_transfer=bt709

chroma_location=left

[/FRAME]

通过-show-frames参数可以查看每一帧的信息，下面就来介绍一下其中重要的信息，

在Windows下常用的Elecard StreamEye工具中打开查看MP4时，会很直观地看到帧类型显示，用ffprobe的pict_type同样可以看到视频的帧是I帧，P帧或者B帧；每一帧的大小同样也可以通过ffprobe的pkt_size查看到。

5)通过-show_streams参数可以查看到多媒体文件中的流信息，流的信息将使用STREAM标签括起来：

[STREAM]

index=0

codec_name=h264

codec_long_name=H264 / AVC / MPEG-4 AVC / MPEG-4 part 10

profile=Main

codec_type=video

codec_tag_string=avc1

codec_tag=0x31637661

width=720

height=1280

coded_width=720

coded_height=1280

closed_captions=0

film_grain=0

has_b_frames=0

sample_aspect_ratio=N/A

display_aspect_ratio=N/A

pix_fmt=yuv420p

level=42

color_range=tv

color_space=bt709

color_transfer=bt709

color_primaries=bt709

chroma_location=left

field_order=progressive

refs=1

is_avc=true

nal_length_size=4

id=0x1

r_frame_rate=30/1

avg_frame_rate=30/1

time_base=1/15360

start_pts=0

start_time=0000000

duration_ts=388608

duration=25300000

bit_rate=964695

max_bit_rate=N/A

bits_per_raw_sample=8

nb_frames=759

nb_read_frames=N/A

nb_read_packets=N/A

extradata_size=39

DISPOSITION:default=1

DISPOSITION:dub=0

DISPOSITION:original=0

DISPOSITION:comment=0

DISPOSITION:lyrics=0

DISPOSITION:karaoke=0

DISPOSITION:forced=0

DISPOSITION:hearing_impaired=0

DISPOSITION:visual_impaired=0

DISPOSITION:clean_effects=0

DISPOSITION:attached_pic=0

DISPOSITION:timed_thumbnails=0

DISPOSITION:captions=0

DISPOSITION:descriptions=0

DISPOSITION:metadata=0

DISPOSITION:dependent=0

DISPOSITION:still_image=0

TAG:language=und

TAG:handler_name=VideoHandler

TAG:vendor_id=[0][0][0][0]

[/STREAM]

如以上输出内容所示，从中可以看到流的信息，具体属性及说明如下表

fprobe 使用前面的参数可以获得key-value格式的显示方式，但是阅读起来因为习惯不同，可能有的人会认为方便，有的人认为不方便；如果要进行格式化的显示，这样就需要用到ffprobe -print_format 或者 ffprobe -of 参数来进行相应的格式输出，而-print_format 支持多种格式输出，包括XML,INI,JSON,CSV,FLAT等。下面列举几种常见的格式输出的例子

Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '1mp4':

Metadata:

major_brand : isom

minor_version : 512

compatible_brands: isomiso2avc1mp41

encoder : Lavf5533100

Duration: 00:00:2570, start: 0000000, bitrate: 1029 kb/s

Stream #0:0 0x1 : Video: h264 (Main) (avc1 / 0x31637661), yuv420p(tv, bt709, progressive), 720x1280, 964 kb/s, 30 fps, 30 tbr, 15360 tbn (default)

Metadata:

handler_name : VideoHandler

vendor_id : [0][0][0][0]

Stream #0:1 0x2 : Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 72 kb/s (default)

Metadata:

handler_name : SoundHandler

vendor_id : [0][0][0][0]

</stream>

</stream>

</streams>

</ffprobe>

从输出的内容可以看到，输出的内容格式为XML格式，如果原有的业务本身就可以解析XML格式，那么就不需要更改解析引擎，直接将输出内容输出为XML格式即可，解析引擎解析Packet信息是会更方便。

输出INI格式：

输出FLAT格式：

输出JSON格式：

输出CSV格式：

通过各种格式的输出，可以使用对应的绘图方式绘制出可视化图形。

CSV格式输出后可以使用Excel打开表格形式

可以在命令行中自行输出，输出的frame信息全部为视频相关的信息。

使用ffprobe还可以查看很多信息，我们可以通过本节介绍的help方法查看更多更详细的信息

在FFmpeg中通常使用ffplay作为播放器，其实ffplay同样也可作为很多音视频的图形化分析工具，通过ffplay可以看到视频图像的运动估计方向、音频数据的波形等，以下将介绍更多参数并举例说明。

1)ffplay常用参数

ffplay不仅仅是播放器，同时也是测试ffmpeg的codec引擎、format引擎，以及filter引擎的工具，并且还可以进行可视化的媒体参数分析。其可以通过ffplay --help进行查看：

Simple media player

usage: ffplay [options] input_file

Main options:

-L show license

-h topic show help

- topic show help

-help topic show help

--help topic show help

-version show version

-buildconf show build configuration

-formats show available formats

-muxers show available muxers

-demuxers show available demuxers

-devices show available devices

-codecs show available codecs

-decoders show available decoders

-encoders show available encoders

-bsfs show available bit stream filters

-protocols show available protocols

-filters show available filters

-pix_fmts show available pixel formats

-layouts show standard channel layouts

-sample_fmts show available audio sample formats

-dispositions show available stream dispositions

-colors show available color names

-loglevel loglevel set logging level

-v loglevel set logging level

-report generate a report

-max_alloc bytes set maximum size of a single allocated block

-sources device list sources of the input device

-sinks device list sinks of the output device

-x width force displayed width

-y height force displayed height

-s size set frame size (WxH or abbreviation)

-fs force full screen

-an disable audio

-vn disable video

-sn disable subtitling

-ss pos seek to a given position in seconds

-t duration play "duration" seconds of audio/video

-bytes val seek by bytes 0=off 1=on -1=auto

-seek_interval seconds set seek interval for left/right keys, in seconds

-nodisp disable graphical display

-noborder borderless window

-alwaysontop window always on top

-volume volume set startup volume 0=min 100=max

-f fmt force format

-window_title window title set window title

-af filter_graph set audio filters

-showmode mode select show mode (0 = video, 1 = waves, 2 = RDFT)

-i input_file read specified file

-codec decoder_name force decoder

-autorotate automatically rotate video

这只是Main options里面的部分，另外还有Advanced options，AVCodecContext AVOptions等等很多内容。就上述帮助信息的输出所示，有些是前面已经介绍过的参数，这里就不再一一赘述，一些未介绍的参数说明见下表

常见参数可以手动进行尝试，下面列举几个示例。

如果希望从视频的第5秒开始播放，播放5秒钟的文件，则可以使用如下命令

如果希望视频播放时播放器的窗口显示标题为自定义标题，则可以使用如下命令

如果希望使用ffplay打开网络直播流，则可以使用如下命令:

可以看出ffplay可以支持的协议有多种，ramp，rtmp，>

如果是RTMP流的话，我建议你用StreamTransport录制（一般这些流的编码是H264），保存视频到本地后，再用FFMPEFG作后期处理。

因为很多RTMP流都是需要验证、做了防盗链工作的直接ffmpeg -i rtmp协议地址很多时候不行。

如果您对我的回答有不满意的地方，还请您继续追问；

答题不易，互相理解，互相帮助！

以上就是关于ffmpeg实现视频I帧提取全部的内容，包括:ffmpeg实现视频I帧提取、关于ffmpeg推流，如何推流一个文件夹里的所有视频或者多个视频、ffmpeg 常用命令等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！

欢迎分享，转载请注明来源：内存溢出

原文地址:https://54852.com/web/9598228.html

ffmpeg实现视频I帧提取

发表评论

评论列表（0条）