为什么短视频应用在服务器端渲染那么慢？

短视频所面临的架构问题：
1短视频APP开发时的数据处理需求
客户端主要是对于视频的效果叠加、人脸识别和各种美颜美化算法的处理。同时客户端处理还会增加一些必要的转码和水印的视频处理。
目前客户端的视频编解码方式，会有软编码和硬编码的方式，软编码主要是兼容性比较好，编码效果好些，不过缺点就是能耗高且慢些。而硬编码借助于显卡等，能够得到比较低的能耗并且更快，不过兼容和效果要差一些，特别是对于一些低配的机型。所以目前往往采用结合的方式。
服务端的处理，主要是进行视频的一些审核转码工作，也有一些抽帧生成截图的工作等，目前使用ffmpeg进行一些处理。服务端本身需要考虑的一些点，就是因为资源消耗比较高，所以需要机器数会多，所以在服务端做的视频处理 *** 作，会尽量控制在一个合理的范围。
2短视频APP开发中音视频不同步问题
媒体内容在播放时，最令人头痛的就是音视频不同步。从技术上来说，解决音视频同步问题的最佳方案就是时间戳：首先选择一个参考时钟（要求参考时钟上的时间是线性递增的）；生成数据流时依据参考时钟上的时间给每个数据块都打上时间戳（一般包括开始时间和结束时间）；在播放时，读取数据块上的时间戳，同时参考当前参考时钟上的时间来安排播放。可见，避免音视频不同步现象有两个关键——一是在生成数据流时要打上正确的时间戳。如果数据块上打的时间戳本身就有问题，那么播放时再怎么调整也于事无补。打时间戳时，视频流和音频流都是参考参考时钟的时间，而数据流之间不会发生参考关系；也就是说，视频流和音频流是通过一个中立的第三方（也就是参考时钟）来实现同步的。第二个关键的地方，就是在播放时基于时间戳对数据流的控制，也就是对数据块早到或晚到采取不同的处理方法。

一、FFmpeg推RTMP流准备工作
首先确保自已已经安装了nginx + rtmp服务器。

打开配置文件nginxconf

完成如下配置

nginx配置1

如果没有nginx + rtmp服务器，请阅读我的另一篇文章

Mac搭建nginx+rtmp服务器

二、FFmpeg推流

1推流MP4文件

视频文件地址：/Users/xu/Desktop/bangbangbangmp4

推流拉流地址：rtmp://localhost:1935/rtmplive/home

acc：RTMP的音频格式

flv： RTMP的视频格式

ffmpeg -re -i /Users/xu/Desktop/bangbangbangmp4-vcodec libx264 -acodec aac -f flv rtmp://localhost:1935/rtmplive/home

设置推流2

输入命令行后，暂时先不要点回车，等设置好本地拉流后，再进行推流。

2本地拉流MP4文件

打开VLC播放器

VLC3

设置播放地址

设置播放地址4

设置拉流地址

rtmp://localhost:1935/rtmplive/home

拉流地址5

开始推流，点击open后开始播放。

FFmpeg推流成功6

推流成功!

三、用ffmpeg推流桌面以及推流摄像头进行直播

1如果希望将桌面录制或者分享，可以使用命令行如下：

ffmpeg -f avfoundation -i "1" -vcodec libx264 -preset ultrafast -acodec libfaac -f flv rtmp://localhost:1935/rtmplive/home

这个只能够推桌面。

2如果需要桌面+麦克风，比如一般做远程教育分享 命令行如下：

ffmpeg -f avfoundation -i "1:0" -vcodec libx264 -preset ultrafast -acodec libmp3lame -ar 44100 -ac 1 -f flv rtmp://localhost:1935/rtmplive/home

这个可以推桌面+麦克风。

3如果需要桌面+麦克风，并且还要摄像头拍摄到自己，比如一般用于互动主播，游戏主播，命令行如下

ffmpeg -f avfoundation -framerate 30 -i "1:0" \-f avfoundation -framerate 30 -video_size 640x480 -i "0" \-c:v libx264 -preset ultrafast \-filter_complex 'overlay=main_w-overlay_w-10:main_h-overlay_h-10' -acodec libmp3lame -ar 44100 -ac 1 -f flv rtmp://localhost:1935/rtmplive/home

这个可以推桌面+麦克风，并且摄像头把人头放在界面下面

Snip20160713_12png

四、FFmpeg常用基本命令

1分离视频音频流

ffmpeg -i input_file -vcodeccopy-an output_file_video//分离视频流ffmpeg -i input_file -acodeccopy-vn output_file_audio//分离音频流

2视频解复用

ffmpeg–itestmp4 –vcodeccopy–an–fm4vtest264ffmpeg –itestavi –vcodeccopy–an–fm4vtest264

3视频转码

ffmpeg –i testmp4 –vcodec h264 –s352278–an –f m4v test264//转码为码流原始文件ffmpeg –i testmp4 –vcodec h264 –bf0–g25–s352278–an –f m4v test264//转码为码流原始文件

ffmpeg –i testavi -vcodec mpeg4 –vtag xvid –qsame test_xvidavi//转码为封装文件

-bf B帧数目控制

-g 关键帧间隔控制

-s 分辨率控制

4视频封装

ffmpeg –i video_file –i audio_file –vcodeccopy–acodeccopyoutput_file

5视频剪切

ffmpeg –i testavi –r1–f image2 image-%3djpeg//提取ffmpeg -ss0:1:30-t0:0:20-i inputavi -vcodec copy -acodec copy outputavi//剪切视频

-r 提取图像的频率

-ss 开始时间

-t 持续时间

6视频录制

ffmpeg –i rtsp://1921683205:5555/test –vcodec copy outavi

7YUV序列播放

ffplay -f rawvideo -video_size1920x1080 inputyuv

8YUV序列转AVI

ffmpeg–swh–pix_fmtyuv420p–iinputyuv –vcodecmpeg4outputavi

9常用参数说明：

主要参数：

i 设定输入流

f 设定输出格式

ss 开始时间

视频参数：

b 设定视频流量，默认为200Kbit/s-r 设定帧速率，默认为25

s 设定画面的宽与高-aspect 设定画面的比例

vn 不处理视频-vcodec 设定视频编解码器，未设定时则使用与输入流相同的编解码器

音频参数：

ar 设定采样率

ac 设定声音的Channel数

acodec 设定声音编解码器，未设定时则使用与输入流相同的编解码器an 不处理音频

---