主流开源流媒体服务器有哪些

1服务器系统

这一部分实际上就是直播流媒体服务器系统，主要是实现直播的数据流转发功能，重要的是它的性能与稳定性与核心直播业务平台的稳定性和运营成本是直接挂钩的。通常能够进行正常运营的流媒体服务器系统，都可以达到单机支持5000并发在线用户，具备极高的资源利用效率。

2内容分发系统

关于内容分发，就需要讲到CDN。它可以在多个节点服务器之间将直播内容进行自动分发，从而实现全网播放，并且移动终端用户可以自动选择离自己近的服务节点来接受发布内容。如果想要开发的直播软件业务范围是全国，那么就需要找一家覆盖全国节点的服务商，这样才能够保证直播业务的正常进行。相信CDN的重要性就不需要我再多说了吧。

3录播系统

这部分实现起来相对比较简单，但是要想达到更高的标准，还需要投入更多的精力才行。但是对于运营级的服务平台来说，如果没有了稳定性和性能方面的保障，那么你会发现运营成本会越来越高，效率越来越低，终因为用户体验差。

4在线转码系统

在日常格式转换时我们往往会发现，对一个1080P的高清节目做转码时，用一台搭载Intel

i7处理器的主机做处理非常消耗资源，而且转码速度极慢，。更合况是对于一个有上千个用户同时做直播的运营平台。因此，我们必须要找到一种更合理的解决方案，既要达到更高的转码效率，同时还要能合理地控制成本，这样才能满足平台运营的需要。

5用户鉴权系统和计费、支付与订单结算系统

随着国家对直播行业的监管加强，平台要为用户提供一个真实可靠的权限控制机制，任何人都不能越权发布违规的内容，也不能假借第三方的名义来发布违规的内容。直播运营中的各个环节都会和资金流交互，比如主播的在线收入、主播与平台的资金结算、用户的充值与消费记录等。这是业务支撑系统的核心，并且要求数据必须准确。

6内容审核系统

由于对直播APP的内容要求越来越严，建立直播APP就需要对内容加以管理和严格审核，现在是全民直播，每个人都可以玩直播，所以依靠人为审核很难，数据过于庞大，需要利用特殊技术对内容做初步识别，这样可以节省人力成本。

辛辛苦苦找到的，够详细吧？
1 引言
随着互联网的飞速发展,流媒体技术的应用越来越广泛,从网上广播、播放到远程教学以及在线的新闻网站等都用到了流媒体技术。但现有公开文献所报道的大多是利用现有的流媒体服务器来搭建一个流媒体服务系统，或者是针对流媒体数据的编码方式所进行的研究。本文对流媒体服务器技术的研究重点在于如何建立一个服务器，并且在实现流媒体传输的两个基本协议RTP/RTCP的基础上构建一个基本的流媒体服务器。
2 流媒体技术简介
21 “流”的定义
现在网上传输视频、音频主要有下载（Download）和流式传输（Streaming）两种方式。流式传输是连续传送视/音频信号，当流媒体在客户机播放时其余部分在后台继续下载。流式传输有顺序流式传输(Progressive Streaming)和实时流式传输(Realtime Streaming)两种方式。实时流式传输是实时传送，特别适合现场事件，实时流式传输必须匹配连接带宽，这意味着图像质量会因网络速度降低而变差,以减少对传输带宽的需求。“实时”的概念是指在一个应用中数据的交付必须与数据的产生保持精确的时间关系。
在Internet中使用流式传输技术的连续时基媒体就称为流媒体，通常也将其视频与音频称为视频流和音频流。实现流式传输一般都需要专用服务器和播放器。
22 流媒体系统组件
流媒体是由各种不同软件构成的，这些软件在各个不同层面上互相通信，基本的流媒体系统包含以下3个组件：
播放器（Player），用来播放流媒体的软件。
服务器（Server），用来向用户发送流媒体的软件。
编码器（Encode），用来将原始的音频视频转化为流媒体格式的软件。
这些组件之间通过特定的协议互相通信，按照特定的格式互相交换文件数据。有些文件中包含了由特定编解码器解码的数据，这种编解码器通过特定算法压缩文件的数据量。
3 流媒体服务器的基本功能和服务方式
31 流媒体服务器的主要功能
（1）响应客户的请求，把媒体数据传送给客户。流媒体服务器在流媒体传送期间必须与客户的播放器保持双向通信（这种通信是必需的，因为客户可能随时暂停或快放一个文件）。
（2）响应广播的同时能够及时处理新接收的实时广播数据，并将其编码。
（3）可提供其他额外功能，如：数字权限管理（DRM），插播广告，分割或镜像其他服务器的流，还有组播。
32 流媒体服务器的服务方式
（1）单播。在客户端与媒体服务器之间建立一个单独的数据通道，从1台服务器送出的每个数据包只能传送给1个客户机。
（2）组播。在以组播技术构建的网络上，允许路由器一次将数据包复制到多个通道上。
（3）点播与广播。点播连接是客户端与服务器之间的主动的连接，在点播连接中，用户通过选择内容项目来初始化客户端连接，用户可以开始、停止、后退、快进或暂停流。广播指的是用户被动地接收流，在广播过程中，数据包的单独一个拷贝将发送给网络上的所有用户，客户端接收流，但不能控制流。
4 构建流媒体服务器
41 RTP/RTCP协议简介
实时传输协议RTP（Realtime Transport Protocol）：是针对Internet上多媒体数据流的一个传输协议, 由IETF(Internet工程任务组)作为RFC1889发布。RTP被定义为在一对一或一对多的传输情况下工作，其目的是提供时间信息和实现流同步。RTP的典型应用建立在UDP上，但也可以在TCP或ATM等其他协议之上工作。RTP本身只保证实时数据的传输，并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠RTCP提供这些服务。
实时传输控制协议RTCP（Realtime Transport Control Protocol）：负责管理传输质量在当前应用进程之间交换控制信息。在RTP会话期间，各参与者周期性地传送RTCP包，包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，因此，服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。RTP和RTCP配合使用，能以有效的反馈和最小的开销使传输效率最佳化，故特别适合传送网上的实时数据。
RTCP主要有4个功能:
（1）用反馈信息的方法来提供分配数据的传送质量，这种反馈可以用来进行流量的拥塞控制，也可以用来监视网络和用来诊断网络中的问题；
（2）为RTP源提供一个永久性的CNAME（规范性名字）的传送层标志，因为在发现冲突或者程序更新重启时SSRC(同步源标识)会变，需要一个运作痕迹，在一组相关的会话中接收方也要用CNAME来从一个指定的与会者得到相联系的数据流（如音频和视频）；
（3）根据与会者的数量来调整RTCP包的发送率；
（4）传送会话控制信息，如可在用户接口显示与会者的标识，这是可选功能。
42 RTP/RTCP工作过程
工作时，RTP协议从上层接收流媒体信息码流（如H263），装配成RTP数据包发送给下层，下层协议提供RTP和RTCP的分流。如在UDP中， RTP使用一个偶数号端口，则相应的RTCP使用其后的奇数号端口。RTP数据包没有长度限制，它的最大包长只受下层协议的限制。
43 服务器的算法
服务器软件模型主要有两种，即并发服务器和循环服务器。循环服务器(Iterative Server)是指在一个时刻只处理一个请求的服务器。并发服务器(Concurrent Server)是指在一个时刻可以处理多个请求的服务器。事实上，多数服务器没有用于同时处理多个请求的冗余设备，而是提供一种表面上的并发性，方法是依靠执行多个线程，每个线程处理一个请求，从客户的角度看，服务器就像在并发地与多个客户通信。
由于流媒体服务时间的不定性和数据交互实时性的请求，流媒体服务器一般采用并发服务器算法。本文构建了一个基本的流媒体服务器，能够同时响应多个用户的请求，把本地硬盘流媒体文件或实时数据流（H263格式）发送给用户。在应用中，把客户分为请求实时数据的实时客户和请求文件数据的文件客户两类。主要算法为：
（1）打开设备，分配资源。当设备准备好时，创建一个RTP实时服务线程和一个RTCP实时服务线程。
（2）创建一个UDP套接字并将其绑定到所提供服务的地址之上。
（3）反复调用接收模块，接收来自客户的RTCP报告，根据其类型做出响应。对新实时客户的请求，把客户地址添加到实时服务的客户列表中，对新文件客户的请求，则创建一个新RTP文件服务线程和一个新RTCP文件服务线程；对已经在服务中的客户则根据RTCP报告的内容调整服务。
RTP实时服务线程1：初始化客户列表和RTP首部。
RTP实时服务线程2：从设备读取媒体数据，把数据发送给实时服务列表中的客户。
RTP实时服务线程3：更新RTP首部和统计数据。
RTP实时服务线程4：计算延时，重复第二步。
RTCP实时服务线程1：初始化RTCP首部。
RTCP实时服务线程2：发送发送方报告给实时服务列表中的客户。
RTCP实时服务线程3：计算延时，重复第二步。
RTP文件服务线程1：初始化RTP首部。
RTP文件服务线程2：从文件读取媒体数据，把数据发送给客户。
RTP文件服务线程3：更新已发送数据的统计信息，为生成发送方报告做准备。
RTP文件服务线程4：计算延时，调整发送速度，正常情况下开始重复第二步。
RTCP文件服务线程1：初始化RTCP首部，发送一个源描述(SDES)报文给客户。
RTCP文件服务线程2：根据已发送数据的统计信息生成发送方报告，发送给客户。
RTCP文件服务线程3：计算延时，正常情况下开始重复第一步。
5 流媒体服务器实现中应注意的问题
51 会话和流的两级分用
一个RTP会话(Session)包括传给某个指定目的地对(Destination Pair)的所有通信量，发送方可能包括多个。而从同一个同步源发出的RTP分组序列称为流(Stream),一个RTP会话可能包含多个RTP流。一个 RTP分组在服务器端发送出去的时候总是要指定属于哪个会话和流，在接收时也需要进行两级分用，即会话分用和流分用。只有当RTP使用同步源标识 (SSRC)和分组类型(PTYPE)把同一个流中的分组组合起来，才能够使用序列号(Sequence Number)和时间戳(Timestamp)对分组进行排序和正确回放。
52 多线程的管理
并发服务器模式要求用多线程来提供服务，所以多线程的管理十分重要。在本文构建的服务器中，不同客户的请求和反馈都由服务器的主线程处理，由于实时数据的独有性，不同实时客户可以共用一个RTP实时服务线程和一个RTCP实时服务线程，这样可以大大减小服务器的负担，而每个文件客户由于请求的文件不同，相应地对速度和开始时间的要求都可能不同，所以需要有自己独有的RTP文件服务线程和RTCP文件服务线程。
RTP服务线程负责把实时数据流发送给客户， RTCP服务线程根据RTP线程的统计数据，产生发送方报告给客户。RTP线程和RTCP线程之间通过一段共享内存交互统计数据，对共享内存必须设置互斥体进行保护，防止出现错误读写。在这种方式下，服务器可以根据每个用户的不同请求和具体情况方便地提供不同的服务。
53 时间戳的处理
时间戳字段是RTP首部中说明数据包时间的同步信息，是数据能以正确的时间顺序恢复的关键。时间戳的值给出了分组中数据的第一个字节的采样时间 (Sampling Instant)，要求发送方时间戳的时钟是连续、单调增长的，即使在没有数据输入或发送数据时也是如此。在静默时，发送方不必发送数据，保持时间戳的增长，在接收端，由于接收到的数据分组的序号没有丢失，就知道没有发生数据丢失，而且只要比较前后分组的时间戳的差异，就可以确定输出的时间间隔。
RTP规定一次会话的初始时间戳必须随机选择，但协议没有规定时间戳的单位，也没有规定该值的精确解释，而是由负载类型来确定时钟的颗粒，这样各种应用类型可以根据需要选择合适的输出计时精度。
在RTP传输音频数据时，一般选定逻辑时间戳速率与采样速率相同，但是在传输视频数据时，必须使时间戳速率大于每帧的一个滴答。如果数据是在同一时刻采样的，协议标准还允许多个分组具有相同的时间戳值。
54 媒体数据发送速度的控制
由于RTP协议没有规定RTP分组的长度和发送数据的速度，因而需要根据具体情况调整服务器端发送媒体数据的速度。对来自设备的实时数据可以采取等时间间隔访问设备缓冲区，在有新数据输入时发送数据的方式，时间戳的设置相对容易。对已经录制好的本地硬盘上的媒体文件，以H263格式的文件为例，由于文件本身不包含帧率信息，所以需要知道录制时的帧率或者设置一个初始值，在发送数据的时候找出发送数据中的帧数目，根据帧率和预置值来计算时延，以适当的速度发送数据并设置时间戳信息。
55 多种流同步
RTCP的一个关键作用就是能让接收方同步多个RTP流，例如：当音频与视频一起传输的时候，由于编码的不同，RTP使用两个流分别进行传输，这样两个流的时间戳以不同的速率运行，接收方必须同步两个流，以保证声音与影像的一致。为能进行流同步，RTCP要求发送方给每个传送一个唯一的标识数据源的规范名(Canonical Name），尽管由一个数据源发出的不同的流具有不同的同步源标识(SSRC)，但具有相同的规范名，这样接收方就知道哪些流是有关联的。而发送方报告报文所包含的信息可被接收方用于协调两个流中的时间戳值。发送方报告中含有一个以网络时间协议NTP(Network Time Protocol)格式表示的绝对时间值，接着RTCP报告中给出一个RTP时间戳值，产生该值的时钟就是产生RTP分组中的TimeStamp字段的那个时钟。由于发送方发出的所有流和发送方报告都使用同一个绝对时钟，接收方就可以比较来自同一数据源的两个流的绝对时间，从而确定如何将一个流中的时间戳值映射为另一个流中的时间戳值。
6 结论
流媒体技术的应用日益广泛，对流媒体技术的研究具有很大的实际意义,本文通过对RTP/RTCP协议的研究，分析流媒体服务器的一般功能和结构，给出构建一个基本的流媒体服务器的实现方案，实验证明可以同时满足多个实时和文件客户的要求,并已经应用于一个远程监控系统中

利网络流媒体服务器端软件RealServer是发布Real格式流媒体的专用服务器端软件。因为RealNetworks浏服务器端软件，用它可以在网上发布Real格式的Audio、Video文件，以流格式进行网上传输播放，不必担心rm文件被下载。要实现网上流量视频的点播与直播，在硬件之上需要安装一个服务器端软件。

您需要安装Flash播放器，流媒体服务器软件

基于流协议（RTP / RTSP，MMS，RTMP，等）的流媒体服务器软件的主要功能的视频文件传输到客户端的在线观看，视频采集，压缩，软件接收实时视频流，实时流媒体协议的客户端。
典型的流媒体服务器的Microsoft Windows媒体服务（WMS），它使用MMS协议接收和发送视频使用Windows Media Player（WMP）的前端播放器，RealNetworks公司的Helix服务器，RTP / RTSP协议，接收和发送视频播放器的前端，Adobe公司的Flash媒体服务器使用RTMP（RTMPT / RTMPE / RTMPS）协议接收和发送视频，Real播放器，Flash播放器，播放器的前端。这是值得注意的，Adobe公司的Flash播放器（点击官方数据的普及的闪存播放器安装容量已达到99％以上），越来越多的网络视频开始到使用Flash播放器的播放器前端，所以越来越多的企业开始采用Flash播放器兼容的流媒体服务器，并开始消除其他类型的流媒体服务器。 Flash播放器，除了Adobe Flash媒体服务器，流媒体服务器有一个用Java编写的名为Red5的开源软件，在中国制造的有一个叫Ultrant的Flash Media Server的软件，说是很不错的，最新版本的到版本187，可以下载一个免费的社区版。

摄像头采集；

1、音视频编解码；

2、流媒体协议；

3、音视频流推送到流媒体服务器；

4、流媒体网络分发；

5、用户播放器；

6、音视频同步；

7、网络延迟自适应；

8、需要录制，多种视频文件的格式和封装；

9、语言：C、C、html、php、mysql

10、开发环境：嵌入式，Linux，Windows，Web

还有就是视频播放解决方案（卡顿、延迟）：

1、CDN加速；

2、自己架服务器；

3、用别人的云服务。

用CDN加速，可以尽量减少延迟。目前业内水准来看，视频延迟都在3-6秒之间。也就是在视频直播时，你看到的是几秒以前的画面。

自己架服务器，如果部署的数据中心不够多，那么遇上跨网、跨省的传输，还是得用CDN加速。那么为了尽可能降低延迟，你就需要在全国各省市都部署数据中心，来解决跨网、跨省的传输。用云服务的话，就是别人把服务器给你架好了，你只要傻瓜式的用就行了。当然，不管用哪种方式，综合权衡利弊，找到适合的方案就是最好的方案。

开发视频直播的流程有哪些：

1、采集；

2、前期处理；

3、编码；

4、传输；

5、解码；

6、渲染。

采集：iOS是比较简单的，Android则要做些机型适配工作。PC最麻烦各种奇葩摄像头驱动，出了问题特别不好处理，建议放弃PC只支持手机主播，目前几个新进的直播平台都是这样的。

前期处理：现在直播美颜已经是标配了，80%的主播没有美颜根本没法看。美颜算法需要懂图像处理算法的人，没有好的开源实现，要自己参考论文去研究。算法设计好了还要优化，无论你打算用CPU还是GPU优化，算法优化本身也需要专业知识支持。GPU虽然性能好，但是也是有功耗的。GPU占用太高会导致手机发烫，而手机发烫会导致摄像头采集掉帧。而这一切都是需要经验支撑。

编码：如果你要上720p，肯定要采用硬编码。软编码720p完全没希望，硬件编码不灵活。兼容性也有问题。如何适应纷繁复杂的网络和纷繁复杂的上下行设备？安卓和芯片的坑，开发过的人都知道。那有人问，要求不高，上软编码低分辨率360p行不行？就算上低分辨率，软编码还是会让CPU发烫，CPU过热烫到摄像头，长期发烫不仅直接反应是费电。既然是手机直播，插着电源和充电器实在说不过去吧。还有，CPU发烫会降频，怎么办？这还是只说性能方面。和前处理只影响图像质量和功耗不同，视频编解码技术还关联成本计算和网络对抗。考虑性能、功耗、成本、网络这四个之后你编码的码率、帧率、分辨率。软硬件开发该如何选择？

传输：自己做不现实，交给第三方服务商吧。

解码：如果你用硬解码，一定要做容错处理，一定要做适配。突然一个crash导致手机重启不好吧。安卓的硬解码，不说了。如果你加了网络目前手机的硬解码还不一定支撑用软解码，功耗发热的问题又来了。

渲染：为什么手机明明解码出好多帧数据。就是渲染不出来。为什么画面就是不同步。

以上是媒体模块，还有信令控制，登录、鉴权、权限管理、状态管理等等，各种应用服务，消息推送，聊天，礼物系统，支付系统，运营支持系统，统计系统等。后台还有数据库，缓存，分布式文件存储，消息队列，运维系统等。

以上技术要点的小结，确实能说明开发一个能用于生产环境的实时视频直播平台确非易事，跟IM里传统的实时音视频一样，这样的技术都是音视频编解码网络传输技术的综合应用体。

---