非结构化海量网络数据处理技术研究

 

　　飞行试验数据处理是飞行试验工程中非常重要的一个环节，是对各类试飞数据信息进行细致、充分和全面的分析与处理，数据处理结果是飞行试验鉴定结论的核心依据。随着计算机网络技术在飞行试验测试领域的深入应用，网络化测试技术逐渐成为飞行试验测试技术发展的另一个核心。同时随着现代飞机设计技术的发展，飞机系统越来越复杂，飞行试验科目、测试参数、测试数据种类以及测试数据总量越来越多。对飞行试验数据处理从质量、速度以及数据安全性、可靠性等方面提出了更高的要求。机载网络化测试系统架构技术应用于最新的飞机测试系统上，该系统采集记录的网络数据记录了飞机一个飞行试验起落的各类测试数据信息，新一代飞机测试参数总量激增，数据总量达到上百个GB。为缩短单架次飞行试验周期，如何高效快捷地对这些非结构化的海量网络数据包进行同步分析处理，方便科研人员的应用，就成为必须解决的实际问题。

　　1 网络化机载测试系统飞行试验数据的特点

　　在网络化机载测试系统Kam4000中，网络数据包从采集器通过二级交换机到记录器。第一级交换机可以有多个，二级交换机作为系统的时钟接入点、遥测数据和记录器的接入点、系统配置文件的加载点，结构如图1所示。网络数据包被记录器完整的记录下来，在此需要分析的是记录器记录的完整的网络数据。该网络数据是有一个个网络数据包组成，每个网络数据包的格式根据采集器的不同可以是不同的。

　　

 

　　1.1 与Kam500采集系统的差别

　　现在大量应用于飞行试验的Kam500机载测试系统，采集记录的飞行试验数据格式为标准的PCM数据。PCM数据由重复出现的长帧组成，每个长帧的长度是固定的，每个长帧包含若干个短帧。网络化机载测试系统Kam4000中，采集记录的飞行试验数据为网络数据包格式。每个网络数据包的大小都可以不同，并且每个网络数据包中的参数个数也可以不同。

　　1.2 海量网络数据包的格式

　　网络化测试系统采用ARCA公司的最新采集器，采集记录的数据格式根据采集器的不同可以是IENA，或XNET/INET网络数据包格式。采用BCU105(IENA Ethernet Controller)支持的是IENA包结构。而采用BCU140(XNET Ethernet Controller)支持XNET/INET的同时，也支持IEN-A。在网络化测试系统中IENA和XNET/INET网络数据包以EthernetⅡ协议广播。根据记录器的不同，记录的网络数据包结构可以是PCAP格式或者IRIG106-10格式记录。

　　PCAP基本格式：

　　文件头 数据包头 数据包 数据包头 数据包 …

　　IRIG106-10基本格式：

　　文件头 特殊字头 数据包 特殊字头 数据包 …

　　根据飞行试验的测试特性，参照以往的模拟量在飞行实验中记录数据的大小，如果参数量为5 000个，一定的飞行时间内记录的飞行试验数据为12 GB左右。随着飞机系统的复杂性的增加，应用于飞行实验的网络化测试系统需测试的飞行试验参数也越来越多，单架次的飞行试验记录的模拟量数据将是现在的4倍、5倍甚至更多。

　　1.3 网络数据包个数多

　　为提高发包效率，使发包延迟时间尽可能小，将数据包在采集后快速的发送出去，ARCA公司的采集器规定每个数据包的大小在设计上不允许超过1 500 B。同时，现在的测试参数都是高采样率，在这样的测试系统条件下，一个网络数据包可记录的参数量非常有限，必然会产生惟一标示的单个网络数据包的个数激增。

　　1.4 网络数据包非结构化

　　网络数据包具有典型的非结构化。在采集器端，按照测试系统的配置采集参数，并形成网络数据包。对于交换机而言，单个网络数据包的到来和发送没有完整的规则。在记录器上记录的原始网络数据包数据，在数据包的排列顺序上是无序的，数据包的周期是不确定的。不能准确预测到下一个网络数据包到来的顺序和时间。

　　2 网络数据处理方法

　　针对以上网络数据包的特点：最新的网络数据包格式和记录格式，海量的原始数据，数目庞大的测试参数，典型的非结构化，以及上千万、上亿的单个网络数据包。根据飞行试验的特点，必须在尽可能短的时间内给出飞行试验的数据分析结果，以便试飞工程师安排接下来的飞行试验。

　　2.1 内存映射文件