对于做过 BI 开发的朋友，ETL 并不陌生，只要涉及到数据源的数据抽取、数据的计算和处理过程的开发，都是 ETL，ETL 就这三个阶段，Extraction 抽取，Transformation 转换，Loading 加载。
从不同数据源抽取数据 EXTRACTION ，按照一定的数据处理规则对数据进行加工和格式转换 TRASFORMATION，最后处理完成的输出到目标数据表中也有可能是文件等等，这个就是 LOADING。
再通俗一点讲，ETL 的过程就跟大家日常做菜一样，需要到菜市场的各个摊位买好菜，把菜买回来要摘一下，洗一洗，切一切最后下锅把菜炒好端到饭桌上。菜市场的各个摊位就是数据源，做好的菜就是最终的输出结果，中间的所有过程像摘菜、洗菜、切菜、做菜就是转换。
在开发的时候，大部分时候会通过 ETL 工具去实现，比如常用的像 KETTLE、PENTAHO、IBM DATASTAGE、INFORNAICA、微软 SQL SERVER 里面的 SSIS 等等，在结合基本的 SQL 来实现整个 ETL 过程。
也有的是自己通过程序开发，然后控制一些数据处理脚本跑批，基本上就是程序加 SQL 实现。
哪种方式更好，也是需要看使用场景和开发人员对那种方式使用的更加得心应手。我看大部分软件程序开发人员出身的，碰到数据类项目会比较喜欢用程序控制跑批，这是程序思维的自然延续。纯 BI 开发人员大部分自然就选择成熟的 ETL 工具来开发，当然也有一上来就写程序脚本的，这类 BI 开发人员的师傅基本上是程序人员转过来的。
用程序的好处就是适配性强，可扩展性强，可以集成或拆解到到任何的程序处理过程中，有的时候使用程序开发效率更高。难就难在对维护人员有一定的技术要求，经验转移和可复制性不够。
用 ETL 工具的好处，第一是整个 ETL 的开发过程可视化了，特别是在数据处理流程的分层设计中可以很清晰的管理。第二是链接到不同数据源的时候，各种数据源、数据库的链接协议已经内置了，直接配置就可以，不需要再去写程序去实现。第三是各种转换控件基本上拖拉拽就可以使用，起到简化的代替一部分 SQL 的开发，不需要写代码去实现。第四是可以非常灵活的设计各种 ETL 调度规则，高度配置化，这个也不需要写代码实现。
所以在大多数通用的项目中，在项目上使用 ETL 标准组件开发会比较多一些。
ETL 从逻辑上一般可以分为两层，控制流和数据流，这也是很多 ETL 工具设计的理念，不同的 ETL 工具可能叫法不同。
控制流就是控制每一个数据流与数据流处理的先后流程，一个控制流可以包含多个数据流。比如在数据仓库开发过程中，第一层的处理是ODS层或者Staging 层的开发，第二层是DIMENSION维度层的开发，后面几层就是DW 事实层、DM数据集市层的开发。通过ETL的调度管理就可以让这几层串联起来形成一个完整的数据处理流程。
数据流就是具体的从源数据到目标数据表的数据转换过程，所以也有 ETL 工具把数据流叫做转换。在数据流的开发设计过程中主要就是三个环节，目标数据表的链接，这两个直接通过 ETL 控件配置就可以了。中间转换的环节，这个时候就可能有很多的选择了，调 SQL 语句、存储过程，或者还是使用 ETL 控件来实现。
有的项目上习惯使用 ETL 控件来实现数据流中的转换，也有的项目要求不使用标准的转换组件使用存储过程来调用。也有的是因为数据仓库本身这个数据库不支持存储过程就只能通过标准的SQL来实现。
我们通常讲的BI数据架构师其实指的就是ETL的架构设计，这是整个BI项目中非常核心的一层技术实现，数据处理、数据清洗和建模都是在ETL中去实现。一个好的ETL架构设计可以同时支撑上百个包就是控制流，每一个控制流下可能又有上百个数据流的处理过程。之前写过一篇技术文章，大家可以搜索下关键字 BIWORK ETL 应该在网上还能找到到这篇文章。这种框架设计不仅仅是ETL框架架构上的设计，还有很深的ETL项目管理和规范性控制器思想，包括后期的运维，基于BI的BI分析，ETL的性能调优都会在这些框架中得到体现。因为大的BI项目可能同时需要几十人来开发ETL，框架的顶层设计就很重要。
先介绍几种比较主流的。
Elastic-Job,是当当网开源的分布式调度解决方案，支持任务分片功能，可以充分利用资源。Elastic-Job有两个独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。具体实现可以参考官方教程。其整体架构图如下。
Elastic-Job的特点：
1、分布式调度 2、作业高可用 3、任务分片执行。
另外，还有其他的一些框架，可以对比使用。比如TBSchedule是阿里巴巴开源的分布式调度框架，完全由java实现，目前被应用于淘宝，阿里巴巴，支付宝，京东， 汽车 之家等。大众点评开源的xxl-job，也是应用比较广泛的分布式调度任务。
目前我使用过的有 Elastic-Job和xxl-job。两者功能都很强大，后台管理也比较完善。很容易上手。都可以满足日常的工作需要。区别就是 Elastic-Job依赖zk，但是xxl-job不依赖zk，只依赖数据库。
目前市面上应该还有一些其他的框架，但是以上是比较主流的，可以根据自己的需要来选择。切记不要重复造轮子，造轮子需要大量的时间去验证。会让你在坑里爬不出来。
1XXL-JOB
2Elastic-Job
Elastic-Job 是一个分布式调度解决方案，由两个相互独立的子项目 Elastic-Job-Lite 和 Elastic-Job-Cloud 组成。
定位为轻量级无中心化解决方案，使用 jar 包的形式提供分布式任务的协调服务。
支持分布式调度协调、d性扩容缩容、失效转移、错过执行作业重触发、并行调度、自诊断和修复等等功能特性。
分布式调度解决方案，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。
Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。选择该项目可以满足大多数it企业的需求。
Elastic-Job-Cloud使用Mesos + Docker的解决方案，额外提供资源治理、应用分发以及进程隔离等服务。
轻量级无中心化：Elastic-Job-Lite并无作业调度中心节点，而是基于部署作业框架的程序在到达相应时间点时各自触发调度。
灵活的增删改查作业，集中式管理调度作业
支持高可用：一旦执行作业的服务器崩溃，等待执行的服务器将会在下次作业启动时替补执行。开启失效转移功能效果更好，可以保证在本次作业执行时崩溃，备机立即启动替补执行。
支持分片：作业分片一致性，保证同一分片在分布式环境中仅一个执行实例
任务监控：通过监听Elastic-Job-Lite的zookeeper注册中心的几个关键节点即可完成作业运行状态监控功能
一致性：使用zookeeper作为注册中心，为了保证作业的在分布式场景下的一致性，一旦作业与注册中心无法通信，运行中的作业会立刻停止执行，但作业的进程不会退出，这样做的目的是为了防止作业重分片时，将与注册中心失去联系的节点执行的分片分配给另外节点，导致同一分片在两个节点中同时执行。
同时支持动态扩容，将任务拆分为n个任务项后，各个服务器分别执行各自分配到的任务项。一旦有新的服务器加入集群，或现有服务器下线，elastic-job将在保留本次任务执行不变的情况下，下次任务开始前触发任务重分片
3opencron
opencron是一个功能完善且通用的开源定时任务调度系统，拥有先进可靠的自动化任务管理调度功能，提供可 *** 作的 web 图形化管理满足多种场景下各种复杂的定时任务调度，同时集成了 linux 实时监控、webssh 等功能特性
4quartz
支持集群和分布式，但是没有友好的管理界面，功能单一，对于管理调用的任务比较困难。
quartz使用数据库锁。在quartz的集群解决方案里有张表scheduler_locks，quartz采用了悲观锁的方式对triggers表进行行加锁，以保证任务同步的正确性。一旦某一个节点上面的线程获取了该锁，那么这个Job就会在这台机器上被执行，同时这个锁就会被这台机器占用。同时另外一台机器也会想要触发这个任务，但是锁已经被占用了，就只能等待，直到这个锁被释放。
quartz的分布式调度策略是以数据库为边界资源的一种异步策略。各个调度器都遵守一个基于数据库锁的 *** 作规则从而保证了 *** 作的唯一性。同时多个节点的异步运行保证了服务的可靠。但这种策略有自己的局限性：集群特性对于高CPU使用率的任务效果很好，但是对于大量的短任务，各个节点都会抢占数据库锁，这样就出现大量的线程等待资源。这种情况随着节点的增加会越来越严重。
缺点：quartz的分布式只是解决了高可用的问题，并没有解决任务分片的问题，还是会有单机处理的极限。
5Saturn
Saturn
基于当当Elastic Job代码基础上自主研发的任务调度系统，是唯品会开源的分布式作业调度平台，取代传统的Linux Cron/Spring Batch Job的方式，做到统一配置，统一监控，任务高可用以及分片并发处理。主要是去中心化，高可用，可分片，动态扩容，有认证和授权功能。
主要特性
支持多种语言作业，语言无关(Java/Go/C++/PHP/Python/Ruby/shell)
支持秒级调度
支持作业分片并行执行
支持依赖作业串行执行
支持作业高可用和智能负载均衡
支持异常检测和自动失败转移
支持异地容灾
支持多个集群部署
支持跨机房区域部署
支持d性动态扩容
支持优先级和权重设置
支持docker容器，容器化友好
支持cron时间表达式
支持多个时间段暂停执行控制
支持超时告警和超时强杀控制
支持灰度发布
支持异常、超时和无法高可用作业监控告警和简易的故障排除
支持失败率最高、最活跃和负荷最重的各域各节点TOP10的作业统计
优点：源码清晰，学习入手容易。应用部署简单，提供运维控制台，集中管理作业，运维控制台功能强大，提供作业统计报表 ，告警，增删改查作业，作业统一配置。
最后一个是国内团队封装的
前端时间研究了两款分布式任务调度框架，一个是XXL-Job，现在非常主流，很多常见的一些公司都在使用，像滴滴美团这样的公司都在用，这也是一款开源产品，下载下来导入IDEA就可以使用，分调度器和执行器和管理UI，有很美观的UI界面，可以对任务做增删改查，以及支持自定义开发，有很详细的帮助文档，还提供有demo，傻瓜式的，很简单，亮点是提供了管理界面。
另一个是Quartz，这个组件单机和集群都支持，单机的话是RAMJobStore任务存储，而要支持集群的话，就要将配置改成数据库方式，Quartz提供的有十几张表，其分布式的原理是利用了数据库的行锁，Quartz很简单，也是一款轻量级的开源产品，我们公司一直用这款组件，很成熟无Bug，推荐使用！
springcloudtask，springclouddataflow，正在学习中高端高性能的大屏幕拼接处理器目前国内就深圳鑫瑞阳一家，其余的都是用卡拼凑的处理器，可可靠性稳定性差。
Graphics King 显示墙多屏处理器采用最前沿尖端的第二代
PCI Express技术，带宽达到惊人的192Gbps，每个机箱都
是真正的无阻塞传输架构，这足以支持大屏幕显示墙的任何
配置及应用需求。
◆性能卓越的计算机
Graphics King 显示墙多屏处理器同时也是一台拥有超强性
能的计算机，它配置了Intel Core2 i3/i5/i7 CPU处理器。
预装了Windows *** 作系统，拥有出色的桌面 *** 作系统，让
系统运行更加灵活、稳定可靠，图形管理更加方便、快捷；
轻松实现动态的超高分辨率桌面，动态的高速网络直通显
示，灵活自如运行您的应用程序，方便高效。图像的全墙
漫游、位移、缩放更加自由，图像叠加显示性能更胜一筹
◆高性能的图形卡
拥有全新唯一创新显示墙处理器技术，业界独家采用目前业
内最先进的NVIDIA高性能桌面GPU(图形处理器)架构的高
品质专业图形卡， PCIe20总线×16接口，每张图形卡拥有
16GB/s的传输带宽及512MB以上的GDDR5显存，可驱动两
个分辨率高达2560×1600(双链DVI，数字)或2048×1536
(模拟)的显示单元。所有的输出图像都被同步以消除显示单
元间的像素撕裂，无缝过渡的动态精细度，实现前所未有的
画面清晰度、流畅的视频、精确的颜色以及精确的图像缩放。
◆丰富而强大的输入卡
全新的双链DVI-I输入卡可采集处理最大的2560×1600的数
字DVI信号(330MHz像素时钟带宽的图像)或2048×1536的
模拟RGB信号，以及最高1080p@60Hz的逐行扫描的分量
视频信号。VDA HD视频输入卡可处理标准的CVBS复合或
S-Video视频信号，它使用GKing的视频3D降噪、动态补偿
的去隔行与缩放引擎提供顶级的图像质量。DVI-I与VDA HD
视频输入卡都采用了GKing独有的传输技术，确保每卡都能
以全帧传输与显示输入信号，无论输出窗口大小都不会丢
帧，完美再现图像源。
◆海量的数字IP流媒体视频输入
海量的数字IP流媒体视频信号输入处理平台，采用优化的解
码算法来解码压缩的视频流信号，能最大限度地利用显示墙
控制器系统资源，支持一系列的网络摄像机、NVR和DVR厂
家，包括混合的传输与编码方式。所支持的视频编码标准包
括H264、MPEG-4、MPEG-2、MJPEG，实现智能化网络
视频联动的大屏幕系统调度监控和综合管理显示平台。
◆系统的稳定性
Graphics King系统是针对24×7持续运行而设计的，尤其针
对那些要求最苛刻的视讯环境。Graphics King 系统配备了
包括热交换N+1冗余电源、热交换系统风扇以及配置为RADI1
阵列的热交换硬盘在内的许多冗余组件。
◆创新的系统架构设计
独立开发团队，专注品牌高端显示墙处理器，拥有核心技术，
自主知识产权。自行设计Graphics King显示墙多屏处理器
的软件与硬件，创造出的系统架构高度吻合，业界独家采
用NVIDIA高性能桌面GPU (图形处理器)架构、高分图像
分割技术、流媒体文件播放技术、高清视频播放技术、超
高分辨率网络信号高速显示应用等，拥有卓越功能与性能。这
为GKing对产品的支持提供了更好的基础—我们拥有任何第三
方集成商或其他厂商所不具备的那种深入的系统知识。
◆灵活强大的系统扩展性
Graphics King显示墙多屏处理器，灵活的配合独家拥有采
用高达330MB像素时钟输入的高分辨率图像分割技术，目
前单个系统支持驱动32块显示单元。采用GKing独有的的传
输技术，实现多系统输出驱动超大规模的超高分辨率拼接墙
系统（不低于256屏的超高分辨率拼接墙规模）。
◆GkController管理控制软件
GkController软件是一套标准的、完善的、集中的，且直观
的为超高分辨率拼接墙显示系统及多屏处理器的控制与管
理而开发的功能强大的应用管理系统软件解决方案，它基
于客户端/服务器的系统：服务器位于Graphics King多屏处
理器中，客户端安装在与服务器同一网络的运行Windows
的任何PC中。其主要为您提供对拼接墙显示系统上的各类
应用窗口的控制和管理以及对显示引擎的控制。具有强大的
集成控制管理能力，可以实现对显示单元、外围设备等大屏
幕相关的外围设备的集中联动控制。支持多个用户客户端安
装、同时连接和 *** 作；提供多用户的认证和权限级别设置管
理，可为不同的 *** 作者分配特定的 *** 作和访问权限；可对多
种信号源定义、调度和管理；可自定义管理储存显示模式和
预案并通过用户界面或热键迅速调用。
GkController提供了一个基于对象的、可模拟 *** 作的界面
诸如DVI、RGB、3G-SDI、HD和视频、流媒体视频、网络
信号、网络超高分辨率信号等远程和本地应用程序窗口可在
虚拟仿真的显示区域内回显拼接墙处理器内容画面并任意拖
放，直观地对拼接墙系统所显示的内容画面和显示效果进行
实时监控，实现在重要应用场合对信号源的预先准备和快速
调用显示，确保图像画面显示的及时性和准确性。提供简便
友好，可定制的人机 *** 作界面，使得对拼接墙的 *** 控更方便快
捷、简单、迅速而直观。前 言
为了实现县级电网运行信息的集成和资源的整合，落实国家电网公司《农村电网自动化及通信系统技术导则Q/GDW 126-2005》的精神，实现县级电网调度自动化系统集约化和规范化改造和建设，全面提升县调管理水平，推动县调技术进步，我们组织编制了《东北电网有限公司县级电网调度自动化系统技术规范》，以指导和规范县级供电企业电网调度自动化系统的规划设计、建设、运行管理。
本规范书内容包括：系统总体要求、技术指标、系统配置和系统功能等。本技术规范将主站端控制系统进行整合，将各应用功能进行集成，在统一的技术支持平台上实现县级电网调度和生产控制的功能。
县级电网调度自动化系统通信部分以通信专业技术规范执行。
本《规范》由东北电网有限公司营销与农电管理部负责编制并解释。
1 总则
11 适用范围
本技术规范规定了“十一五”期间东北电网有限公司县级电网调度自动化主站系统（以下简称县调主站系统）建设目标、建设原则、系统结构、建设模式、应用功能规范和性能指标。
本技术规范是“十一五”期间东北电网有限公司县级电网调度自动化主站系统规划、设计、建设、改造、验收和运行的主要技术依据。
12 引用标准
IEEE- 802X 系列局域网通信标准
IEC 61970 能量管理系统应用程序接口标准
IEC 61968 配网管理系统接口标准
IEC 60870-5（所有部分） 远动设备及系统 第5部分：传输规约
GB/T 13730 地区电网数据采集与监控系统通用技术条件
GB/T 13729 远动终端设备
DL/T 6345101 远动设备及系统 第5-101部分：传输规约 基本远动任务配套标准
DL/T 6345104 远动设备及系统 第5-104部分：传输规约 采用标准传输协议子集的IEC 60870-5-101网络访问
DL/T 516 电力调度自动化系统运行管理规程
DL/T 550 地区电网调度自动化功能规范
DL/T 5003 电力系统调度自动化设计技术规程
DL/T 5002 地区电网调度自动化设计技术规程
DL/T 635 县级电网调度自动化系统功能规范
DL/T 789 县级电网调度自动化系统实用化要求及验收
DL/T 721 配电网自动化系统远方终端
DL 451 循环式远动规约
DL 476 电力系统实时数据通信应用层协议
国家电监会令[2004] 第5号 电力二次系统安全防护规定
电监安全[2006]34号文 地、县级调度中心二次系统安全防护方案
国家经贸委令[2002]第30号 电网和电厂计算机监控系统及调度数据网络安全防护规定
国家电网公司Q/GDW 126-2005 农村电网自动化及通信系统技术导则
13 建设原则
⑴县级电网调度自动化系统（以下简称县调系统）的规划、设计和建设应参照相关国际标准，遵循相关国家标准、电力行业标准、国网公司企业标准以及相关国家部委技术文件的规定，统一规划、统一设计、重在实用、适当超前。
⑵ 县调系统的功能和配置应以县级电网一次系统的规模、结构以及运行管理的要求为依据，与一次电网的发展规模相适应，满足一次电网未来8年以上调度运行管理及变电运行管理的发展要求，确保电网的安全、优质、经济运行。
⑶ 县调系统应为电网提供监测、分析和控制功能的综合性业务服务平台，符合一体化系统设计和信息数据整合的技术要求，把县调系统建设成为电网调度、集中监控、运行 *** 作的实时控制平台。
⑷ 县调系统采用一体化设计，应稳定可靠运行，快速准确地采集和处理电网的各种信息量，及时反应电网运行情况。具有良好的在线可扩展性，维护简便，满足电力系统二次安全防护的要求。在任何情况下，不能因本系统的缺陷导致一次系统的事故。
2 系统体系结构
21 总体要求
211 标准性
县调系统应遵循国际国内标准， *** 作系统采用Unix/ Windows；数据模型设计参考IEC 61970 CIM标准的思想，系统接口设计参考IEC 61970 CIS标准的思想；配网自动化数据模型参考IEC 61968标准的思想；数据网络通信采用TCP/IP协议，商用数据库访问遵循ANSI SQL标准；人机界面GUI采用Windows GDI+ 标准；通讯规约应满足IEEE、IEC标准或国家相关标准。
212 一体化设计
县调系统必须遵循一体化设计思想，采用分布式系统结构，在统一的支撑平台的基础上，可灵活扩展、集成和整合各种应用功能，各种应用功能的实现和使用应具有统一的数据库模型、人机交互界面，并能进行统一维护。
213 Unix/Windows混合平台
县调系统中所有服务器选择Unix硬件和 *** 作系统平台，工作站选用PC和Windows *** 作系统，主要的数据采集、处理、发布节点可选择Unix处理平台，人机交互界面 *** 作宜采用Windows平台。
214 可靠性
⑴ 系统的重要单元或单元的重要部件应为冗余配置，保证整个系统功能的可靠性不受单个故障的影响。
⑵ 系统应能够隔离故障，切除故障应不影响其它各节点的正常运行，并保证故障恢复过程快速而平稳。
⑶ 硬件设备的可靠性：县调系统所选设备应是符合现代工业标准，并具有相当的生产历史，在国内计算机领域占有一定比例的标准产品。所有设备具有可靠的质量保证和完善的售后服务保证。
⑷ 软件设计的可靠性：软件的开发应遵循软件工程的方法，经过充分测试，程序运行稳定可靠，系统软件平台应选择可靠和安全的版本。
⑸ 系统集成的可靠性：不同厂家的软、硬件产品应遵循共同的国际国内标准，以保证不同产品集成在一起能可靠地协调工作。
215 安全性
⑴ 系统应具有高度的安全保障特性，能保证数据的安全和具备一定的保密措施，执行重要功能的设备应具有冗余备份。系统运行数据要有双机热备份，防止意外丢失。
⑵ 系统应构筑坚固有效的专用防火墙和数据访问机制，最大限度地阻止从外部对系统的非法侵入，有效地防止以非正常的方式对系统软、硬件设置及各种数据进行访问、更改等 *** 作。
⑶ 调度自动化系统与其它电力监控系统之间(变电站DCS监控系统)应是相对独立的关系。
⑷ 禁止非电力监控系统对调度自动化系统数据的直接调用。
⑸ 系统应实现主机加固。
⑹ 系统的管理上应采取各种措施防止内部人员对系统软硬件资源、数据的非法利用，对计算机病毒的防护应覆盖调度自动化系统的所有服务器和工作站，提供定期、及时更新病毒代码的机制，严格控制各种计算机病毒的侵入与扩散。
216 开放性
⑴ 支撑平台的各功能模块和各应用功能应提供统一标准接口，支持用户和第三方应用软件程序的开发，保证能和其它系统互联和集成。
⑵ 系统应具有良好的软件和硬件在线可扩展性，可以逐步建设、逐步扩充、逐步升级，不影响系统正常运行。
⑶ 系统容量可扩充，包括可接入的厂站数量、系统数据库的容量等，不应该有不合理的设计容量限制，从而能使系统可以整体设计、分步实施。
217 易用性
⑴ 系统应采用图模库一体化技术，方便系统维护人员画图、建模、建库，图模库一次生成，并保证三者数据的同步性和一致性。
⑵ 需对用户提供系统编译运行环境，以保证在软件修改和新模块增加时用户能独立生成可运行的完整系统。
⑶ 必须提供完整的技术资料（至少包括用户使用、维护及版本更新等相关手册以及第三方提供的技术资料）。
⑷ *** 作应提供在线帮助功能，系统维护应具有流程和向导功能。
⑸ 应具备简便、易用的维护诊断工具，使系统维护人员可以迅速、准确地确定异常和故障发生的位置和原因。
22 系统软件结构
县调系统的软件体系结构由 *** 作系统、支撑平台、应用功能共三个层次组成，层次结构图见下图1。其中：
1 *** 作系统可根据硬件平台选用Unix、Windows、Linux。
2支撑平台为各种应用功能的实现提供通用的支撑服务。支撑平台提供以下的通用服务功能：网络数据传输、实时数据处理、历史数据处理、图形界面、报表、系统管理、权限管理、告警、计算等。
3本期应用功能包括SCADA功能，集控监控功能，安全WEB数据发布功能等。
根据远期发展可选择电网分析功能（网络建模、网络拓扑、电压无功优化、状态估计、调度员潮流、负荷预报），配电自动化功能， *** 作安全约束系统等。
11 系统硬件结构
本期县调自动化系统采用双机双网结构，主要硬件设备采用冗余配置，避免单点硬件故障导致系统瘫痪。典型的系统配置包括：独立的数据采集网段；主网采用双网结构；主系统由两台数据采集服务器、两台数据服务器、两台调度员工作站、两台监控工作站、一台报表工作站、一台维护员工作站组成；设置一台物理隔离装置和WEB服务器实现信息的安全发布功能。
111 网络数据传输设备
网络数据采集设备包括前置采集交换机和主网络交换机，网络采用冗余交换式以太网结构。网络交换速率采用100M/1000M自适应。网络结构满足以下要求：
1单网故障或单点网络故障不影响系统功能运行。
2主网络交换机可具有SNMP网络管理协议，可以对交换机进行在线监视和控制，如端口运行工况、网络流量等。
112 数据通信与采集
数据通信与采集是整个系统的基础数据来源与控制通道，其组成包括前置数据采集服务器、串行通信设备、时间同步装置等。
通道及厂站装置冗余配置且正常工作条件下，前置数据采集服务器应分别使用不同的通道与厂站装置一一通信，实现负载均衡，通信资源优化利用。
前置数据采集服务器可配置PC服务器，应冗余配置。两台数据采集服务器按照主备热备用工作方式。
串行通信设备包括模拟通道板、数字通道板、终端服务器或路由器等。终端服务器用于常规远动串行通道接入，路由器和2M网络专线用于与网络RTU、RTU通过终端服务器接入数据网、综合自动化系统、上下级控制中心之间的通信。
113 数据服务器
数据服务器由两台PC服务器组成。数据服务器一方面运行商用数据库管理系统；另一方面承担数据处理、数据存贮、数据分发、数据检索、双服务器之间数据同步功能。两台数据服务器采用主备热备用工作机制，可以实现无扰动自动/手动切换，在切换过程中应保证数据不丢失。
114 人机界面交互工作站
人机界面交互工作站选用主流Windows图形工作站，可根据需要配置单屏或多屏显示器，并具有多媒体功能。主要的人机工作站有：调度员工作站、监控工作站、报表工作站、维护工作站等。
1调度员工作站：完成对电网的各种实时监视功能；
2监控工作站：完成对电网的各种实时监视和安全 *** 作功能；
3报表工作站：主要进行报表的维护和打印；
4维护工作站：进行系统的数据库录入、画面编辑、报表制作以及系统性能调整工作。
115 WEB服务器
按照国调中心二次安全防护的要求，安全WEB发布与主系统相对独立，但图形、实时数据、历史数据等保持一致。WEB服务器应选用PC服务器。在I区和III区之间布置电力专用隔离装置，用于从内网向外网的单向通信，同步传送实时数据、历史数据、电量数据、各种统计数据、图形、报表、文件等，同时对I区的主系统形成保护，确保其不受病毒黑客等的攻击。
在WEB服务器上应安装防火墙、防病毒软件。
2 支撑平台
支撑平台位于 *** 作系统与应用功能之间，实现对所有应用功能的全面、通用服务和支撑，为应用功能的一体化集成提供平台，结构图见下图2。
支撑平台应提供以下通用服务：网络数据传输、实时数据处理、历史数据处理、图形界面、报表、系统管理、权限管理、告警、计算等。
支撑平台应提供标准的服务访问或编程接口，支持用户新应用软件的开发以及第三方软件的集成。
11 系统运行环境
111 *** 作系统
选用Unix/Winodws的主流通用版本，并应及时安装相应系统补丁，确保上层应用软件的稳定可靠运行。
112 商用数据库
应选用主流商用数据库管理系统，推荐选用Oracle 9i和SQL Server2003等。
113 其它工具软件
在系统相应的节点上应根据实际需求安装C/C++/Java编译和运行环境、MS Office软件、防病毒软件、防火墙软件等。第三方软件的安装必须考虑与 *** 作系统和应用软件的兼容性，并具有合法的使用授权。
12 支撑平台
121 网络数据传输
网络数据传输应采用动态平衡双网技术，对底层网络数据传输进行封装，实现服务器和工作站各个节点之间透明的网络数据传输，同时可以监视网络流量、网络传输异常，并自动进行告警。具体应满足以下要求：
1网络数据传输应采用TCP/IP协议的分布式网络管理软件，可与各种网络设备相匹配。
2网络数据传输应提供标准的应用程序接口，上层应用功能和用户开发的软件均通过此接口实现进程之间的透明网络通信。
3网络数据传输应能支持单网、双网或单双网混合。
4网络数据传输应采用动态双网平衡分流技术，正常工作时采用两个网段同时进行数据传输，异常情况下则通过动态网络路径管理将两种流量合并。
5网络数据传输应能监视网络上所有节点的网络通信状态，自动监视和统计网络流量，自动诊断交换机故障和节点网卡故障，并具有网络异常和网卡故障告警功能。
122 实时数据处理
实时数据处理应采用C/S分布式结构，并借鉴IEC 61970 CIM数据模型，实现高效的实时数据处理、存取和管理。具体应满足以下要求：
1应面向电力设备和网络，借鉴IEC 61970 CIM模型建立系统数据模型。
2应基于C/S模式实现分布式的实时数据库管理。
3支持实时态、研究态等多态。
4 支持多应用：前置、SCADA、集控监控等。
5实时数据库提供各种访问接口，包括本地接口与网络接口。
6应提供简便易用的基于CIM模型思想的实时数据库浏览、录入和维护的图形界面，所有的修改 *** 作都有历史记录，以备查询。
7应提供CIM模型数据智能快速变换、录入和校核功能。
8应提供CIM模型倒出工具，实现系统之间模型的互换，并具备自动/手动两种手段。
9提供基于CIM模型的数据检索器。
123 历史数据处理
历史数据处理主要用于实现系统与商用数据库的交互，实现各种数据在商用数据库中的存贮与管理。应满足以下功能：
1系统应提供访问历史数据库的接口和相关数据 *** 作工具包，进行历史数据的查询和处理。
2对商用数据库的访问应按照三层结构（客户-服务进程-商用数据库），客户进程不能直接访问数据服务器上的商用数据库，必须通过部署在数据服务器上的服务进程实现对商用数据库的访问。
3商用数据库中的历史数据类型应至少包括下列内容：量测数据、统计计算数据、状态数据、事件/告警信息、SOE信息、事故追忆数据、趋势数据及曲线、预测数据、计划数据、应用软件计算结果断面、其它数据。
4可灵活定义商用数据库历史采样数据的时间周期。
5数据的保存：所有采样数据、事件、告警等信息至少保存1年。
6应提供简单方便易 *** 作的数据库备份和恢复工具，能按照表空间进行数据的备份和还原。能方便地在两个商用数据库之间进行数据库中的数据及结构比较功能。提供灵活方便的数据库维护工具。
7具有灵活的历史数据统计、分析、处理和显示功能，具有灵活的查询和分析功能。
8应具有商用数据库故障隔离与告警功能。
9应具有基于动态SQL模板实现对各种历史事件告警数据的查询功能。
10商用数据库应具备以下告警功能：商用数据库异常告警，数据库磁盘空间告警，表空间告警，表记录最大个数告警，数据库状态告警。
124 图形界面
图形界面主要采用图模库一体化技术以及多应用数据切换技术，实现矢量化、多平面、多层次的一体化图形系统。主要的功能包括图形编辑、图元编辑、间隔编辑、图形浏览功能。
系统的人机界面应采用面向对象技术，采用图模库一体化技术，建立多平面多层次矢量化无级缩放图形系统，生成单线图的同时，自动建立网络模型和网络库。需具备全图形人机界面，画面可以显示来自不同分布服务器节点的数据。系统的所有应用均应采用统一的人机界面。
系统应提供灵活、方便和丰富的图形编辑功能，可以利用系统自备的图元与用户编辑的图元，自主地定制各种接线图、目录、曲线等。
系统应提供按照面向对象的方法设计的基于CIM思想的图库一体化技术，提供一套先进的图形制导工具，图形和数据库录入一体化，作图的同时可在图形上录入数据库，使作图和录入数据一次完成，自动建立图形上的设备和数据库中的数据的对应关系。
系统应提供一套的图形应用切换技术。对于一个厂站而言，使用同一幅图形，采用多图层技术将不同应用共用的图形元素以及独特的图形元素都画在同一幅图里，在用户调出图形后，根据用户所选择的不同应用，图形系统自动识别显示该应用下的内容。
在一次接线图上可以实现多应用数据的自动比对功能。
提供子图的编辑和保存功能：对于系统中各种典型的间隔，可以预先在图形编辑器中编辑生成，保存为子图，作为一个整体直接加入一次接线图进行编辑。
提供图形模板的编辑、生成和浏览功能。
快速建设设备图元之间的拓扑关系，快速实现设备图元与数据库之间的关联关系。
自动检查和校核图形上连接关系的正确性，实现拓扑关系自动入库，自动生成设备的标注和测点。
125 报表服务
系统应具有与Microsoft Excel兼容的报表管理系统，运行于报表工作站上。
报表服务器应具有报表定义编辑、显示、存储、打印等功能，并且在兼容Microsoft Excel的基础上增加便于制作电力系统报表的数据定义功能。
支持在DMIS或MIS网上任何普通PC机上使用Excel制作报表，然后通过调用报表服务器数据库接口获得相关数据。
报表系统应支持对历史数据的修改功能，历史数据修改功能需要在报表服务器上完成。
曲线、棒图和饼图能添加到报表上，与电力系统运行相关的说明和注释也能由调度员在线写入到报表中并且能支持汉字，同时报表系统应提供调度员备忘录功能。
系统提供的各种查询工具，其结果应能通过报表显示和打印。
可灵活定义和生成时报、日报、周报、月报、季报及年报等，报表的生成时间、内容、格式和打印时间可由用户定义。
126 权限管理
1按照功能、角色、用户、组和属性来构建权限体系；
2系统管理员缺省情况下不具有遥控权限；
3可以灵活定义责任区，建立责任区、人员、机器之间的关联关系。
127 告警
1能够灵活处理电力系统事故或计算机系统故障时系统产生告警信息源。
2具有灵活的告警方式组合。
3当告警原因消除后，该告警显示能够自动撤消。
4登录告警并由 *** 作员确认。
5用户可以预先定义告警事件的类别和级别以及选择告警方式，并提供告警信息的分类、统计、检索和历史存储功能，还可根据用户需要调节告警信息的存储量。
128 计算服务
计算引擎能够完成用户各种计算功能，使数据库具有动态特性。系统应提供支持ANSI C的全C语言计算引擎，通过自定义各种C语言公式来完成各种计算，在用户不用编程的情况下，能对数据库的点定义特定的计算。用户定义的计算没有限制。
1可采用C语言内置的标准运算函数，如abs，三角运算等；可采用C语言提供的所有 *** 作符和运算符；提供C语言全部的控制结构支持，如if then else 条件语句，for循环语句，while循环语句，switch分支结构等；支持变量定义，函数调用等C语言功能。
2可引用数据库中的任何数据进行计算。。
3计算周期可由用户在线设定或修改。
4通过图形拖拽等技术快速方便的生成公式。
5应能自动判断公式的定义出错信息。
6公式的优先级可自动计算，自动判断公式的先后计算顺序。
7应提供公式的正确性校核工具，并在公式修改完成后自动实现校核，并给出相关告警提示。
2 系统应用功能
系统的应用功能主要采集、处理厂站端综自/RTU数据、配网信息等数据，通过对控制系统和功能应用的集成，实现对电网的实时监视、分析和控制。
本期系统应具备数据采集功能，SCADA功能，集控监控功能，安全WEB数据发布功能等。
根据远期建设可扩展电网分析功能（网络建模、网络拓扑、根据实际需要选择状态估计、调度员潮流、负荷预报），电压无功优化AVQC功能，配电自动化、遥控 *** 作安全约束系统等功能。
21 数据采集功能
SCADA前置系统完成数据采集功能。前置系统通过与各远方RTU或变电站综合自动化系统的通信实现对电网实时运行信息的采集，将其接收到的实时数据通过网络点对点通信方式写入到系统的实时数据库中去。前置系统同时接收用户控制命令，通过向远方终端下达控制命令实现对远方站的调控功能。前置系统在调度自动化系统中处于非常关键的地位，要求其必须具有高度的可靠性和强大的信息处理能力。
前置系统应必须具有以下功能：
1．与RTU或综合自动化系统的通信，包括CDT、Polling方式，采用的规约包括点对点通信的部颁CDT规约、IEC60870-5-101规约、DNP30、SC-1801等，以及网络通信的IEC60870-5-104规约。
2．支持全双工方式通信。传输速率300，600，1200，2400，4800，9600bps可选。
3．能够接收处理不同格式的遥测量，遥信量、脉冲量，并处理为系统要求的统一格式。
4．能够接收、处理厂站端的SOE事件信息。
5．能够实现对厂站端的遥控、遥调、对时等下行信息。
6．可以单通道或双通道方式收发同一厂站端数据。双通道工作时，可各自使用不同通信模式(数字或模拟通信)，并能根据通道状态切换主/备通道。
7．可以同时采用一路网络、一路专线方式收发同一厂站端数据。网络、专线同时工作时，可各自使用不同的通信规约，并能根据需要进行主/备切换。
8．支持一点多址通信方式。
9．可接收同步/异步通道信号。
10．具有对通信过程监视诊断，统计通道停运时间。
11．能在线关闭和打开指定通道，可动态复位通讯口。
12．具有与GPS时钟接口。
13以厂站为单位分类组织实时数据：
遥测量YC(模拟量)：带符号二进制数。
遥信量YX(数字量)
电度量YM(脉冲累计量或数字量)
事件顺序记录(SOE)：在数据库内循环记录。
14．前置系统采用双机互为热备用工作方式的冗余配置，由系统运行管理软件监视其运行状态，支持手动或自动切换功能。
15．前置系统应交互方便、人机界面友好。其人机界面应提供如下功能：
各厂站通信原码监视，显示报文帧格式数据。应具有通信原码报文录制存盘功能。
对前置机系统配置库进行管理，如：插入、删除、修改。
修改和设置通道参数和厂站参数。
16．以厂站为单位分类组织的远动信息监视：遥测YC、遥信YX、电度YM、厂站的SOE数据以及通道状态的监视。
22 SCADA功能
系统SCADA功能主要是将前置系统采集的各类数据进行处理，并进行计算和统计，将其结果显示、打印和保存，实现对电网运行状态的实时监视，实现对各类事件、事故的分析，如：极值潮流、经济运行、安全监视等。
221 数据采集
1．模拟量
模拟量包括：有功功率、无功功率、电流、电压、频率及其它测量值。
可设定每个模拟量的限值范围，仅把超过限值具备变化的值发送给控制系统，每个模拟量的限值范围可在工作站通过人机界面设定。
2．状态量
状态量包括：断路器位置、事故跳闸总信号、预告信号、刀闸位置、有载调压变压器抽头位置、主保护动作信号、事件顺序记录、RTU状态信号、系统各工作站状态信号等。
3．脉冲量
脉冲量包括：各厂站RTU脉冲电能量等。
4．保护及综合自动化信息
系统对RTU除完成远动四遥功能之外，对已安装变电站微机保护及综合自动化系统的厂站亦可完成相应的保护数据采集及控制功能。包括：
接收并处理保护开关状态量
接收并处理保护测量值量
接收保护定值信息
远方传送、设定、修改保护定值
接收保护故障动作信息
接收保护装置自检信息
保护信号复归
222 数据处理
2221 模拟量处理
1每个模拟量可根据不同的时间或其他条件设置多组限值，系统应提供方便的界面让用户手动进行限值的切换。
2允许人工设置数据，MMI上的画面数据需用颜色区分并提供列表。
3自动统计记录任意采样模拟量的极值及其发生时间，自动统计记录任意采样模拟量每日的电度量，并作为历史数据供查阅和再加工。
4对于不同数据，包括未被初始化的数据、可疑数据、不刷新数据及不可用数据及人工置数数据都需有不同质量标志。
5应提供自动/手动两种方式下的旁路代和对端代功能及实时列表，并且不影响被代数据的各种运算结果。
6旁路代时自动根据旁路量测值进行限值判断，以免因量测为0而没有正确判断出越限的情况。
7提供遥测越限延时（可调）处理功能，如某一遥测越限并保持设置的时间后，才作告警。
2222 状态量处理
状态量包括开关量和多状态的数字量。系统对状态量的处理应采用“遥信变位+周期刷新”的信息传送机制，以保证相关信息能快速准确的传送至后台。
1状态量的极性处理
状态量的极性统一规定为“1”表示合闸状态，“0”表示分闸状态，并可进行反极性修改和处理。
2状态量根据不同的性质发出不同的报警，并进入不同的分类栏。
3状态量的事故判别
根据事故总信号或保护信号与开关变位，并结合相关遥测量（归零，时延由用户设定）判断事故跳闸。
4状态量 *** 作
对状态量的 *** 作分为：
(1) 封锁（人工设置）指定遥信的合/分状态，封锁后可有颜色变化。
(2) 解除/封锁指定遥信的合/分状态。
(3) 抑制/恢复告警。
5多态数据处理
为了表示电网中有关设备的运行状态，一个状态量应具有多个状态，系统能对同一状态量的多个状态进行不同的处理。
6其他处理
(1) 对于可疑信号在数据库中应标明身份，并在人机界面（MMI）上显示。
太长，发不了。告知邮箱
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）