海洋油气资源调查与评价数据库系统的设计与实现

王刚龙　李绍荣　陈泓君　曾繁彩

（广州海洋地质调查局，广州，510760）

第一作者简介：王刚龙，男，1971年生，物探工程师，1995年毕业于长春地质学院电子仪器系电子仪器与测量专业，主要从事信息管理及信息研究工作。

摘要　“海洋油气资源调查与评价数据库”是以海洋油气资源调查工作为基础，汇集大量海洋地质调查和油气资源评价成果资料，综合利用计算机、地理信息系统（GIS）、数据库及网上发布等技术建设而成的，是一个为国家海洋矿产资源战略决策、为海洋经济建设、为今后的海洋地质调查和科研项目及可持续发展提供全面、准确基础资料和决策依据的专业化信息管理系统。文中重点介绍了系统数据库的建设及系统功能的开发的思路。

关键词　油气资源　GIS　海洋勘查　数据库　网上发布

1　意义

我国海域蕴藏着丰富的油气资源。数十年来，我国在海域油气资源调查方面，取得了大量的海洋地质调查成果资料和油气资源评价资料，这些资料凝结着广大科技工作者的劳动结晶。以寻找海洋油气资源为目的的海洋地质调查工作投入高昂，从海上资料和数据采集到陆上资料处理、解释、研究，直至编写成果报告、编制成果图件，各个环节都要投入大量人力、物力、设备和资金。应用先进的信息技术建立海上油气地质调查资料与资源评价数据库系统，将会提高我国的海洋地质调查资料管理和服务水平，使海洋地质调查和资源评价资料更好地为国家海洋矿产资源战略决策、为国家经济建设、为今后的海洋地质调查和科研项目服务。

2　系统设计

本系统的目标是应用数据库技术、网络技术、地理信息系统技术开发一套技术上较先进的数据库应用系统，将油气资源及评价相关的数据和调查资料进行管理，综合应用多项技术，实现资料全文、电子图件、各种媒体资料的网上浏览、查询和统计分析。满足海洋油气地质调查资料和资源评价数据管理的需要和从事海洋油气地质调查和科研人员利用资料的需要。

21　数据库设计及建设

针对海洋油气地质调查成果的资料形式，建立一个适用于海洋地质资料管理和利用的数据库系统。建库工作包括数据库设计、资料档案目录数据、成果报告全文电子文件、成果报告附图扫描电子文件、资源评价数据的整理、录入。

22　应用软件开发

要实现的系统基本功能包括：资料目录数据和全文内容电子文件的录入、编辑修改、资料归档管理、资料借阅管理、资料目录报表输出、目录输出、图像显示和输出、电子版图件和文字资料下载、远程资料查询和传送、网络环境下客户端浏览器的电子地图、全文、声像文件的显示/播放和 *** 作、数据库文件备份等。

软件开发工作包括三套应用软件：①“地质资料管理系统”，使用者为资料管理人员；②“资源评价数据管理系统”，使用者为油气资源评价数据收集和录入人员；③“地质资料查询系统”，供普通科技人员通过Intranet/Internet网浏览查询资料全文、电子图件和目录数据内容。以上三个应用系统均使用同一个数据库系统，前二者对数据维护，后者从数据库读取数据。

23　系统集成工作

实现服务器和客户机的连接和组网；后台数据库服务器与客户端的连接；原有资料目录数据导入处理；新数据录入加载；WEB站点的建立；MapGis-IMS互联网地图服务器的安装建立和矢量图形数据的整理加载，信息系统开发的三个应用软件与上述各系统的整合。

3　系统总体结构

从逻辑上看，整个系统由“地质资料管理系统”、“资源评价数据管理系统”、“地质资料查询系统”三个应用系统和后台的数据库系统4个部分组成（图1），其中“地质资料查询系统”又由WEB服务器、MapGis-IMS互联网地图服务服务器、服务器端脚本程序以及0040数据库接口、ODBC数据库接口、MapGis数据库引擎等多个软件部件组成。

31　C/S结构应用软件

“地质资料管理系统”和“资源评价数据管理系统”，仅限于资料管理员和数据维护人员使用，为提高系统安全，采用C/S结构。选用Power Builder集成开发环境作为C/S应用软件的开发工具。Power Builder是专用于开发数据库应用软件的工具，具备支持ORACLE等大型数据库平台的接口，提供特色的数据窗口控件，把常用的数据库 *** 作封装在数据窗口控件中，提供开发语言Power Script，是开发数据库应用软件的高产开发工具。

32　B/S结构应用软件

“地质资料查询系统”面向所有普通用户，要求不需要学习就能让用户使用，因此该应用软件结构采用B/S结构。“地质资料查询系统”涉及几项工作，分别选用的如下：

（1）微软公司的IIS50（Internet Information Server），在WEB服务器上建立网站。

（2）WEB应用软件，由于WEB应用软件的开发工具非常多，在应用软件开发中使用了多种技术和方法，包括：①语言：HTML、ASP、VB Script、Jscript、Action Script等；②数据接口：（）DBC接口，004（）接口；③开发工具：InterDev、Flash等。

（3）我国中地公司的MapGis-IMS互联网地图服务器实现电子地图浏览。

图1　系统总体结构

Fig1　System construction chart

4　系统数据库设计

本系统的数据主要是地质资料，包括地勘项目或科研项目完成后以成果报告和图件形式提交的资料，及在项目进行中产生的各种文件材料以及与资料或档案材料内容一致的电子文件。

41　从应用系统的数据管理来看，三个应用系统分别管理三类数据

（1）地质资料数据

由“地质资料管理系统”维护的资料目录、报告全文以及各种多媒体的电子文件数据。

1）目录数据：成果报告、档案、图件等实体的目录数据，是描述这些实体属性特征的数据。例如成果报告的名称、编者、提交单位等。

2）文字材料的全文：成果报告、审核类文字材料（如评审意见书）的内容，在计算机中以电子文件形式存储，按照“国土资源部成果地质资料电子文件汇交格式（SZ1999002-2001）”的规定，要以WORD软件的DOC文件格式存储。

3）多媒体资料的电子文件：包括声音、图像、视频、动画、幻灯片等电子文件。

（2）油气资源评价数据

与油气资源评价相关事物的属性数据，包括调查活动、构造、油气田、油气探井等。

（3）电子图件数据

由MapGis-IMS软件维护的矢量型图形数据，分别属于“成果地质资料电子文件汇交格式（SZ1999002-2001）”标准规定的第一类附图和第二类附图的电子文件格式，可由“地质资料查询系统”读取显示在浏览器中的数据。其在数据库中存储结构是MapGis-IMS开发者设计的。

42　地质资料各实体关系

本信息系统工作重点是地质资料的管理和查询服务，主要是对地质资料数据库设计和数据库集成和应用开发。

地质资料各实体关系如图2。

图2　地质资料数据E-R模型

Fig2　Geological data structure E-R model chart

需要说明的是，一份成果报告，有多个全文电子文件。一份报告的全文按照报告章节分成多个电子文件，是一对多的关系，而不是一对一。这是考虑避免用户在网上阅读报告全文时，每次都要从数据库取出整个报告的全文内容传送到本地浏览器中，从而增加网络数据传输量和数据库服务器的负担，造成等待而使用户感觉应用软件运行速度过慢。

根据资料数据模型、现行的资料管理办法和资料著录标准，确定各数据库结构及定义，共设计了3类17个数据表组成系统的数据库。电子地图数据表则由商品化软件设计管理。

（1）地质资料数据库表

包括报告基本信息表、报告附图信息表、档案总目录信息表、档案明细信息表、图件资料信息表、资料电子文件信息表等。

（2）资料管理事务库表

包括成果资料移交信息表、成果资料报送信息表、资料借还信息表、资料访问日志信息表、用户基本信息表等。

（3）油气评价数据库表

包括局部构造信息表、圈闭信息表、调查工作量信息表、油气田信息表、油气资源评价信息表、油气探井信息表等。

在数据库管理系统服务器端，用PL/SQL语言编写建立库数据表、表空间、序列、触发器等的命令代码文件，可在ORACLE的SQL-PLUS环境下自动执行完成相应对象的建立。

43　服务器端的后台数据库系统

采用ORACLE数据库管理系统，用PL/SQL语言编写命令文件，在SQL-PLUS环境中执行，完成各种建库和维护 *** 作，使建库、建立序列、建立触发器、数据导入程序化执行。直接利用DBA STUDIO可视化数据库管理工具，进行数据库表、用户账号密码、各种权限、序列、触发器等的维护和管理。用ORACLE提供的BLOB二进制大对象数据块字段类型，实现成果报告全文、图件资料的缩略图等电子文件的入库管理。

5　系统功能实现

“地质资料管理系统”（GDMS）和“资源评价数据管理系统”，开发采用Power Builder软件的Power Script语言开发，与后台数据库连接采用Power Builder提供的ORACLE专用接口实现。软件结构采用客户机/服务器（C/S）结构。

51　地质资料管理系统

根据用户对地质资料档案管理过程的需求，该系统需基本具备对数据的输入、维护、查询、统计、借阅、输出、备份等模块。为了保证数据的安全性，增加了凭密码、账号登录功能及用户管理，设置了系统管理员、资料管理员和普通用户三种权限，防止非法用户访问资料。普通用户只能对资料进行查询，不能对资料进行添加或修改等 *** 作，资料管理员有权对资料进行添加、修改、查询等 *** 作，而系统管理员则权限最大，增加了对用户管理表和系统日志信息表进行维护的权限。为了使用户更好地掌握本系统，还必须建立联机帮助模块。本系统各个主要模块之间的关系如图3所示。

图3　地质资料管理系统主要模块关系示意图

Fig3　Geological data management system module chart

52　资源评价数据管理系统

“资源评价数据管理系统”管理对象是与油气资源评价有关的构造、油气资源、油气田、油气探井、资源评价数据的信息，功能上主要侧重于油气评价数据的维护。如录入新数据、数据查询与修改、数据备份/恢复和在线帮助。数据的安全性采用与地质资料管理系统相同的安全机制。考虑到PowerBuilder程序编制的特点，采用如图4所示的系统功能模块图。

53　地质资料查询系统

“地质资料查询系统”实际是一个WEB应用软件系统，由网页组成的，这与传统的结构化应用程序不同，也与可视化集成环境下开发的窗体应用软件结构不同。传统的应用程序，结构明显，由各模块组成，模块之间通过参数传递实现模块间的联系，模块通过调用执行。可视化集成环境下开发的窗体应用软件，是由各种窗体、表单、模块、各种对象组成，代码执行是通过消息和事件驱动的。“地质资料查询系统”则由许多网页组成，网页中嵌入了可执行的脚本程序、Java小程序、控件等，必须在WEB服务器上建立网站运行，与WEB服务器上的各种应用服务一起实现特定的应用功能。

图4　系统功能模块图

Fig4　Evaluation data management System module chart

WEB服务器采用的是微软公司的IIS50（Internet Information Server），实现网站建立和管理。图件资料电子地图的发布查询浏览功能采用中地公司的MapGis-IMS互联网地图服务器，电子地图的图形数据文件存放在服务器上的数据库中或磁盘上，应用程序可通过数据库引擎读取图形数据，电子地图的目录数据则放在ORACLE数据库中。对ORACLE数据库中的以BLOB二进制大对象数据块存储的成果报告全文和图件缩略图等电子文件的读取，是通过ORACLE提供的0040数据接口实现。应用程序编程语言包括ASP、HTML、VB Script、Jscript、Action Script等，在Visual InterDev60集成开发平台完成开发工作。

图5的系统结构图中列出了地质资料查询系统的菜单和网页功能及其调用顺序。

6　结束语

项目开发的系统是一个网络化的信息系统，分成前台应用软件和后台数据库系统两部分。本系统采取的技术路线是：采用商用大型数据库管理系统软件在后台对数据管理和维护，前台应用软件采用针对数据库应用软件开发的可视化集成开发环境（工具）进行开发工作。这样，数据库的物理结构设计及实现、数据维护管理、数据库网络连接接口等问题交由后台的商用数据库管理系统去完成，减少了系统开发难度，提高系统的稳定性和可靠性。

本系统的数据库应用实例已完成开发和在工作中运行，建成的系统具有如下特点：①实用性强；②系统的用户群体广；③系统功能满足了日常工作中的资料管理和资料查阅的需求，系统建成后能够继续得到日常维护；④系统提供的资料内容多样化，有全文资料和电子地图；⑤实现Intranet/Internet网络化服务，系统易使用和 *** 作，适用于地质资料的社会化服务；⑥与当前国家关于地质资料信息化要求及相关标准相吻合。

图5　地质资料查询系统功能结构图

Fig5　Geological data retrieval system module chart

参考文献及资料

地矿部北京计算中心和石油地质研究所，1990油气资源普查勘探数据库系统研制报告（地矿部科技发展项目86166）

胡存生2001Powerbuilder 70高级开发实例与技巧北京：电子工业出版社

王庆瑞1998数据结构，北京出版社

武汉中地信息工程有限公司MAPGIS Internet Map Server开发手册

张文新1999Internet程序设计java＆HTML哈尔滨：哈尔滨工程大学出版社

Kevin Loney2000Oracle 8i DBA Handbook北京：机械工业出版社

Designing and Implememtation of Petroleum and Gas Resources Survey＆Evaluation DBMS of Ocean

Wang Ganglong Li Shaorong Chen Hongjun Zeng Fancai

（Guangzhou Marine Geology Survey,Guangzhou,510760）

Abstract:Based on the data from petroleum and gas resources survey,as well as from marine geological survey,evaluation and material,petroleum and gas resources survey＆evalu-ation DBMS（Pgrs＆eDBMS）is formed by using computer,GIS,database and WEB development technologyPgrs＆eDBMS is a professional information management system for providing comprehensive and actual data as well as dicision-making basis for marine mineral resources survey,marine economic construction,science research and sustainable marine developmentThis paper focuses on introducing the establishment of database of Pgrs＆eDBMS and the development of its function

Key Word:Petroleum resources　GIS　Marine survey　Database　Online distribution

以日志文件为例，日志数据是日志型的数据类别，通常都是以log结尾。

日志文件是用于记录系统 *** 作事件的记录文件或文件集合， *** 作系统有 *** 作系统日志文件，数据库系统有数据库系统日志文件，等等。系统日志文件是包含关于系统消息的文件，包括内核、服务、在系统上运行的应用程序等。不同的日志文件记载不同的信息。例如，有的是默认的系统日志文件，有的记载特定任务。在数据库中用事务日志文件记录数据的修改 *** 作，其中的每条日志记录或者记录所执行的逻辑 *** 作，或者记录已修改数据的前像和后像。前像是 *** 作执行前的数据复本；后像是 *** 作执行后的数据复本。日志文件，可以处理历史数据，不会受防火墙阻隔，可以追踪带宽或下载完成，可以追踪搜索引擎蜘蛛，可以追踪移动用户。

这几天写论文做实验，Web日志挖掘部分第一步就是对Web日志进行预处理。所谓预处理就是将Web日志中没有用的记录和字段去掉。根据我的实验需要需要保留的是有效用户对于有效页面的访问时间，就这三个字段就可以。做数据预处理的第一步是将以文本形式保存的Web日志导入数据库，然后利用SQL语句对其所导入的数据库表进行 *** 作就可以完成数据与处理。

Web日志的形式如下图所示：

这个部分之前一直不是很明白，询问去年做过这个工作的两个哥们，其中一个说用C++中STL部分可以实现，另一个说是将日志按行读取，分割内容存入数据库，然后读取下一行，却没有做具体工作。总之这两个人所说的都是利用编码来实现文本的读取和内容的分割最后再导入数据库。这样在理论上是可行的，但是实际 *** 作起来还是有很大的麻烦的，以现在的时间来看是来不及的。

还好在相关文献上看到有人提到用SQL

Server2000种的DTS工具可以实现这个导入功能。在网上进行搜索居然没有任何有用的类似于教程的文章，手头还没有SQL

Server的书籍，只能自己研究了，经过了一个小时的研究终于将这个问题解决。

Web日志文件虽然是文本文件，但是它的后缀是log，如果想将其导入数据库必须首先将其后缀改称txt。然后打运行SQL

Server2000的服务管理器，打开企业管理器。建立新的数据库Weblog，然后利用工具DTS进行 *** 作，DTS即数据转换服务。 *** 作为“工具—〉数据转换服务—〉导入数据”，出现如下对话框如图2所示。

在图3对话框中的数据源选择文本文件，对话框变成图4所示界面。点击文件名处右边的浏览按钮可以选择所要读取的文本文件形式的日志。这里只能读取txt文件，所以前面一定要将Web日志的后缀log改成后缀txt。

根据图1我们看到Web日志头四行都是日志的信息，比如时间和文件格式，所以在跳过行里面要写跳过4行。下一步进入图6所示界面。

在图6种需要选择如何对文本文件中每一行的各个字段进行区分。选择方式如图中所示。由于Web日志每行为一个记录，每条记录中每一个字段中间都是用空格来进行分隔，所以选择“其它”然后在其对话框中填入一个空格键“

”，系统就将对数据进行处理进行划分，得到分割好的记录。当然相应字段的名称是错误的，这个可以在以后生成数据库表文件后对表进行设计修改。点击下一步进入图7所示界面。

单击下一步之后就可以完成数据导入。

然后刷新数据库Weblog，就可以看到与Web日志同名的新的数据库表文件。修改相应字段的名称，就可以完成数据的导入和数据库表的建立。

接下来可以利用查询分析器对Web日志的数据库表进行 *** 作，完成数据预处理，进而进行日志挖掘或者流量分析。

首先你要理解SQL并写一个SQL的编译器。本来tokenizer和parser两部分就可以够程序员撕逼了，你还需要写一个你不知道文法（别看了，那书里绝对没有文法）的编译器。这块如果你没学过编译原理，我很好奇你需要怎么实现，甚至怎么寻找或设计文法到实现编译器的前端。

第二，你需要了解关系模型，并实现关系模型的存储。你需要对数据结构，其中最核心的是B+树索引和Hash索引，重点是实现他们在磁盘上的版本。由于磁盘的存储方式和内存不一样，你需要针对磁盘的存储进行特殊的处理。

第三，你需要实现查询引擎。查询引擎的原理是将SQL转换成一系列关系代数 *** 作符组成的 *** 作树。之前你已经实现了这个查询引擎，也就是SQL编译器的前端。现在你需要理解关系代数，并实现关系代数 *** 作符。并实现一个类似于解释器，或者叫调度器的工具，将关系 *** 作树给依次执行。其中关系代数 *** 作符里最麻烦的就是join *** 作，因为join *** 作有好几种join算法。如果需要的话，你还需要实现查询优化引擎。查询优化引擎姑且算是一个抽象的黑盒子，里面需要用到一些启发式的高级算法，需要你对动态规划和树遍历等等算法有了解。同时在cost estimation的部分需要从历史数据中估算cost，往大了说还是统计学和机器学习呢。

第四，你需要实现事务和恢复（回滚）机制，这是数据库最重要的功能之一。事务的话需要各种锁的机制实现，而回滚需要有完善的日志系统。这两部分需要大量的工作量和对 *** 作系统有深入的了解。

第五，你最好还要实现一个api。这就是把socket通信封个包的苦力了。

我很好奇150天中你要各分配给上面的东西多少天。举个例子，阿里一堆“大神”做oceanbase，当然transaction和存储复杂多了，用了四年。今年图灵奖得主michael stonebraker的学生做的voltdb的原型，接近十个人做一年。

我本科并没有实现一个数据库就毕业了。当时也是看着大神们说什么撸一个数据库感到各种膜拜。现在我回过头来反思，一个人撸一个数据库到底是不是一件很有意义的事情，而且也完不成。几个人一起分工各做一部分姑且能勉强完成任务。诚然，如上文所讲，还不完全（我没撸过数据库，所以上面讲的并不能如数家珍），数据库作为一个计算机软件是包含了计算机科学里许多模块的一个十分综合的软件系统。对数据库的学习可以延展到对算法与数据结构，编译器，计算理论， *** 作系统等等方方面面的学习，是非常好的一件事。同时做一个数据库一定需要对这些多方面的知识有着十分详细的了解才能做到游刃有余。这些绝对不是，也没必要是，一个大学低年级同学应该做到的。甚至不是大部分工程师应该做到的。因为工程师的业务绝大部分人涉及不到这么多方面，尤其是编译器部分。

一般来说日志记录的越详细越好，这样有助于发现问题的时候解决问题；

至于日志采用什么样的形势记录这样取决于产品的性质看了；如果产品要展示你的 *** 作踪迹，我想应该保存到数据库里比较好些；

log是日志文件，通常是系统或者百某些软件对已完成的某种处理的记录，以便将来做为参考。

其并没有固定的格式，通常是文本文件，可以用记事本打开以查看内容，当然很可能是其它格式，度有些直接打开就是乱码。

在计算机领域，日志文件（logfile）是一个记录了发生在运行中的 *** 作系统或其他软件中的事件的文件，或者记录了在网络聊天软件的用户之间发送的消息，或是指保存日志的行为。

许多 *** 作系统、软件框架和程序都包含日志系统。广泛使用的一项日志标准是syslog，它在互联网工程任务组（IETF）的RFC5424中定义。

syslog标准使专门的标准化子系统得以生成、过滤、记录和分析日志消息。这可以减轻软件开发人员设计和编写自己的临时日志系统的难度。

大多数数据库系统都维护某种事务日志（transactionlog），它们的作用并不是为了后续分析的审计活动，也不是为了便于人类阅读。

这些日志记录了对存储数据的更改，以允许数据库在发生崩溃或其他数据错误后恢复并维护存储数据的一致状态。因此数据库系统通常具有常规事件日志与事务日志。

扩展资料：

log文件详细地记录了安装信息：软件的源路径、安装时间、安装的整个过程，安装软件时的每一个 *** 作，都会在这儿留下记录，包括向WINDOWS文件夹中拷贝＂．dll＂，对注册表进行修改。

其实其最重要作用是为删除软件作准备的。

如果删除或把这个文件从原来的文件夹中移开，在控制面板－添加／删除程序中不能卸载这个软件，可由WINDOWS下的unwise．exe或它所在文件中的unwise．exe调用。

参考资料：

以上就是关于海洋油气资源调查与评价数据库系统的设计与实现全部的内容，包括:海洋油气资源调查与评价数据库系统的设计与实现、请问日志数据是什么类型、如何将Web日志文件导入数据库等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！