一个栅格数据集的统计信息如果不能保存在自身的栅格文件中，那这些信息就会保存在对应的AUX文件中。AUX在对栅格图层进行第一次统计分析的时候自动创建。如果栅格数据集很大，因为统计分析就需要获取更多的栅格单元，以得到统计结果，那么生成AUX文件的时间也需要长些。AUX文件一旦创建好之后，在以后的生产中，如果需要对应栅格数据集的统计信息，那么就可以直接利用AUX文件中的统计数据了，而不需要重新进行统计运算。
如果一个栅格数据集已经创建了影像金字塔，那么AUX文件也保存影像金字塔（RRD）文件保存路径的指针。在影像金字塔创建好之后，直接利用 *** 作系统的Copy、Cut命令来移动栅格图层（raster），系统软件就会在AUX文件中记录的路径中寻找RRD文件。如果找不到对应的RRD文件，系统则会在栅格文件移动前的目录下寻找RRD文件。如果要赋值或粘贴一个栅格数据集，所以为了保住相关文件的完整，最好使用ArcCatalog或ArcInfo实现，
AUX文件能够保存以下信息：彩色地图信息；直方图或表格；坐标系统；变换信息；投影信息。
如果用户是对栅格数据集所在目录或栅格数据集本身进行读写，那么AUX文件会在源数据集的目录下创建。如果栅格数据集所在文件夹是“只读”，或是栅格数据本身是“只读”，那么AUX文件则会创建在默认的代理文件（proxy
AUX文件存储的信息，只能由ESRI产品，ERDS或是由RDO/ERaster 库派生出的第三方产品读取。
1 前言hbase是从hadoop中 分离出来的apache顶级开源项目。由于它很好地用java实现了google的bigtable系统大部分特性，因此在数据量猛增的今天非常受到欢 迎。对于淘宝而言，随着市场规模的扩大，产品与技术的发展，业务数据量越来越大，对海量数据的高效插入和读取变得越来越重要。由于淘宝拥有也许是国内最大 的单一hadoop集群(云梯)，因此对hadoop系列的产品有比较深入的了解，也就自然希望使用hbase来做这样一种海量数据读写服务。本篇文章将 对淘宝最近一年来在online应用上使用和优化hbase的情况做一次小结。
2 原因
为什么要使用hbase？
淘宝在2011年之前所有的后端持久化存储基本上都是在mysql上进行的(不排除少量oracle/bdb/tair/mongdb等)，mysql由于开源，并且生态系统良好，本身拥有分库分表等多种解决方案，因此很长一段时间内都满足淘宝大量业务的需求。
但是由于业务的多样化发展，有越来越多的业务系统的需求开始发生了变化。一般来说有以下几类变化：
a) 数据量变得越来越多，事实上现在淘宝几乎任何一个与用户相关的在线业务的数据量都在亿级别，每日系统调用次数从亿到百亿都有，且历史数据不能轻易删除。这需要有一个海量分布式文件系统，能对TB级甚至PB级别的数据提供在线服务
b) 数据量的增长很快且不一定能准确预计，大多数应用系统从上线起在一段时间内数据量都呈很快的上升趋势，因此从成本的角度考虑对系统水平扩展能力有比较强烈的需求，且不希望存在单点制约
c) 只需要简单的kv读取，没有复杂的join等需求。但对系统的并发能力以及吞吐量、响应延时有非常高的需求，并且希望系统能够保持强一致性
d) 通常系统的写入非常频繁，尤其是大量系统依赖于实时的日志分析
e) 希望能够快速读取批量数据
f ) schema灵活多变，可能经常更新列属性或新增列
g) 希望能够方便使用，有良好且语义清晰的java接口
以上需求综合在一起，我们认为hbase是一种比较适合的选择。首先它的数据由hdfs天然地做了数据冗余，云梯三年的稳定运行，数据100%可靠 己经证明了hdfs集群的安全性，以及服务于海量数据的能力。其次hbase本身的数据读写服务没有单点的限制，服务能力可以随服务器的增长而线性增长， 达到几十上百台的规模。LSM-Tree模式的设计让hbase的写入性能非常良好，单次写入通常在1-3ms内即可响应完成，且性能不随数据量的增长而 下降。
region（相当于数据库的分表）可以ms级动态的切分和移动，保证了负载均衡性。由于hbase上的数据模型是按rowkey排序存储的，而读 取时会一次读取连续的整块数据做为cache，因此良好的rowkey设计可以让批量读取变得十分容易，甚至只需要1次io就能获取几十上百条用户想要的 数据。最后，淘宝大部分工程师是java背景的同学，因此hbase的api对于他们来说非常容易上手，培训成本相对较低。
当然也必须指出，在大数据量的背景下银d是不存在的，hbase本身也有不适合的场景。比如，索引只支持主索引（或看成主组合索引），又比如服务是 单点的，单台机器宕机后在master恢复它期间它所负责的部分数据将无法服务等。这就要求在选型上需要对自己的应用系统有足够了解。
3 应用情况
我们从2011年3月开始研究hbase如何用于在线服务。尽管之前在一淘搜索中己经有了几十节点的离线服务。这是因为hbase早期版本的目标就 是一个海量数据中的离线服务。2009年9月发布的0.20.0版本是一个里程碑，online应用正式成为了hbase的目标，为此hbase引入了 zookeeper来做为backupmaster以及regionserver的管理。2011年1月0.90.0版本是另一个里程碑，基本上我们今天 看到的各大网站，如facebook/ebay/yahoo内所使用于生产的hbase都是基于这一个版本(fb所采用的0.89版本结构与0.90.x 相近)。bloomfilter等诸多属性加入了进来，性能也有极大提升。基于此，淘宝也选用了0.90.x分支作为线上版本的基础。
第一个上线的应用是数据魔方中的prom。prom原先是基于redis构建的，因为数据量持续增大以及需求的变化，因此我们用hbase重构了它 的存储层。准确的说prom更适合0.92版本的hbase，因为它不仅需要高速的在线读写，更需要count/group by等复杂应用。但由于当时0.92版本尚未成熟，因此我们自己单独实现了coprocessor。prom的数据导入是来源于云梯，因此我们每天晚上花 半个小时将数据从云梯上写入hbase所在的hdfs，然后在web层做了一个client转发。经过一个月的数据比对，确认了速度比之redis并未有 明显下降，以及数据的准确性，因此得以顺利上线。
第二个上线的应用是TimeTunnel，TimeTunnel是一个高效的、可靠的、可扩展的实时数据传输平台，广泛应用于实时日志收集、数据实 时监控、广告效果实时反馈、数据库实时同步等领域。它与prom相比的特点是增加了在线写。动态的数据增加使hbase上compact/balance /split/recovery等诸多特性受到了极大的挑战。TT的写入量大约一天20TB，读的量约为此的1.5倍，我们为此准备了20台 regionserver的集群，当然底层的hdfs是公用的，数量更为庞大（下文会提到）。每天TT会为不同的业务在hbase上建不同的表，然后往该 表上写入数据，即使我们将region的大小上限设为1GB，最大的几个业务也会达到数千个region这样的规模，可以说每一分钟都会有数次 split。在TT的上线过程中，我们修复了hbase很多关于split方面的bug，有好几个commit到了hbase社区，同时也将社区一些最新 的patch打在了我们的版本上。split相关的bug应该说是hbase中会导致数据丢失最大的风险之一，这一点对于每个想使用hbase的开发者来 说必须牢记。hbase由于采用了LSM-Tree模型，从架构原理上来说数据几乎没有丢失的可能，但是在实际使用中不小心谨慎就有丢失风险。原因后面会 单独强调。TT在预发过程中我们分别因为Meta表损坏以及split方面的bug曾经丢失过数据，因此也单独写了meta表恢复工具，确保今后不发生类 似问题(hbase-0.90.5以后的版本都增加了类似工具)。另外，由于我们存放TT的机房并不稳定，发生过很多次宕机事故，甚至发生过假死现象。因 此我们也着手修改了一些patch，以提高宕机恢复时间，以及增强了监控的强度。
CTU以及会员中心项目是两个对在线要求比较高的项目，在这两个项目中我们特别对hbase的慢响应问题进行了研究。hbase的慢响应现在一般归 纳为四类原因：网络原因、gc问题、命中率以及client的反序列化问题。我们现在对它们做了一些解决方案(后面会有介绍)，以更好地对慢响应有控制 力。
和Facebook类似，我们也使用了hbase做为实时计算类项目的存储层。目前对内部己经上线了部分实时项目，比如实时页面点击系 统，galaxy实时交易推荐以及直播间等内部项目，用户则是散布到公司内各部门的运营小二们。与facebook的puma不同的是淘宝使用了多种方式 做实时计算层，比如galaxy是使用类似affa的actor模式处理交易数据，同时关联商品表等维度表计算排行(TopN)，而实时页面点击系统则是 基于twitter开源的storm进行开发，后台通过TT获取实时的日志数据，计算流将中间结果以及动态维表持久化到hbase上，比如我们将 rowkey设计为url+userid，并读出实时的数据，从而实现实时计算各个维度上的uv。
最后要特别提一下历史交易订单项目。这个项目实际上也是一个重构项目，目的是从以前的solr+bdb的方案上迁移到hbase上来。由于它关系到 己买到页面，用户使用频率非常高，重要程度接近核心应用，对数据丢失以及服务中断是零容忍。它对compact做了优化，避免大数据量的compact在 服务时间内发生。新增了定制的filter来实现分页查询，rowkey上对应用进行了巧妙的设计以避免了冗余数据的传输以及90%以上的读转化成了顺序 读。目前该集群存储了超过百亿的订单数据以及数千亿的索引数据，线上故障率为0。
随着业务的发展，目前我们定制的hbase集群己经应用到了线上超过二十个应用，数百台服务器上。包括淘宝首页的商品实时推荐、广泛用于卖家的实时量子统计等应用，并且还有继续增多以及向核心应用靠近的趋势。
4 部署、运维和监控
Facebook之前曾经透露过Facebook的hbase架构，可以说是非常不错的。如他们将message服务的hbase集群按用户分为数 个集群，每个集群100台服务器，拥有一台namenode以及分为5个机架，每个机架上一台zookeeper。可以说对于大数据量的服务这是一种优良 的架构。对于淘宝来说，由于数据量远没有那么大，应用也没有那么核心，因此我们采用公用hdfs以及zookeeper集群的架构。每个hdfs集群尽量 不超过100台规模（这是为了尽量限制namenode单点问题）。在其上架设数个hbase集群，每个集群一个master以及一个 backupmaster。公用hdfs的好处是可以尽量减少compact的影响，以及均摊掉硬盘的成本，因为总有集群对磁盘空间要求高，也总有集群对 磁盘空间要求低，混合在一起用从成本上是比较合算的。zookeeper集群公用，每个hbase集群在zk上分属不同的根节点。通过zk的权限机制来保 证hbase集群的相互独立。zk的公用原因则仅仅是为了运维方便。
由于是在线应用，运维和监控就变得更加重要，由于之前的经验接近0，因此很难招到专门的hbase运维人员。我们的开发团队和运维团队从一开始就很重视该问题，很早就开始自行培养。以下讲一些我们的运维和监控经验。
我们定制的hbase很重要的一部分功能就是增加监控。hbase本身可以发送ganglia监控数据，只是监控项远远不够，并且ganglia的 展示方式并不直观和突出。因此一方面我们在代码中侵入式地增加了很多监控点，比如compact/split/balance/flush队列以及各个阶 段的耗时、读写各个阶段的响应时间、读写次数、region的open/close，以及具体到表和region级别的读写次数等等。仍然将它们通过 socket的方式发送到ganglia中，ganglia会把它们记录到rrd文件中，rrd文件的特点是历史数据的精度会越来越低，因此我们自己编写 程序从rrd中读出相应的数据并持久化到其它地方，然后自己用js实现了一套监控界面，将我们关心的数据以趋势图、饼图等各种方式重点汇总和显示出来，并 且可以无精度损失地查看任意历史数据。在显示的同时会把部分非常重要的数据，如读写次数、响应时间等写入数据库，实现波动报警等自定义的报警。经过以上措 施，保证了我们总是能先于用户发现集群的问题并及时修复。我们利用redis高效的排序算法实时地将每个region的读写次数进行排序，能够在高负载的 情况下找到具体请求次数排名较高的那些region，并把它们移到空闲的regionserver上去。在高峰期我们能对上百台机器的数十万个 region进行实时排序。
为了隔离应用的影响，我们在代码层面实现了可以检查不同client过来的连接，并且切断某些client的连接，以在发生故障时，将故障隔离在某个应用内部而不扩大化。mapreduce的应用也会控制在低峰期运行，比如在白天我们会关闭jobtracker等。
此外，为了保障服务从结果上的可用，我们也会定期跑读写测试、建表测试、hbck等命令。hbck是一个非常有用的工具，不过要注意它也是一个很重 的工 *** 作，因此尽量减少hbck的调用次数，尽量不要并行运行hbck服务。在0.90.4以前的hbck会有一些机率使hbase宕机。另外为了确保 hdfs的安全性，需要定期运行fsck等以检查hdfs的状态，如block的replica数量等。
我们会每天根踪所有线上服务器的日志，将错误日志全部找出来并且邮件给开发人员，以查明每一次error以上的问题原因和fix。直至错误降低为0。另外 每一次的hbck结果如果有问题也会邮件给开发人员以处理掉。尽管并不是每一次error都会引发问题，甚至大部分error都只是分布式系统中的正常现 象，但明白它们问题的原因是非常重要的。
5 测试与发布
因为是未知的系统，我们从一开始就非常注重测试。测试从一开始就分为性能测试和功能测试。性能测试主要是注意基准测试，分很多场景，比如不同混合读 写比例，不同k/v大小，不同列族数，不同命中率，是否做presharding等等。每次运行都会持续数小时以得到准确的结果。因此我们写了一套自动化 系统，从web上选择不同的场景，后台会自动将测试参数传到各台服务器上去执行。由于是测试分布式系统，因此client也必须是分布式的。
我们判断测试是否准确的依据是同一个场景跑多次，是否数据，以及运行曲线达到99%以上的重合度，这个工作非常烦琐，以至于消耗了很多时间，但后来 的事实证明它非常有意义。因为我们对它建立了100%的信任，这非常重要，比如后期我们的改进哪怕只提高2%的性能也能被准确捕捉到，又比如某次代码修改 使compact队列曲线有了一些起伏而被我们看到，从而找出了程序的bug，等等。
功能测试上则主要是接口测试和异常测试。接口测试一般作用不是很明显，因为hbase本身的单元测试己经使这部分被覆盖到了。但异常测试非常重要， 我们绝大部分bug修改都是在异常测试中发现的，这帮助我们去掉了很多生产环境中可能存在的不稳定因素，我们也提交了十几个相应的patch到社区，并受 到了重视和commit。分布式系统设计的难点和复杂度都在异常处理上，我们必须认为系统在通讯的任何时候都是不可靠的。某些难以复现的问题我们会通过查 看代码大体定位到问题以后，在代码层面强行抛出异常来复现它。事实证明这非常有用。
为了方便和快速定位问题，我们设计了一套日志收集和处理的程序，以方便地从每台服务器上抓取相应的日志并按一定规律汇总。这非常重要，避免浪费大量的时间到登录不同的服务器以寻找一个bug的线索。
由于hbase社区在不停发展，以及线上或测试环境发现的新的bug，我们需要制定一套有规律的发布模式。它既要避免频繁的发布引起的不稳定，又要 避免长期不发布导致生产版本离开发版本越来越远或是隐藏的bug爆发。我们强行规定每两周从内部trunk上release一个版本，该版本必须通过所有 的测试包括回归测试，并且在release后在一个小型的集群上24小时不受甘扰不停地运行。每个月会有一次发布，发布时采用最新release的版本， 并且将现有的集群按重要性分级发布，以确保重要应用不受新版本的潜在bug影响。事实证明自从我们引入这套发布机制后，由发布带来的不稳定因素大大下降 了，并且线上版本也能保持不落后太多。
6 改进和优化
Facebook是一家非常值得尊敬的公司，他们毫无保留地对外公布了对hbase的所有改造，并且将他们内部实际使用的版本开源到了社区。 facebook线上应用的一个重要特点是他们关闭了split，以降低split带来的风险。与facebook不同，淘宝的业务数据量相对没有如此庞 大，并且由于应用类型非常丰富，我们并们并没有要求用户强行选择关闭split，而是尽量去修改split中可能存在的bug。到目前为止，虽然我们并不 能说完全解决了这个问题，但是从0.90.2中暴露出来的诸多跟split以及宕机相关的可能引发的bug我们的测试环境上己经被修复到接近了0，也为社 区提交了10数个稳定性相关的patch，比较重要的有以下几个：
https://issues.apache.org/jira/browse/HBASE-4562
https://issues.apache.org/jira/browse/HBASE-4563
https://issues.apache.org/jira/browse/HBASE-5152
https://issues.apache.org/jira/browse/HBASE-5100
https://issues.apache.org/jira/browse/HBASE-4880
https://issues.apache.org/jira/browse/HBASE-4878
https://issues.apache.org/jira/browse/HBASE-4899
还有其它一些，我们主要将patch提交到0.92版本，社区会有commitor帮助我们backport回0.90版本。所以社区从 0.90.2一直到0.90.6一共发布了5个bugfix版本后，0.90.6版本其实己经比较稳定了。建议生产环境可以考虑这个版本。
split这是一个很重的事务，它有一个严重的问题就是会修改meta表（当然宕机恢复时也有这个问题）。如果在此期间发生异常，很有可能meta 表、rs内存、master内存以及hdfs上的文件会发生不一致，导致之后region重新分配时发生错误。其中一个错误就是有可能同一个region 被两个以上的regionserver所服务，那么就可能出现这一个region所服务的数据会随机分别写到多台rs上，读取的时候也会分别读取，导致数 据丢失。想要恢复原状，必须删除掉其中一个rs上的region，这就导致了不得不主动删掉数据，从而引发数据丢失。
前面说到慢响应的问题归纳为网络原因、gc问题、命中率以及client的反序列化问题。网络原因一般是网络不稳定引起的，不过也有可能是tcp参 数设置问题，必须保证尽量减少包的延迟，如nodelay需要设置为true等，这些问题我们通过tcpdump等一系列工具专门定位过，证明tcp参数 对包的组装确实会造成慢连接。gc要根据应用的类型来，一般在读比较多的应用中新生代不能设置得太小。命中率极大影响了响应的时间，我们会尽量将 version数设为1以增加缓存的容量，良好的balance也能帮助充分应用好每台机器的命中率。我们为此设计了表级别的balance。
由于hbase服务是单点的，即宕机一台，则该台机器所服务的数据在恢复前是无法读写的。宕机恢复速度决定了我们服务的可用率。为此主要做了几点优 化。首先是将zk的宕机发现时间尽量缩短到1分钟，其次改进了master恢复日志为并行恢复，大大提高了master恢复日志的速度，然后我们修改了 openhandler中可能出现的一些超时异常，以及死锁，去掉了日志中可能发生的open…too long等异常。原生的hbase在宕机恢复时有可能发生10几分钟甚至半小时无法重启的问题己经被修复掉了。另外，hdfs层面我们将 socket.timeout时间以及重试时间也缩短了，以降低datanode宕机引起的长时间block现象。
hbase本身读写层面的优化我们目前并没有做太多的工作，唯一打的patch是region增加时写性能严重下降的问题。因为由于hbase本身 良好的性能，我们通过大量测试找到了各种应用场景中比较优良的参数并应用于生产环境后，都基本满足需求。不过这是我们接下来的重要工作。
7 将来计划
我们目前维护着淘宝内基于社区0.90.x而定制的hbase版本。接下来除继续fix它的bug外，会维护基于0.92.x修改的版本。之所以这 样，是因为0.92.x和0.90.x的兼容性并不是非常好，而且0.92.x修改掉的代码非常多，粗略统计会超过30%。0.92中有我们非常看重的一 些特性。
0.92版本改进了hfile为hfileV2，v2版本的特点是将索引以及bloomfilter进行了大幅改造，以支持单个大hfile文 件。现有的HFile在文件大到一定程度时，index会占用大量的内存，并且加载文件的速度会因此下降非常多。而如果HFile不增大的 话，region就无法扩大，从而导致region数量非常多。这是我们想尽量避免的事。
0.92版本改进了通讯层协议，在通讯层中增加了length，这非常重要，它让我们可以写出nio的客户端，使反序列化不再成为影响client性能的地方。
0.92版本增加了coprocessor特性，这支持了少量想要在rs上进行count等的应用。
还有其它很多优化，比如改进了balance算法、改进了compact算法、改进了scan算法、compact变为CF级别、动态做ddl等等特性。
除了0.92版本外，0.94版本以及最新的trunk(0.96)也有很多不错的特性，0.94是一个性能优化版本。它做了很多革命性工作，比如去掉root表，比如HLog进行压缩，replication上支持多个slave集群，等等。
我们自己也有一些优化，比如自行实现的二级索引、backup策略等都会在内部版本上实现。
另外值得一提的是hdfs层面的优化也非常重要，hadoop-1.0.0以及cloudera-3u3的改进对hbase非常有帮助，比如本地化 读、checksum的改进、datanode的keepalive设置、namenode的HA策略等。我们有一支优秀的hdfs团队来支持我们的 hdfs层面工作，比如定位以及fix一些hdfs层面的bug,帮助提供一些hdfs上参数的建议，以及帮助实现namenode的HA等。最新的测试 表明，3u3的checksum+本地化读可以将随机读性能提升至少一倍。
我们正在做的一件有意义的事是实时监控和调整regionserver的负载，能够动态地将负载不足的集群上的服务器挪到负载较高的集群中，而整个过程对用户完全透明。
总的来说，我们的策略是尽量和社区合作，以推动hbase在整个apache生态链以及业界的发展，使其能更稳定地部署到更多的应用中去，以降低使用门槛以及使用成本。
数据库物理模型设计的目标是根据选定的Oracle数据库系统特点和航空物探数据管理与服务的业务处理需求，确定航空物探数据库最优的物理环境、存取方法和存储结构。即通过数据库物理设计，以便达到物理数据库结构的优化，使得在数据库上运行的各种事务响应时间少、存储空间利用率高、事务吞吐率大。
一、数据库布局
航空物探信息系统的维护数据（部门、岗位、人员、人员权限、数据入库检查规则及数据字典等）相对比较稳定。入库前数据需经过各种检查校对，确认数据正确后才能归档，存入航空物探资料数据库，所以存入资料库前的数据可能经常需要修改和删除，相对变化较大；而存入资料数据库中的数据一般不允许修改和删除，以免误 *** 作破坏资料库数据造成损失。
图2-12 航空物探数据库逻辑模型
图2-13 航空物探数据库布局与数据采集流程图
据此，我们采用图2-13所示的数据库数据采集流程，并将航空物探数据库分为资料采集数据库、资料数据库、系统维护数据库分别进行存储和管理，实现数据的统一管理和统一使用，便于数据入库和易于维护等。
航空物探资料数据库是航空物探所有数据最终存储的场所。资料采集数据库是数据归档存入资料数据库前的临时“集散地”，在此接收各项检查，在确认数据无误后归档到资料数据库，然后删除资料采集数据库中已归档的数据。此外，资料采集数据库中还保存数据入库、维护、检查日志及归档记录。
系统维护数据库，存储系统维护信息（如系统功能、数据库表清单等）、安全信息（如信息系统用户的角色、权限、授权的系统功能等），数据字典、入库数据检查规则等。将其与航空物探数据分开，有利于系统维护和管理。
二、数据库空间设置
数据库空间设置包括磁盘空间设置、应用系统表空间设置、撤销表空间、临时表空间、日志空间和索引空间设置。
（一）磁盘空间设置
磁盘空间设置的目标：磁盘性能不能阻碍实现数据库性能，数据库磁盘必须专用于数据库文件，否则非数据库将会影响到数据库性能，且磁盘空间必须满足恢复和性能的要求。
航空物探数据库服务器为IBM P620小型机，8块硬盘，每块硬盘36GB空间，每块物理磁盘建立一个文件系统。为了提高磁盘的反应时间和寻道时间，提高I/O的存取效率，除了一块硬盘用于UNIX *** 作系统外，其余7块磁盘分别存放资料采集数据库、系统维护数据库-日志文件，资料数据库及资料数据库的大字段数据、索引、回滚段和数据日志文件。
（二）应用系统表空间设置
信息系统数据采集过程对数据的事务 *** 作比较频繁，经常进行数据插入（新数据入库）、修改（入库数据有误）和删除 *** 作（数据重新导入或归档入库），因此航空物探资料采集数据库所在的表空间会很活跃。为了不影响其他I/O的竞争，同时也可以提高数据入库的 *** 作效率（50多年的历史数据需要集中入库），分配一个磁盘空间（36GB）为采集库的表空间。由于采集数据归档入资料库后被删除，同时进行数据入库的项目也不是很多，虽仍保留所有的采集日志数据，一个磁盘空间也足够使用。
航空物探资料数据库的二维表和Oracle大字段（BLOB）分别存放在不同的物理磁盘（每个磁盘36GB）上，对同时存在有表格数据和大字段数据的数据库表（如航迹线数据）时，可以提高磁盘I/O效率。随着数据入库的项目越来越多，需要增加相应的物理磁盘或磁盘阵列。
系统维护数据库相对稳定，占用磁盘空间约500 M左右。由于系统磁盘有限，把日志文件存放该磁盘中。
（三）撤销表和临时表空间的设置
在Oracle数据库中，撤销的目的是确保事务的回退和恢复。撤销参数有UNDO_MANAGEMENT、UNDO_TABLESPACE和UNDO_RETENTION。
UNDO_MANAGEMENT参数用于数据库中管理撤销数据的方式，航空物探数据库设置为自动模式（auto）。
UNDO_TABLESPACE参数用于指定数据库中保存撤销数据的撤销表空间名称，航空物探数据库撤销表空间名称为UNDO_ARGS_TBSPACE，空间大小设置为20GB，以确保在保留时间内进行恢复。
UNDO_RETENTION参数用于指定已经提交事务的撤销数据在能够覆盖之前应该保留多长时间，本数据库系统设置为60 min。
临时表空间是用以存储大量的排序，与撤销表空间存放在一个物理磁盘上，本数据库系统临时表空间设置为500 M。
（四）日志空间设置
日志的主要功能是记录对数据库已做过的全部 *** 作。在系统出现故障时，如果不能将修改数据永久地写入数据文件，则可利用日志得到该修改，所以不会丢失已有 *** 作结果。
日志文件主要是保护数据库以防止故障。为了防止日志文件本身的故障，航空物探数据库系统分别在一个独立磁盘和系统维护库磁盘中存放日志文件。若系统出现故障，在下次打开数据库时Oracle数据库系统自动用日志文件中的信息来恢复数据库文件。
根据航空物探数据库信息系统同时登录的用户数及使用的功能，将日志文件大小设置为10GB。
（五）索引表空间设置
为了提高航空物探信息系统的查询和统计速度，把所有索引空间与应用表空间完全分开，从而提高I/O存取效率。航空物探索引表空间大小设置为10GB。
聚集是表的一种存储方法，一般每个基本表是单独组织的，但对逻辑上经常在一起查询的表，在物理上也邻近存放，这样可减少数据的搜索时间，提高性能。
当几个关系（表）以聚集方式组织时，是通过公共属性的值为表聚集的依据。航空物探数据库系统是以项目标识（PROJ_ID）建立聚集的，所有涉及项目标识的数据库表直接引用项目标识聚集。航空物探聚集表空间与索引表空间相同。
三、数据库参数设置
在数据库创建前需要对如下数据库参数进行设置，航空物探参数文件名为Initoraargs.ora，各种参数设置如下：
航空物探信息系统建设
四、内存设置
航空物探数据库服务器物理内存为4GB，除部分用于系统开销外，其余全部用于数据库。
Oracle使用共享系统全局区（System Global Area，SGA）内存来管理内存和文件结构，包含DB_block_Buffers、DB_cache_size、Shared_pool_size、Log_Buffer参数。航空物探数据库系统的全局区内存参数设置如下。
DB_block_Buffers参数为SGA中存储区高速缓存的缓冲区数目，每个缓冲区的大小等于参数DB_block_size的大小，DB_block_Buffers=19200（约300 MB）。
Shared_pool_size参数为分配给共享SQL区的字节数，是SGA大小的主要影响者，Shared_pool_size=1228800000（1.2GB）。
DB_cache_size参数是SGA大小和数据库性能的最重要的决定因素。该值较高，可以提高系统的命中率，减少I/O，DB_cache_size=1024000000（1GB）。
Log_Buffer参数为重做日志高速缓存大小，主要进行插入、删除和修改回退 *** 作，Log_buffer=5120000（5MB）。
五、优化设置
由于航空物探信息系统的采集软件和应用软件是采用MS.NET C＃进行开发的，应用程序与数据库之间的连接有传统的ODBC和OLE DB两种方式。为了支持ODBC在OLE DB技术上建立了相应的OLE DB到ODBC的调用转换，而使用直接的OLE DB方式则不需转换，从而提高处理速度。
在建立数据库表时，参数Pctfree和Pctused设置不正确可能会导致数据出现行链接和行迁移现象，即同一行的数据被保存在不同的数据块中。在进行数据查询时，为了读出这些数据，磁头必须重新定位，这样势必会大大降低数据库的执行速度。因此，在创建表时应充分估计到将来可能出现的数据变化，正确地设置这两个参数，尽量减少数据库中出现的行链接和行迁移现象。
航空物探资料采集数据库表的插入、修改和删除的频率较高，Pctfree设置为20，Pctused设置为40；系统维护数据库表相对稳定，Pctfree设置为10，Pctused设置为15；资料数据库表除了增加数据外基本不进行修改和删除 *** 作，Pctfree设置为10，Pctused设置为5。
六、扩展性设置
多CPU和并行查询PQO（Parallel Query Option）方式的利用：CPU的快速发展使得Oracle越来越重视对多CPU的并行技术的应用，一个数据库的访问工作可以用多个CPU相互配合来完成。对于多CPU系统尽量采用并行查询选项方式进行数据库 *** 作。航空物探数据库服务器为2个CPU，在程序查询中采用了并行查询的方式。
在航空物探工作量统计、飞行小时统计、测量面积统计和岩石物性统计中，为了加快统计效率，在相应的查询语句中增加了并行查询语句。
随着航空物探高精度测量程度的不断提高，测量数据将越来越大。为了满足航空物探查询效率及发展，将航磁测量数据与校正后航磁测量数据按比例尺分1∶20 万以下、20万～50万、1∶50万以上分别存放3张不同的数据库表。
七、创建数据库
在完成数据库布局、空间设置、内存设置、数据库参数设置、扩展性设置和优化设置后，进行航空物探数据库物理模型设计，即航空物探数据库实体创建。由于航空物探空间数据库逻辑模型是采用ESRI提供的ArcGIS UML构建的Geodatabase模型，因此，使用ESRI公司提供的CaseTools将航空物探数据UML模型图转成空间数据库（Geodatabase）实体（图2-14）。
航空物探属性数据库表（二维表）是采用Power Designer数据库设计平台直接把数据库关系模型生成数据库脚本来创建的。
经过数据库的概念设计、逻辑设计和物理设计，最终生成航空物探数据库。
图2-14 航空物探数据库物理模型实现
八、空间数据的索引机制
对于海量的空间数据库而言，数据库的 *** 作效率是关系到数据库成败的关键问题。为了提高数据的访问、检索和显示速度，数据在加载到数据库时，要素类数据建立了空间索引，栅格数据构建了金字塔结构，对象类数据采用与数据库直接联接的访问机制。
（一）空间索引
为了提高要素类数据的查询性能，在建立航空物探空间数据库时，创建了空间索引机制。常用的空间索引有格网索引、R树索引、四叉树索引等。Geodatabase采用格网索引方式。所谓格网索引是将空间区域划分成适合大小的正方形格网，记录每一个格网内所包含的空间实体（对象）以及每一个实体的封装边界范围，即包围空间实体的左下角和右上角坐标。当用户进行空间查询时，首先计算出用户查询对象所在格网，然后通过格网编号，就可以快速检索到所需的空间实体。
确定适合的格网级数、单元大小是建立空间格网索引的关键。格网太大，在一个格网内有多个空间实体，查询检索的准确度降低。格网太小，则索引数据量成倍增长和冗余，检索的速度和效率较低。数据库的每一数据层采用不同大小、不同级数的空间索引格网单元，但每层最多级数不能超过三级。格网单元的大小不是一个确定性的值，需要根据对象的大小确定。空间索引格网的大小与检索准确度之间的关系如图2-15所示。
选择格网单元的大小遵循下列基本原则：
1）对于简单要素的数据层，尽可能选择单级索引格网。减少RDBMS搜索格网单元索引的级数，缩短空间索引搜索的过程，例如航迹线要素类。
图2-15 索引格网大小与检索准确度的关系
2）如果数据层中的要素封装边界大小变化比较大，应选择2或3级索引格网。Geodatabase最多提供三级格网单元。每一要素封装边界在适合的级内，减少了每一封装边界有多个格网的可能性。在空间索引搜索过程中，RDBMS则必须搜索所有3个格网单元级，这将消耗大量的时间。
3）若用户经常对图层执行相同的查询，最佳格网的大小应是平均查寻空间范围的1.5倍。
4）格网的大小不能小于要素封装边界的平均大小，为了减少每个格网单元有多个要素封装边界的可能性，格网单元的大小应取平均格网单元的3倍。最佳格网单元的大小可能受图层平均查询的影响。
空间域是按照要素数据集定义的，空间索引格网是按照要素类设置的。它们都是在创建Geodatabase数据库时设置，并一经设置，中间不许改变；所以一定要在充分分析数据的情况下确定它们的值。航空物探数据主要是简单要素类，空间跨度为70°。根据上述原则，航空物探数据选择单级索引格网，格网大小为20°。
（二）金字塔结构
金字塔结构的核心是将栅格数据逐级进行抽稀，形成多级分辨率的重采样数据，并将其分割成块，按一定的文件格式（金字塔文件格式）存储成磁盘文件；在以后进行图像显示处理时，只需将要显示的部分所覆盖的块从磁盘文件直接读进内存缓冲区显示即可。从金字塔的所有层中寻找与所要求显示的比例相近或匹配的一层，并将该层的从某一点起的一定范围的图像所覆盖的所有块加载到内存缓冲区，提取所需部分并形成图像。
金字塔算法（图2-16）是通过获取显示时所需要的一定分辨率的数据来提高显示速度。使用金字塔数据格式后，在显示全图时仅需要显示一个较低分辨率的数据，这样既能加快显示速度，又不会影响显示效果。放大图像，尽管显示图像分辨率提高，由于显示区域减小，所以显示速度不会下降。如果没有为栅格数据建立金字塔数据，则每次显示都会读取整个数据，然后进行重采样得到显示所需要的分辨率，明显地降低了显示速度。
图2-16 金字塔压缩示意图
金字塔数据重采样方式有：最近邻法、双线性内插和立方卷积。其中最近邻法适用于离散数据，而双线性内插法和立方卷积法适合于连续数据。
在ArcGIS Engine中提供了IRasterPyramid和IRasterPyramid2接口来实现金字塔数据的建立，而建立的数据保存在*.rrd格式的文件中。
（三）空间域定义
空间域是指数据的有效空间范围，即Geodatabase数据库的最大等效坐标的值域范围，其定义主要是指比例系数和Min X、Min Y的计算。
因为使用整数比浮点数有更高的压缩率，并且对整数进行二进制搜索比较快，所以多用户Geodatabase以4字节正整数存储坐标，其最大值为32位正整数所能表示的范围是21.4亿（2147483647），整数的范围称为空间域。在创建Geodatabase数据库时需要定义合适的比例系数。大的整数值将消耗大量的计算机物理内存，所以选定的比例系数最好不要大于必须的比例系数。空间域随坐标系的单位变化而变化。
比例系数和空间域之间成反比例关系，比例系数越大（存储单位越小），表达的空间域也越小。为了使目标数据都存储在系统中，需要谨慎地设置比例系数。将目标数据的宽度和高度较适中的数值乘以比例系数，如果结果小于21.4亿，则比例系数是合适的。
航空物探数据模型是为我国的航空物探行业数据建库设计的，它支持的空间数据的坐标范围为我国领土覆盖的海陆空间，最低纬度为赤道。根据概念设计的分析，航空物探数据模型采用的是地理坐标系，坐标系单位是度，基准是Beijing_1954，要求存储的坐标数据精度达到0.01 m。在赤道处，赤道圆周长为40075694.6 m，则每度弧长=40075694.6×100/360 cm=11132137.389 cm，即1 cm对应8.983000883E-8°。所以，航空物探数据模型的比例系数取为8.98E-8，即存储单位为8.98E-8°，可满足1 cm精度要求。
将空间域移动到目标数据范围之前，首先找到空间域在存储单位的中心位置，目的是在必要时向各个方向扩展。4字节正整数可表示的坐标范围：2147483647×8.98E-8=192.84°。我国的领土范围是东经70°～140°，北纬0°～60°。所以，选取的比例系数是合适的。把空间域坐标系中心定为90°，然后，计算空间域的Min X、Min Y。
航空物探信息系统建设
航空物探信息系统建设
所以坐标的存储数据是：
航空物探信息系统建设
航空物探信息系统建设
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）