hadoop课程设计

1. 大数据专业课程有哪些

首先我们要了解Java语言和Linux *** 作系统，这两个是学习大数据的基础，学习的顺序不分前后。

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。基础

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

记住学到这里可以作为你学大数据的一个节点。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以 *** 作它，因为它们都是用JVM的。

2. hadoop视频教程下载

其实这个课程讲的“微博”项目是《HBase in action》中的例子。其中的源代码都放在 github 上面。

3. 请问哪位有《深入浅出Hadoop实战开发》的视频教程

Hadoop是什么，为什么要学习Hadoop?

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop带有用Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。本课程的讲解是采用linux平台进行模拟讲解，完全基于真实场景进行模拟现实

亮点一:技术点全面,体系完善

本课程在兼顾Hadoop课程知识体系完善的前提下，把实际开发中应用最多、最深、最实用的技术抽取出来，通过本课程，你将达到技术的新高点，进入云计算的美好世界。在技术方面你将彻底掌握基本的Hadoop集群；Hadoop HDFS原理；Hadoop HDFS基本的命令；Namenode的工作机制；HDFS基本配置管理；MapRece原理； HBase的系统架构；HBase的表结构；HBase如何使用MapRece；MapRece高级编程；split的实现详解；Hive入门；Hive结合MapRece；Hadoop的集群安装等众多知识点。

亮点二:基础+实战=应用,兼顾学与练

课程每阶段都安排了实战应用项目,以此方便学生能更快的掌握知识点的应用，如在第一阶段,课程结合HDFS应用,讲解了图片服务器的设计、以及如何利用Java API去对HDFS *** 作、在第二阶段课程结合HBase实现微博项目的各种功能，使学员可以活学活用。在第三阶段:HBase和MapRece结合时下了实现话单查询与统计系统，在第四阶段，Hive实战部分，通过实战数据统计系统，使学员在最短的时间内掌握Hive的高级应用。

亮点三:讲师丰富的电信集团云平台运作经验

讲师robby拥有丰富的电信集团工作经验，目前负责云平台的各方面工作，并拥有多年的企业内部培训经验。讲课内容完全贴近企业需求，绝不纸上谈兵。

更多技术亮点参考课程大纲:（本大纲以章节形式命名要为防止某些章节1章节内容超过1课时)

第1章节:

>Hadoop背景

>HDFS设计目标

>HDFS不适合的场景

>HDFS架构详尽分析

>MapRece的基本原理

第2章节

>Hadoop的版本介绍

>安装单机版Hadoop

>安装Hadoop集群

第3章节

>HDFS命令行基本 *** 作

>Namenode的工作机制

>HDFS基本配置管理

第4章节

>HDFS应用实战：图片服务器(1) - 系统设计

>应用的环境搭建 php + bootstrap + java

>使用Hadoop Java API实现向HDFS写入文件

第5章节

>HDFS应用实战：图片服务器(2)

>使用Hadoop Java API实现读取HDFS中的文件

>使用Hadoop Java API实现获取HDFS目录列表

>使用Hadoop Java API实现删除HDFS中的文件

第6章节

>MapRece的基本原理

>MapRece的运行过程

>搭建MapRece的java开发环境

>使用MapRece的java接口实现WordCount

第7章节

>WordCount运算过程分析

>MapRece的biner

>使用MapRece实现数据去重

>使用MapRece实现数据排序

>使用MapRece实现数据平均成绩计算

第8章节

>HBase详细介绍

>HBase的系统架构

>HBase的表结构，RowKey，列族和时间戳

>HBase中的Master，Region以及Region Server

第9章节

>使用HBase实现微博应用（1）

>用户注册，登陆和注销的设计

>搭建环境 struts2 + jsp + bootstrap + jquery + HBase Java API

>HBase和用户相关的表结构设计

>用户注册的实现

第10章节

>使用HBase实现微博应用（2）

>使用session实现用户登录和注销

>“关注"功能的设计

>“关注"功能的表结构设计

>“关注"功能的实现

第11章节

>使用HBase实现微博应用（3）

>“发微博"功能的设计

>“发微博"功能的表结构设计

>“发微博"功能的实现

>展现整个应用的运行

第12章节

>HBase与MapRece介绍

>HBase如何使用MapRece

第13章节

>HBase应用实战：话单查询与统计（1）

>应用的整体设计

>开发环境搭建

>表结构设计

第14章节

>HBase应用实战：话单查询与统计（2）

>话单入库单设计与实现

>话单查询的设计与实现

第15章节

>HBase应用实战：话单查询与统计（3）

>统计功能设计

>统计功能实现

第16章节

>深入MapRece（1）

>split的实现详解

>自定义输入的实现

>实例讲解

第17章节

>深入MapRece（2）

>Rece的partition

>实例讲解

第18章节

>Hive入门

>安装Hive

>使用Hive向HDFS存入结构化数据

>Hive的基本使用

第19章节

>使用MySql作为Hive的元数据库

>Hive结合MapRece

第20章节

>Hive应用实战:数据统计（1）

>应用设计，表结构设计

第21章节

>Hive应用实战：数据统计（2）

>数据录入与统计的实现

4. 哪个课程题库有hadoop的题

这是在一个平衡Hadoop集群中，为数据节点/任务追踪器提供的规格：

在一个磁盘阵列中要有12到24个1~4TB硬盘

2个频率为2~2.5GHz的四核、六核或八核CPU

64~512GB的内存

有保障的千兆或万兆以太网（存储密度越大，需要的网络吞吐量越高）

名字节点角色负责协调集群上的数据存储，作业追踪器协调数据处理（备用的名字节点不应与集群中的名字节点共存，并且运行在与之相同的硬件环境上。）。Cloudera客户购买在RAID1或10配置上有足够功率和级磁盘数的商用机器来运行名字节点和作业追踪器。

NameNode也会直接需要与群集中的数据块的数量成比列的RAM。一个好的但不精确的规则是对于存储在分布式文件系统里面的每一个1百万的数据块，分配1GB的NameNode内存。于在一个群集里面的100个DataNodes而言，NameNode上的64GB的RAM提供了足够的空间来保证群集的增长。我们也把HA同时配置在NameNode和JobTracker上，

这里就是为NameNode／JobTracker／Standby NameNode节点群的技术细节。驱动器的数量或多或少，将取决于冗余数量的需要。

4–6 1TB 硬盘驱动器 采用 一个 JBOD 配置 (1个用于OS, 2个用于文件系统映像[RAID 1], 1个用于Apache ZooKeeper, 1个用于Journal节点)

2 4-/16-/8-核心 CPUs, 至少运行于 2-2.5GHz

64-128GB 随机存储器

Bonded Gigabit 以太网卡 or 10Gigabit 以太网卡

记住, 在思想上，Hadoop 体系设计为用于一种并行环境。

5. 大数据的课程都有哪些

大数据本身属于交叉学科，涵盖计算机、统计学、数学三个学科的专业知识。所以大数据的课程内容，基本上也是围绕着三个学科展开的。

数理统计方面：数学分析、统计学习、高等代数、离散数学、概率与统计等课程是基本配置。

计算机专业课程：数据结构、数据科学、程序设计、算法分析与设计、数据计算智能、数据库系统、计算机系统基础、并行体系结构与编程、非结构化大数据分析等，也是必备课程。

而想要真正找到工作的话，大数据主流技术框架，也要去补充起来，这才是找工作当中能够获得竞争力的加分项。

6. hadoop 集群教程

要教程？不明白你这个啥意思

7. 有哪些好的hadoop学习资料

1."Hadoop.Operations.pdf.zip"//vdisk.weibo/s/vDOQs6xMAQH62

2."Hadoop权威指南(中文版)(带书签).pdf"Hadoop权威指南(中文版)(带书签).pdf

3."[Hadoop权威指南(第2版)].pdf"[Hadoop权威指南(第2版)].pdf

4."hadoop权威指南第3版2012.rar"hadoop权威指南第3版2012.rar

5.《Hadoop技术内幕：深入解析HadoopCommon和HDFS.pdf"《Hadoop技术内幕：深入解析Hadoop Common和HDFS.pdf

6."Hadoop技术内幕：深入解析MapRece架构设计与实现原理.pdf"Hadoop技术内幕：深入解析MapRece架构设计与实现原理.pdf

7."Hadoop实战.pdf"Hadoop实战.pdf

8."Hadoop实战-陆嘉恒(高清完整版).pdf"Hadoop实战-陆嘉恒(高清完整版).pdf

9."Hadoop实战(第2版).pdf"Hadoop实战(第2版).pdf

10."HadoopinAction.pdf"Hadoop in Action.pdf

11"Hadoop in practice.pdf"Hadoop in practice.pdf

12"HadoopThe.Definitive.Guide,3Ed.pdf"Hadoop The.Definitive.Guide,3Ed.pdf

13."O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf"O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf

14."hadoop入门实战手册.pdf"hadoop入门实战手册.pdf

15."Hadoop入门手册.chm"Hadoop入门手册.chm

16."windows下配置cygwin、hadoop等并运行maprece及maprece程序讲解.doc"windows下配置cygwin、hadoop等并运行maprece及maprece程序讲解.doc

17"在Windows上安装Hadoop教程.pdf"在Windows上安装Hadoop教程.pdf

18."Hadoop源代码分析(完整版).pdf"Hadoop源代码分析(完整版).pdf

19."hadoop-api.CHM"hadoop-api.CHM

20."HBase-Hadoop@小米.pptx" HBase-Hadoop@小米.pptx

21."但彬-Hadoop平台的大数据整合.pdf"但彬-Hadoop平台的大数据整合.pdf

22."QCon2013-罗李-Hadoop在阿里.pdf"QCon2013-罗李

23."网络hadoop计算技术发展.pdf"网络hadoop计算技术发展.pdf

24."QCon-吴威-基于Hadoop的海量数据平台.pdf"QCon-吴威-基于Hadoop的海量数据平台.pdf

25."8步安装好你的hadoop.docx"8步安装好你的hadoop.docx

26."hadoop运维经验分享.ppsx"hadoop运维经验分享.ppsx

27."PPT集萃：20位Hadoop专家分享大数据技术工具与最佳实践.rar"PPT集萃：20位Hadoop专家分享大数据技术工具与最佳实践.rar

28."Hadoop2.0基本架构和发展趋势.pdf"Hadoop 2.0基本架构和发展趋势.pdf

29."Hadoop与大数据技术大会PPT资料.rar"Hadoop与大数据技术大会PPT资料.rar

30."Hadoop2011云计算大会.rar"Hadoop2011云计算大会.rar

设F是基本关系R的一个或一组属性，但不是关系R的码。如果F与基本关系S的主码Ks相对应，则称F是基本关系R的外码

基本关系R称为参照关系（Referencing Relation）

基本关系S称为被参照关系（Referenced Relation）或目标关系（Target Relation）

例如：学生关系的“专业号与专业关系的主码“专业号”相对应

“专业号”属性是学生关系的外码

专业关系是被参照关系，学生关系为参照关系

关系R和S不一定是不同的关系

目标关系S的主码Ks 和参照关系的外码F必须定义在同一个（或一组）域上

外码并不一定要与相应的主码同名

当外码与相应的主码属于不同关系时，往往取相同的名字，以便于识别

参照完整性规则

若属性（或属性组）F是基本关系R的外码它与基本关系S的主码Ks相对应（基本关系R和S不一定是不同的关系），则对于R中每个元组在F上的值必须为：

或者取空值（F的每个属性值均为空值）

或者等于S中某个元组的主码值

数据库的概念

什么是数据库呢?当人们从不同的角度来描述这一概念时就有不同的定义(当然是描述性的)。例如，称数据库是一个"记录保存系统"(该定义强调了数据库是若干记录的集合)。又如称数据库是"人们为解决特定的任务，以一定的组织方式存储在一起的相关的数据的集合"(该定义侧重于数据的组织)。更有甚者称数据库是"一个数据仓库"。当然，这种说法虽然形象，但并不严谨。严格地说，数据库是"按照数据结构来组织、存储和管理数据的仓库"。在经济管理的日常工作中，常常需要把某些相关的数据放进这样"仓库"，并根据管理的需要进行相应的处理。例如，企业或事业单位的人事部门常常要把本单位职工的基本情况(职工号、姓名、年龄、性别、籍贯、工资、简历等)存放在表20.6.3中，这张表就可以看成是一个数据库。有了这个"数据仓库"我们就可以根据需要随时查询某职工的基本情况，也可以查询工资在某个范围内的职工人数等等。这些工作如果都能在计算机上自动进行，那我们的人事管理就可以达到极高的水平。此外，在财务管理、仓库管理、生产管理中也需要建立众多的这种"数据库"，使其可以利用计算机实现财务、仓库、生产的自动化管理。

J.Martin给数据库下了一个比较完整的定义：数据库是存储在一起的相关数据的集合，这些数据是结构化的，无有害的或不必要的冗余，并为多种应用服务；数据的存储独立于使用它的程序；对数据库插入新数据，修改和检索原有数据均能按一种公用的和可控制的方式进行。当某个系统中存在结构上完全分开的若干个数据库时，则该系统包含一个"数据库集合"。

? 数据库的优点

使用数据库可以带来许多好处：如减少了数据的冗余度，从而大大地节省了数据的存储空间；实现数据资源的充分共享等等。此外，数据库技术还为用户提供了非常简便的使用手段使用户易于编写有关数据库应用程序。特别是近年来推出的微型计算机关系数据库管理系统dBASELL， *** 作直观，使用灵活，编程方便，环境适应广泛(一般的十六位机，如IBM/PC/XT，国产长城0520等均可运行种软件)，数据处理能力极强。数据库在我国正得到愈来愈广泛的应用，必将成为经济管理的有力工具。

数据库是通过数据库管理系统(DBMS-DATA BASE MANAGEMENT SYSTEM)软件来实现数据的存储、管理与使用的dBASELL就是一种数据库管理系统软件。

? 数据库结构与数据库种类

数据库通常分为层次式数据库、网络式数据库和关系式数据库三种。而不同的数据库是按不同的数据结构来联系和组织的。

1.数据结构模型

(1)数据结构

所谓数据结构是指数据的组织形式或数据之间的联系。如果用D表示数据，用R表示数据对象之间存在的关系集合，则将DS＝(D，R)称为数据结构。例如，设有一个电话号码簿，它记录了n个人的名字和相应的电话号码。为了方便地查找某人的电话号码，将人名和号码按字典顺序排列，并在名字的后面跟随着对应的电话号码。这样，若要查找某人的电话号码(假定他的名字的第一个字母是Y)，那么只须查找以Y开头的那些名字就可以了。该例中，数据的集合D就是人名和电话号码，它们之间的联系R就是按字典顺序的排列，其相应的数据结构就是DS＝(D，R)，即一个数组。

(2)数据结构种类

数据结构又分为数据的逻辑结构和数据的物理结构。数据的逻辑结构是从逻辑的角度(即数据间的联系和组织方式)来观察数据，分析数据，与数据的存储位置无关。数据的物理结构是指数据在计算机中存放的结构，即数据的逻辑结构在计算机中的实现形式，所以物理结构也被称为存储结构。本节只研究数据的逻辑结构，并将反映和实现数据联系的方法称为数据模型。

目前，比较流行的数据模型有三种，即按图论理论建立的层次结构模型和网状结构模型以及按关系理论建立的关系结构模型。

2.层次、网状和关系数据库系统

(1)层次结构模型

层次结构模型实质上是一种有根结点的定向有序树(在数学中"树"被定义为一个无回的连通图)。例如图20.6.4是一个高等学校的组织结构图。这个组织结构图像一棵树，校部就是树根(称为根结点)，各系、专业、教师、学生等为枝点(称为结点)，树根与枝点之间的联系称为边，树根与边之比为1:N，即树根只有一个，树枝有N个。这种数据结构模型的一般结构见图20.6.5所示。

图20.6.4 高等学校的组织结构图 图20.6.5 层次结构模型

图20.6.5中，Ri(i＝1，2，…6)代表记录(即数据的集合)，其中R1就是根结点(如果Ri看成是一个家族，则R1就是祖先，它是R2、R3、R4的双亲，而R2、R3、R4互为兄弟)，R5、R6也是兄弟，且其双亲为R3。R2、R4、R5、R6又被称为叶结点(即无子女的结点)。这样，Ri(i＝1，2，…6)就组成了以R1为树根的一棵树，这就是一个层次数据结构模型。

按照层次模型建立的数据库系统称为层次模型数据库系统。IMS(Information Manage-mentSystem)是其典型代表。

(2)网状结构模型?

在图20.6.6中，给出了某医院医生、病房和病人之间的联系。即每个医生负责治疗三个病人，每个病房可住一到四个病人。如果将医生看成是一个数据集合，病人和病房分别是另外两个数据集合，那么医生、病人和病房的比例关系就是M:N:P(即M个医生，N个病人，P间病房)。这种数据结构就是网状数据结构，它的一般结构模型如图20.6.7所示。在图中，记录Ri(i＝1，2，8)满足以下条件：

①可以有一个以上的结点无双亲(如R1、R2、R3)。

②至少有一个结点有多于一个以上的双亲。在"医生、病人、病房"例中，"医生集合有若干个结点(M个医生结点)无"双亲"，而"病房"集合有P个结点(即病房)，并有一个以上的"双亲"(即病人)。

图20.6.6 医生、病房和病人之间的关系

图20.6.7 网状结构模型

按照网状数据结构建立的数据库系统称为网状数据库系统，其典型代表是DBTG(Data Base Task Group)。用数学方法可将网状数据结构转化为层次数据结构。

(3)关系结构模型

关系式数据结构把一些复杂的数据结构归结为简单的二元关系(即二维表格形式)。例如某单位的职工关系就是一个二元关系(见表20.6.8)。这个四行六列的表格的每一列称为一个字段(即属性)，字段名相当于标题栏中的标题(属性名称)；表的每一行是包含了六个属性(工号、姓名、年龄、性别、职务、工资)的一个六元组，即一个人的记录。这个表格清晰地反映出该单位职工的基本情况。

表20.6.8 职工基本情况

通常一个m行、n列的二维表格的结构如表20.6.9所示。

表中每一行表示一个记录值，每一列表示一个属性(即字段或数据项)。该表一共有m个记录。每个记录包含n个属性。

作为一个关系的二维表，必须满足以下条件：

(1)表中每一列必须是基本数据项(即不可再分解)。

(2)表中每一列必须具有相同的数据类型(例如字符型或数值型)。

(3)表中每一列的名字必须是唯一的。

(4)表中不应有内容完全相同的行。

(5)行的顺序与列的顺序不影响表格中所表示的信息的含义。

由关系数据结构组成的数据库系统被称为关系数据库系统。

在关系数据库中，对数据的 *** 作几乎全部建立在一个或多个关系表格上，通过对这些关系表格的分类、合并、连接或选取等运算来实现数据的管理。dBASEII就是这类数据库管理系统的典型代表。对于一个实际的应用问题(如人事管理问题)，有时需要多个关系才能实现。用dBASEII建立起来的一个关系称为一个数据库(或称数据库文件)，而把对应多个关系建立起来的多个数据库称为数据库系统。dBASEII的另一个重要功能是通过建立命令文件来实现对数据库的使用和管理，对于一个数据库系统相应的命令序列文件，称为该数据库的应用系统。因此，可以概括地说，一个关系称为一个数据库，若干个数据库可以构成一个数据库系统。数据库系统可以派生出各种不同类型的辅助文件和建立它的应用系统。

? 数据库的要求与特性

为了使各种类型的数据库系统能够充分发挥它们的优越性，必须对数据库管理系统的使用提出一些明确的要求。

1.建立数据库文件的要求

(1)尽量减少数据的重复，使数据具有最小的冗余度。计算机早期应用中的文件管理系统，由于数据文件是用户各自建立的，几个用户即使有许多相同的数据也得放在各自的文件中，因而造成存储的数据大量重复，浪费存储空间。数据库技术正是为了克服这一缺点而出现的，所以在组织数据的存储时应避免出现冗余。

(2)提高数据的利用率，使众多用户都能共享数据资源。

(3)注意保持数据的完整性。这对某些需要历史数据来进行预测、决策的部门(如统计局、银行等)特别重要。

(4)注意同一数据描述方法的一致性，使数据 *** 作不致发生混乱。如一个人的学历在人事档案中是大学毕业，而在科技档案中却是大学程度，这样就容易造成混乱。

(5)对于某些需要保密的数据，必须增设保密措施。

(6)数据的查找率高，根据需要数据应能被及时维护。

2.数据库文件的特征

无论使用哪一种数据库管理系统，由它们所建立的数据库文件都可以看成是具有相同性质的记录的集合，因而这些数据库文件都有相同的特性：

(1)文件的记录格式相同，长度相等。

(2)不同的行是不同的记录，因而具有不同的内容。

(3)不同的列表示不同的字段名，同一列中的数据的性质(属性)相同。

(4)每一行各列的内容是不能分割的，但行的顺序和列的顺序不影响文件内容的表达。

3.文件的分类

对文件引用最多的是主文件和事物文件。其他的文件分类还包括表文件、备份文件、档案的输出文件等。下面将讲述这些文件。

(1)主文件。主文件是某特定应用领域的永久性的数据资源。主文件包含那些被定期存取以提供信息和经常更新以反映最新状态的记录。典型的主文件有库存文件、职工主文件和收帐主文件等。

(2)事务文件。事务文件包含着作为一个信息系统的数据活动(事务)的那些记录。这些事务被分批以构成事务文件。例如，从每周工资卡上录制下来的数分批存放在一个事务文件上，然后对照工资清单文件进行处理以便打印出工资支票和工资记录簿。

(3)表文件。表文件是一些表格。之所以单独建立表文件而不把表设计在程序中是为了便于修改。例如，一个公用事业公司的税率表或国内税务局的税率就可以存储在表中文件。

(4)备用文件。备用文件是现有生产性文件的一个复制品。一旦生产性文件受到破坏，利用备用文件就可以重新建立生产性文件。

(5)档案文件。档案文件不是提供当前处理使用的，而是保存起来作为历史参照的。例如，国内税务局(IRS)可能要求检查某个人最近15年的历史。实际上，档案文件恰恰是在给定时间内工作的一个"快照"。

(6)输出文件。输出文件包含将要打印在打印机上的、显在屏幕上的或者绘制在绘图仪上的那些信息的数值映象。输出文件可以是"假脱机的"(存储在辅存设备上)，当输出设备可

用时才进行实际的输出。

---