数据库开发工具的发展大致经历了哪四个主要阶段

数据库开发工具的发展大致经历了哪四个主要阶段,第1张

一、数据技术的历史和发展

数据库技术是本世纪60年代开始兴起的一门信息管理自动化的新兴学科,是计算机科学中的

一个重要分支。随着计算机应用的不断发展,在计算机应用领域中,数据处理越来越占主导

地位,数据库技术的应用也越来越广泛。

数据库是数据管理的产物。数据管理是数据库的核心任务,内容包括对数据的分类、组织、

编码、储存、检索和维护。随着计算机硬件和软件的发展,数据库技术也不断地发展。从数据

管理的角度看,数据库技术到目前共经历了人工管理阶段、文件系统阶段和数据库系统阶段。 A人工管理阶段 人工管理阶段是指计算机诞生的初期(即20世纪50年代后期之前),这个时期的计算机主要用

于科学计算。从硬件看,没有磁盘等直接存取的存储设备;从软件看,没有 *** 作系统和管理

数据的软件,数据处理方式是批处理。 这个时期数据管理的特点是:

1 数据不保存

该时期的计算机主要应用于科学计算,一般不需要将数据长期保存,只是在计算某一课题

时将数据输入,用完后不保存原始数据,也不保存计算结果。

2 没有对数据进行管理的软件系统

程序员不仅要规定数据的逻辑结构,而且还要在程序中设计物理结构,包括存储结构、存

取方法、输入输出方式等。因此程序中存取数据的子程序随着存储的改变而改变,数据与

程序不具有一致性。

3 没有文件的概念

数据的组织方式必须由程序员自行设计。

4 一组数据对应于一个程序,数据是面向应用的

即使两个程序用到相同的数据,也必须各自定义、各自组织,数据无法共享、无法相互利

用和互相参照,从而导致程序和程序之间有大量重复的数据。 B文件系统阶段 文件系统阶段是指计算机不仅用于科学计算,而且还大量用于管理数据的阶段(从50年代后

期到60年代中期)。在硬件方面,外存储器有了磁盘、磁鼓等直接存取的存储设备。在软件

方面, *** 作系统中已经有了专门用于管理数据的软件,称为文件系统。 这个时期数据管理的特点是: 1 数据需要长期保存在外存上供反复使用 由于计算机大量用于数据处理,经常对文件进行查询、修改、插入和删除等 *** 作,所以数

据需要长期保留,以便于反复 *** 作。 2 程序之间有了一定的独立性 *** 作系统提供了文件管理功能和访问文件的存取方法,程序和数据之间有了数据存取的接

口,程序可以通过文件名和数据打交道,不必再寻找数据的物理存放位置,至此,数据有

了物理结构和逻辑结构的区别,但此时程序和数据之间的独立性尚还不充分。 3 文件的形式已经多样化 由于已经有了直接存取的存储设备,文件也就不再局限于顺序文件,还有了索引文件、链

表文件等,因而,对文件的访问可以是顺序访问,也可以是直接访问。 4 数据的存取基本上以记录为单位 C数据库系统阶段 数据库系统阶段是从60年代后期开始的。在这一阶段中,数据库中的数据不再是面向某个应

用或某个程序,而是面向整个企业(组织)或整个应用的。 数据库系统阶段的特点是: 1 采用复杂的结构化的数据模型 数据库系统不仅要描述数据本身,还要描述数据之间的联系。这种联系是通过存取路径来

实现的。 2 较高的数据独立性 数据和程序彼此独立,数据存储结构的变化尽量不影响用户程序的使用。 3 最低的冗余度 数据库系统中的重复数据被减少到最低程度,这样,在有限的存储空间内可以存放更多的

数据并减少存取时间。 4 数据控制功能 数据库系统具有数据的安全性,以防止数据的丢失和被非法使用;具有数据的完整性,以

保护数据的正确、有效和相容;具有数据的并发控制,避免并发程序之间的相互干扰;具

有数据的恢复功能,在数据库被破坏或数据不可靠时,系统有能力把数据库恢复到最近某

个时刻的正确状态。二、三代数据库系统的发展 数据模型是数据库系统的核心。按照数据模型发展的主线,数据库技术的形成过程和发展可从

以下三个方面反映: A 第一代数据库系统 层次和网状数据库管理系统 层次和网状数据库的代表产品是IBM公司在1969年研制出的层次模型数据库管理系统。层次

数据库是数据库系统的先驱,而网状数据库则是数据库概念、方法、技术的奠基。 B 第二代数据库系统 关系数据库管理系统(RDBMS) 1970年,IBM公司的研究员EFCodd在题为《大型共享数据库数据的关系模型》的论文中提

出了数据库的关系模型,为关系数据库技术奠定了理论基础。到了80年代,几乎所有新开发

的数据库系统都是关系型的。 真正使得关系数据库技术实用化的关键人物是James Gray。Gray在解决如何保障数据的完整

性、安全性、并发性以及数据库的故障恢复能力等重大技术问题方面发挥了关键作用。 关系数据库系统的出现,促进了数据库的小型化和普及化,使得在微型机上配置数据库系统成

为可能。 C 新一代数据库技术的研究和发展 目前已从多方面发展了现行的数据库系统技术。我们可以从数据模型、新技术内容、应用领

域三个方面概括新一代数据库系统的发展。 (1) 面向对象的方法和技术对数据库发展的影响最为深远 80年代,面向对象的方法和技术的出现,对计算机各个领域,包括程序设计语言、软件工程、

信息系统设计以及计算机硬件设备等都产生了深远的影响,也给面临新挑战的数据库技术带

来了新的机遇和希望。数据库研究人员借鉴和吸收了面向对象的方法和技术,提出了面向对

象的数据库模型(简称对象模型)。当前有许多研究是建立在数据库已有的成果和技术上的,

针对不同的应用,对传统的DBMS,主要是RDBMS进行不同层次上的扩充,例如建立对象关

系(OR)模型和建立对象关系数据库(ORDB)。 (2) 数据库技术与多学科技术的有机结合 数据库技术与多学科技术的有机结合是当前数据库发展的重要特征。计算机领域中其他新兴

技术的发展对数据库技术产生了重大影响。传统的数据库技术和其他计算机技术的结合、互

相渗透,使数据库中新的技术内容层出不穷。数据库的许多概念、技术内容、应用领域,甚

至某些原理都有了重大的发展和变化。建立和实现了一系列新型的数据库,如分布式数据库、

并行数据库、演绎数据库、知识库、多媒体库、移动数据库等,它们共同构成了数据库大家

族。 (3) 面向专门应用领域的数据库技术的研究 为了适应数据库应用多元化的要求,在传统数据库基础上,结合各个专门应用领域的特点,

研究适合该应用领域的数据库技术,如工程数据库、统计数据库、科学数据库、空间数据库、

地理数据库、Web数据库等,这是当前数据库技术发展的又一重要特征。 同时,数据库系统结构也由主机/终端的集中式结构发展到网络环境的分布式结构,随后又发

展成两层、三层或多层客户/服务器结构以及Internet环境下的浏览器/服务器和移动环境下的

动态结构。多种数据库结构满足了不同应用的需求,适应了不同的应用环境。

数据库的未来发展趋势可以总结为以下四点:

1产品架构与技术创新:云原生 + 分布式 ( d性、高可用 )。架构上分布式共享 存储、存储计算分离,云原生架构 +Shared Nothing 分布式架构,满足d性、 高可用、水平拓展的能力。

2数据挑战:多模,结构化与非结构化数据 ( 多源异构数据 )。结构化与非结构化 数据如何融合异构处理,比如数据湖的概念、ADB 里面用向量处理引擎把非 结构化数据变成结构化数据,高维向量、多源异构数据处理的技术。

3数据处理与分析:海量数据分析在线化 ( 实时在线交互式分析 )。如何对海量数 据进行在线分析和计算,支持实时在线交互式分析,需要做并行处理(DSP 模 型、MPP 模型等等),对并行调度计算进行优化。

4系统能力提升:智能化 + 安全 ( 使用方便可靠、运维简易 )。如在管控平台的 层面如何做智能化的调度、监控以及自动修复,怎样去做数据的安全处理、隐 私保护、加密处理等等,使得整个数据库的使用更加方便可靠、运维简易。

进入信息化市场,数据库的重要性日益凸显,目前数据库主要分为数据库产品、数据库服务和数据库支撑体系。我国数据库产品以关系型为主,非关系型数据库以键值型数据库为主。

金融、电信、政务、制造和互联网为我国数据库应用最为广泛的领域,但是它们的应用特点各不相同。未来,在企业崛起、国家利好政策和资本关注等因素推动下,我国数据库行业市场规模有望接近7百亿元。

本文核心数据:数据库产品分布、数据库市场规模

数据库主要分为三大类

在信息化时代,数据库已经逐渐应用于各行各业。数据库主要分为三大类:数据库产品、数据库服务和数据库支撑体系。

数据库产品主要由关系型数据库、非关系型数据库、混合型数据库及数据库周边工具构成。

数据库服务是指围绕数据库的咨询规划、实施部署和运维运营等环节,为数据库系统的正常、高效、持续、安全使用提供信息技术服务工作。

数据库支撑体系由从事数据库学术研究、人才培养、开源社区、评测认证等工作的相关主体共同构成。

数据库产品以关系型为主,非关系型数据库以键值型数据库为主

目前,我国数据库产品主要以关系型为主,非关系型及混合型数据库较少。截止2021年6月,我国关系型数据库共有81个,非关系型数据库共有54个。在非关系型数据库中,键值型数据库占比最高,占非关系型数据库的926%。

五大行业应用较广,应用特点各不相同

在我国,金融、电信、政务、制造和互联网为我国数据库应用最为广泛的领域,但是它们的应用特点各不相同,金融、电信的IT监管环境较为严格、数据业务较为复杂、核心数据业务呈现“强事务”的特点,而对成本敏感度较低。与之相反的是,互联网领域对IT监管环境较弱,但是对成本敏感度较高。

市场规模有望接近7百亿元

虽然目前我国数据库较欧美国家发展规模较小,2020年我国数据库市场规模约占全球数据库市场规模的52%,约为2409亿元。

但是,随着我国浙江智臾、涛思数据等为代表的时序数据库企业不断涌现,同时得到政策政策以及资本关注,我国数据库行业有望迎来新一轮的增长,2025年我国数据库市场规模有望接近7百亿元。

OceanBase 40重新审视数据库与分布式系统两个领域最基础的设计,全新推出业内首个单机分布式一体化架构。在单机部署时,自适应日志流技术将只触发一个日志流,用户 *** 作不需要分布式事务,不损失性能。需要分布式部署时,自适应日志流技术将会为每台机器触发专属的日志流。实现多机性能自动扩展。可以说OceanBase 40打破了分布式技术的不可能,实现了首个单机分布式体化架构,真正做到可以像单机数据库一样使用。

针对这一现状,有这么一群人从开始放弃了在互联网大厂的高薪工作,历经十余年在分布式数据库的深耕取得了一个又一个突破。从0到1开创原生分布式数据库,坚持自主研发,坚持长期主义,坚持开放,从根本上去解决海量数据管理的问题。历经12年时间,OceanBase40通过海量的业务场景打磨,产品不断选代,使用成本得到极大降低,部署更加便捷。OceanBase40开启了国产数据库新的里程碑。可单机可分布,可大可小,跟火影忍者一样,可合体可分散。

一、十年积累,厚积薄发:OceanBase发展回顾

在科技互联网时代,芯片和 *** 作系统是大家熟知的技术高峰,而数据库由于概念难懂,大众对其认知并不深刻。实际上数据库在我们的生产和生活中发挥着重要的作用,大到银行要存放所有客户的信息,小到我们身边的一个小超市要存储每件商品的信息,这些都离不开数据库在背后作为支撑。然而,国内企业的数据库大多数都是采用国外的Oracle和IBM的传统关系型数据库,仅Oracle一家在全球市场占据了超过50%的份额。根据科技日报发布的制约我国工业发展的35项技术中,数据库管理系统名列其中,由此可见数据库也是我国亟待解决得“卡脖子”技术之一。

二、曾经的分布式。是为了处理海量业务场景应运而生

面对当今数据爆炸的时代,数据库是实现海量数据管理最核心的底座。以OceanBase为代表的分布式数据库的应运而生有着其强大的时代背景。首先是数据需求鼓励升级,移动支付和大数据带来的数据体量增长和数据形态变化,要求数据库底层能够处理选代升级的新技术。随着国内信息终端规模的扩大和网上购物的高覆盖率给数据库发展提供了沃土,反过来要求数据库具备处理海量业务的能力。还有一点值得一提的是各监管机构、政策制定方均重点布局针对数据库分布式转型、应用创新战略重点行业用户逐步增强数据库应用创新意识,防范潜在安全风险,这进一步标志着分布式数据库的产业持续壮大。

三、而现如今的单机分布式一体化架构,引领行业发展

一个产品雄厚的技术实力是必不可少的支撑,但是最终还是要面向客户需求的。Oceanbase40真正实现在单机性能、灵活性,成本和故障恢复等方面全面的突破。可以说OceanBase40开启了国产数据库新的里程碑。可单机部署,可分布,可大可小,可扩容可缩容

一个产品雄厚的技术实力是必不可少的支撑,但是最终还是要面向客户需求的。我们国家的一大特点就是中小企业特比多。那么针对这种情况,可单机可分布,可大可小,可合体可分散的特性就非常便于中小企业的灵活部署。在以往使用传统分布式数据库为实现分布式特性,往往付出很多额外的代价,使得业务在仅需要单机部署时,功能和性能大打折扣。典型场景如在业务修改的数据仅涉及到单机时,仍需要付出分布式事务的开销,导致整体性能低下。或无法支持大事务,业务使用场景受限等。

与oracle等国外数据库相比,没有大的技术创新,也不会出现弯道技术上的超车。 最大的贡献:越来越普遍。 不要小看“一般”这个词,它代表了一个公司的技术能力、质量体系、服务能力都达到了很高的水平。 也可以逐步服务于各行业的一些核心业务。 综上所述,这个领域的中国人在路上。 从技术上讲,这并不意味着国产数据库一定落后很多。 国内数据库的重点是先服务国内重要客户,先蚕食国外数据库的市场,从而拥有主动权和话语权。 现在是什么阶段,就像过去一样,国产手机正在逐渐赶超国外手机厂商。 现在,你可以先用小米一代。 来日本久一点吧。

在成本上比传统数据库低50-70%大大降低中小企业的替换成本近年来数字经济迅猛发展,中小企业更加迫切的需要进行数字化转型。如何降低数字化进程中的成本,不仅是中小企业考虑的重要问题,也是OceanBase力求达到的目的。基于LSM-Tree的高压缩引擎,OceanBase 40实现存储成本降低70%-90%;以支付宝为例,用OceanBase原生分布式数据库替代Oracle数据库之后,单副本数据可以做到Oracle的1/7,其计算资源投入也降低为原来的1/12,相比Oracle,仅存储一项,相比Oracle节省存储成本约20亿元,相当于每账户成本节省了90%。

首次将故障恢复时间从30秒降低到8秒现在的数据中心对业务的连续性有苛刻要求,但是故障往往是不可避免的。一旦发生了故障就需要启动备份机制,确保业务的连续性。OceanBase40首次实现了RTO<8s,真正将故障恢复时间从分钟级(30s)降低到秒级(8s),帮助业务系统更快恢复,最大程度减少业务影响,给业务带来持续可用的能力。

我们的数据库市场长期被国外主流品牌垄断,从国内数据库发展现状看,主要有三方面的挑战:

一、很多产品缺少实实在在的应用场景的打磨,产品性能方面的市场验证可能略显不足;

二、我们没有国外数据库品牌多年的积累,在生态人才的培养积累上也有所缺失;

三、还有一点可能是我们要深思的,相比国外主流品牌的数据库产品,我们到底要做什么样的数据库产品,能不能找到自己清晰的市场定位,找到弯道超车的机会。

AntDB是经历14年通信市场验证的数据库产品,服务10亿多用户,峰值每秒处理百万笔通信核心交易,14年来产品一直平稳运行。

从我们自身产品的发展历程来看,要应对这三个方面的挑战,我们一定要有自己的技术队伍,站在应用的角度,去选择产品发展创新的路径,做出差异化。

从这个角度说,我们要在做好与国内外主流数据库语法兼容的基础上,给自己的产品赋予新的能力,从我们自身来说,超融合就是AntDB正在打造的新能力。

以上就是关于数据库开发工具的发展大致经历了哪四个主要阶段全部的内容,包括:数据库开发工具的发展大致经历了哪四个主要阶段、数据库未来的发展趋势有并行化吗、数据库的发展前景怎么样等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/9637150.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-30
下一篇2023-04-30

发表评论

登录后才能评论

评论列表(0条)

    保存