
DBA的职责主要(这里说的是主要)有三
(1)维护数据库正常运行。
真实案例:某朋友公司数据库宕机后,启动不了,朋友不是专业DBA忙活了一天,还是启动不起来,专业DBA从了解情况到解决问题用了不到3个小时,数据库能启动运行了。
(2)数据库有效的运行
真实案例:某次数据库升级(不是数据库软件升级是二次开发升级)后,数据不能正常入库,DBA初期认为是个别事件,后来连续有三个相同的问题出现,维护DBA判断是升级包的问题,停止了升级,然后排查相应问题,最后断定是升级包中的过程变化问题,并反馈给开发组,开发组连夜修改并重发升级包,如果DBA没有即使的发现和定位问题,那么数据库就不能有效的运行。
(3)数据库管理
真实案例:“我要一个能查询某张表的权限,行不行?”——权限管理。“我需要申请存储空间,行不行?”——空间管理,“我需要一个新的用户,行不行?”——用户管理,数据库备份(什么时候备份,怎么备份,保留几天,需要时怎么恢复)——备份管理,以及集群管理(保证数据库集群程序正常运行);程序管理(比如oracle的数据库监听程序正常运行),排错(数据库也是程序也会有相应的错误,需要找他解决它)等等。这里涉及的内容大部分都是数据库的正常维护工作,以及部分开发维护工作,这也是DBA的日常工作。
不过作为一个DBA最重要的是前两项,如果数据库不能正常的运行,那么就不要提什么有效的运行,如果数据库不能有效的运行,那么就无从谈起数据库管理。
在数据库管理后,可能DBA还要做一些比如数据库优化,审查等等工作,在国内DBA还要写存储过程,不过个人认为最主要的就是前面这三项。只要这三项做好了,虽然不一定能算得上优秀的DBA,但是合格是没有问题的。
分布式数据库系统分布式数据库系统有两种:一种是物理上分布的,但逻辑上却是集中的。这种分布式数据库只适宜用途比较单一的、不大的单位或部门。另一种分布式数据库系统在物理上和逻辑上都是分布的,也就是所谓联邦式分布数据库系统。由于组成联邦的各个子数据库系统是相对“自治”的,这种系统可以容纳多种不同用途的、差异较大的数据库,比较适宜于大范围内数据库的集成。
----- ----
分布式数据库系统(DDBS)包含分布式数据库管理系统(DDBMS)和分布式数据库(DDB)。在分布式数据库系统中,一个应用程序可以对数据库进行透明 *** 作,数据库中的数据分别在不同的局部数据库中存储、由不同的 DBMS进行管理、在不同的机器上运行、由不同的 *** 作系统支持、被不同的通信网络连接在一起。
一个分布式数据库在逻辑上是一个统一的整体,在物理上则是分别存储在不同的物理节点上。一个应用程序通过网络的连接可以访问分布在不同地理位置的数据库。它的分布性表现在数据库中的数据不是存储在同一场地。 更确切地讲,不存储在同一计算机的存储设备上。 这就是与集中式数据库的区别。从用户的角度看,一个分布式数据库系统在逻辑上和集中式数据库系统一样,用户可以在任何一个场地执行全局应用。就好那些数据是存储在同一台计算机上,有单个数据库管理系统(DBMS)管理一样,用户并没有什么感觉不一样。
分布式数据库系统是在集中式数据库系统的基础上发展起来的,是计算机技术和网络技术结合的产物。分布式数据库系统适合于单位分散的部门,允许各个部门将其常用的数据存储在本地,实施就地存放本地使用,从而提高响应速度,降低通信费用。分布式数据库系统与集中式数据库系统相比具有可扩展性,通过增加适当的数据冗余,提高系统的可靠性。在集中式数据库中,尽量减少冗余度是系统目标之一.其原因是,冗余数据浪费存储空间,而且容易造成各副本之间的不一致性.而为了保证数据的一致性,系统要付出一定的维护代价.减少冗余度的目标是用数据共享来达到的。而在分布式数据库中却希望增加冗余数据,在不同的场地存储同一数据的多个副本,其原因是:①.提高系统的可靠性、可用性当某一场地出现故障时,系统可以对另一场地上的相同副本进行 *** 作,不会因一处故障而造成整个系统的瘫痪。②.提高系统性能系统可以根据距离选择离用户最近的数据副本进行 *** 作,减少通信代价,改善整个系统的性能。
分布式数据库具有以下几个特点:
(1)、数据独立性与位置透明性。数据独立性是数据库方法追求的主要目标之一,分布透明性指用户不必关心数据的逻辑分区,不必关心数据物理位置分布的细节,也不必关心重复副本(冗余数据)的一致性问题,同时也不必关心局部场地上数据库支持哪种数据模型.分布透明性的优点是很明显的.有了分布透明性,用户的应用程序书写起来就如同数据没有分布一样.当数据从一个场地移到另一个场地时不必改写应用程序.当增加某些数据的重复副本时也不必改写应用程序.数据分布的信息由系统存储在数据字典中.用户对非本地数据的访问请求由系统根据数据字典予以解释、转换、传送.
(2)、集中和节点自治相结合。数据库是用户共享的资源.在集中式数据库中,为了保证数据库的安全性和完整性,对共享数据库的控制是集中的,并设有DBA负责监督和维护系统的正常运行.在分布式数据库中,数据的共享有两个层次:一是局部共享,即在局部数据库中存储局部场地上各用户的共享数据.这些数据是本场地用户常用的.二是全局共享,即在分布式数据库的各个场地也存储可供网中其它场地的用户共享的数据,支持系统中的全局应用.因此,相应的控制结构也具有两个层次:集中和自治.分布式数据库系统常常采用集中和自治相结合的控制结构,各局部的DBMS可以独立地管理局部数据库,具有自治的功能.同时,系统又设有集中控制机制,协调各局部DBMS的工作,执行全局应用。当然,不同的系统集中和自治的程度不尽相同.有些系统高度自治,连全局应用事务的协调也由局部DBMS、局部DBA共同承担而不要集中控制,不设全局DBA,有些系统则集中控制程度较高,场地自治功能较弱。
(3)、支持全局数据库的一致性和和可恢复性。分布式数据库中各局部数据库应满足集中式数据库的一致性、可串行性和可恢复性。除此以外还应保证数据库的全局一致性、并行 *** 作的可串行性和系统的全局可恢复性。这是因为全局应用要涉及两个以上结点的数据.因此在分布式数据库系统中一个业务可能由不同场地上的 多个 *** 作组成.例如, 银行转帐业务包括两个结点上的更新 *** 作。这样,当其中某一个结点出现故障 *** 作失败后如何使全局业务滚回呢?如何使另一个结点撤销已执行的 *** 作(若 *** 作已完成或完成一部分)或者不必再执行业务的其它 *** 作(若 *** 作尚没执行)?这些技术要比集中式数据库复杂和困难得多,分布式数据库系统必须解决这些问题.
(4)、复制透明性。用户不用关心数据库在网络中各个节点的复制情况,被复制的数据的更新都由系统自动完成。在分布式数据库系统中,可以把一个场地的数据复制到其他场地存放,应用程序可以使用复制到本地的数据在本地完成分布式 *** 作,避免通过网络传输数据,提高了系统的运行和查询效率。但是对于复制数据的更新 *** 作,就要涉及到对所有复制数据的更新。
(5)、易于扩展性。在大多数网络环境中,单个数据库服务器最终会不满足使用。如果服务器软件支持透明的水平扩展,那么就可以增加多个服务器来进一步分布数据和分担处理任务。
分布式数据库的优点:
(1)具有灵活的体系结构 。
(2)适应分布式的管理和控制机构。
(3)经济性能优越 。
(4)系统的可靠性高、可用性好 。
(5)局部应用的响应速度快。
(6)可扩展性好,易于集成现有系统。
分布式数据库的缺点:
(1)系统开销大,主要花在通信部分。
(2)复杂的存取结构,原来在集中式系统中有效存取数据的技术,在分成式系统中都不再适用。
(3)数据的安全生和保密性较难处理。
分布式数据库系统的目标
分布式数据库系统的目标,也就是研制分布式数据库系统的目的、动机,主要包括技术和组织两方面的目标.
1.适应部门分布的组织结构,降低费用。
使用数据库的单位在组织上常常是分布的(如分为部门、科室、车间等等),在地理上也是分布的.分布式数据库系统的结构符合部门分布的组织结构,允许各个部门对自己常用的数据存储在本地,在本地录入、查询、维护,实行局部控制.由于计算机资源靠近用户,因而可以降低通信代价,提高响应速度,使这些部门使用数据库更方便更经济。
2.提高系统的可靠性和可用性。
改善系统的可靠性和可用性是分布式数据库的主要目标.将数据分布于多个场地,并增加适当的冗余度可以提供更好的可靠性.一些可靠性要求较高的系统,这一点尤其重要.因为一个地出了故障不会引起整个系统崩溃.因为故障场地的用户可以通过其它场地进入系统.而其它场地的用户可以由系统自动选择存取路径,避开故障场地,利用其它数据副本执行 *** 作,不影响业务的正常运行.
3.充分利用数据库资源,提高现有集中式数据库的利用率
当在一个大企业或大部门中已建成了若干个数据库之后,为了利用相互的资源,为了开发全局应用,就要研制分布式数据库系统.这种情况可称为自底向上的建立分布式系统.这种方法虽然也要对各现存的局部数据库系统做某些改动、重构,但比起把这些数据库集中起来重建一个集中式数据库,则无论从经济上还是从组织上考虑,分布式数据库均是较好的选择.
4.逐步扩展处理能力和系统规模
当一个单位规模扩大要增加新的部门(如银行系统增加新的分行,工厂增加新的科室、车间)时,分布式数据库系统的结构为扩展系统的处理能力提供了较好的途径:在分布式数据库系统中增加一个新的结点.这样做比在集中式系统中扩大系统规模要方便、灵活、经济得多。
在集中式系统中为了扩大规模常用的方法有两种:一种是在开始设计时留有较大的余地.这容易造成浪费,而且由于预测困难,设计结果仍可能不适应情况的变化.另一种方法是系统升级,这会影响现有应用的正常运行.并且当升级涉及不兼容的硬件或系统软件有了重大修改而要相应地修改已开发的应用软件时,升级的代价就十分昂贵而常常使得升级的方法不可行.分布式数据库系统能方便地把一个新的结点纳入系统,不影响现有系统的结构和系统的正常运行,提供了逐渐扩展系统能力的较好途径,有时甚至是唯一的途径。
①数据库系统与应用 赵致格编著 清华大学出版社p 260
②数据库原理及应用 张晋连 编著 电子工业出版社P13
大数据技术的体系庞大且复杂,基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等。
1、数据采集与预处理:FlumeNG实时日志收集系统,支持在日志系统中定制各类数据发送方,用于收集数据;Zookeeper是一个分布式的,开放源码的分布式应用程序协调服务,提供数据同步服务。
2、数据存储:Hadoop作为一个开源的框架,专为离线和大规模数据分析而设计,HDFS作为其核心的存储引擎,已被广泛用于数据存储。HBase,是一个分布式的、面向列的开源数据库,可以认为是hdfs的封装,本质是数据存储、NoSQL数据库。
3、数据清洗:MapReduce作为Hadoop的查询引擎,用于大规模数据集的并行计算。
4、数据查询分析:Hive的核心工作就是把SQL语句翻译成MR程序,可以将结构化的数据映射为一张数据库表,并提供HQL(HiveSQL)查询功能。Spark启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
5、数据可视化:对接一些BI平台,将分析得到的数据进行可视化,用于指导决策服务。
您好:
提供一些参考,有些不是最新的。
Oracle:
认证有OCA、OCP、OCM。
OCA(Oracle Certified Associate),是入门级别的资格证书;
OCP(Oracle Certified Professionals),是专业证书;
OCM(Oracle Certified Master),是新的高级资格证书,授予拥有最高专业技术的甲骨文认证专家。
MS SQL:
微软MCSE sql 2012认证主要分为两个方向:
1:Data Platform数据平台
2:MCSE: Business Intelligence商业智能
MySQL:
MySQL数据库认证分开发和管理两种,
开发认证:Certified MySQL 50 Developer (CMDEV)
管理认证:Certified MySQL 50 DBA (CMDBA)
现在还有一新的认证:Certified MySQL 51 Cluster DBA (CMCDBA)
该认证是MySQL数据库集群管理认证
开发的话,没人带,自学3月,自练3月,该会的应该都会了,不是做的很精的开发,一般来说薪水比DBA少。
DBA的话,要求就懂得多了,系统你要懂,基本的SQL,PL/SQL要懂,oracle的架构你要熟悉,服务器硬件你要懂,各种故障你要懂
一般DBA自学不会学到太多,即使是培训也只能培训你某一方面,最好的就是找个公司有机会就上DBA,如果有项目,一般2-3年能做到中级DBA水平,待遇的话,中级DBA一线城市,7-12K还是有的。
一开始把开发学了,找个oracle公司练练开发,有机会再转DBA,才开始的菜鸟DBA基本没人要。
作为混迹证券行业的一名数据库运维人员,数据库管理的繁琐程度,真的远比大家想的更甚。IDC报告显示,77%的受访机构拥有200多个数据库实例,而82%的组织对每个实例至少拥有10个副本。根据这些数据,我们估计一个数据库管理员必须为2000多个数据库实例进行配置、管理、刷新、恢复以及执行其他数据库 *** 作。管理这些实例非常复杂且耗时,当数据库运行在各种传统软件和硬件技术上时,情况还会进一步恶化。
不过,还是有解决办法的。Nutanix推出的数据库管理解决方案Era为数据库管理等相关 *** 作提供类云服务,只需要简单几个步骤的点击,就可以快速创建一套数据库集群环境,补丁管理、数据副本管理也超级简单,是一套非常高效便捷的数据库管理解决方案,想要提升管理效率,将工作重心回归核心业务的企业,都建议试下,绝对惊喜∞
数据库集群,顾名思义,就是利用至少两台或者多台数据库服务器,构成一个虚拟单一数据库逻辑映像,像单数据库系统那样,向客户端提供透明的数据服务坏处:集
群
向
来
是Unix
的
技
术,
只
有
在Unix
的
系
统
下
才
能
实
现,
硬
件
配
置
也
比
较
高,
一
般
都
采
用
小
型
机
作
为
服
务
器。
中
小
企
业
因
种
种
原
因,
绝
大
部
分
采
用
微
机
服
务
器,
为
保
证
数
据
的
安
全,
通
常
用
磁
盘
镜
像
或
磁
盘
阵
列;
为
提
高
系
统
的
安
全,
往
往
建
立
双
机
容
错
系
统,
但
是
无
法
实
现
集
群。
有
了Windows
NT
Server
40(
企
业
版),
对
于
微
机
服
务
器
来
说,
集
群
也
是
可
以
考
虑
并
付
诸
实
施
的
一
种
方
案。
尽
管Windows
NT
只
提
供
了
两
个
结
点
的
集
群,
但
是
对
于
中
小
企
业
来
说,
这
已
经
足
够。
今
年5
月
份
我
们
实
现
了Windows
NT
和SQL
Server
集
群
好处:集
群
的
好
处
是
不
言
而
喻
的,
能
够
提
高
系
统
效
率,
系
统
资
源
也
能
得
到
充
分
的
利
用。
物
理
上
有
两
个
服
务
器,
但
对
前
端
来
说,
只
有
一
个
虚
拟
服
务
器
和
一
个IP
地
址,
出
现
故
障
时
所
需
的
切
换
时
间
较
短,
前
端
只
会
觉
得
某
笔
业
务
的
处
理
时
间
变
长,
但
不
会
出
现
中
断。
集
群
系
统
对
于
大
型
关
键
业
务
系
统,
无
疑
是
最
好
的
选
择
之
一。----秦傲工程师
以上就是关于有什么案例可以体现DBA的职责或作用!!!全部的内容,包括:有什么案例可以体现DBA的职责或作用!!!、数据库中的集群和F5、大数据方面核心技术有哪些等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)