阿里巴巴采用自己研发的分布式数据库系统叫什么,它有哪些特点

阿里巴巴采用自己研发的分布式数据库系统叫什么,它有哪些特点,第1张

上层的是分布式数据分表分库中间件,负责和上层应用打交道,对应用可表现为一个独立的数据库,而屏蔽底层复杂的系统细节。分布式数据库中间件除了基本的分表分库功能,还可以丰富一下,比如讲读写分离或者水平扩容功能集成在一起,或者比如读写分离本身也可以作为一个独立的中间件。(Cobar, MyCAT, TDDL, DRDS, DDB)

增量数据订阅和消费,用户对数据库 *** 作,比如DML, DCL, DDL等,这些 *** 作会产生增量数据,下层应用可以通过监测这些增量数据进行相应的处理。典型代表Canal,根据MySQL的binlog实现。也有针对Oracle(redolog)的增量数据订阅与消费的中间件。(Canal, Erosa)

数据库同步中间件涉及数据库之间的同步 *** 作,可以实现跨(同)机房同步以及异地容灾备份、分流等功能。可以涉及多种数据库,处理之后的数据也可以以多种形式存储。(Otter, JingoBus, DRC)

数据库与数据库之间会有数据迁移(同步)的动作,同款数据同步原理比较简单,比如MySQL主备同步,只要在数据库层进行相应的配置既可,但是跨数据库同步就比较复杂了,比如Oracle->MySQL. 数据迁移一般包括三个步骤:全量复制,将原数据库的数据全量迁移到新数据库,在这迁移的过程中也会有新的数据产生;增量同步,对新产生的数据进行同步,并持续一段时间以保证数据同步;原库停写,切换新库。将“跨数据库”这个含义扩大一下——“跨数据源”,比如HDFS, HBase, FTP等都可以相互同步。(yugong, DataX)

转载:饿了么MySQL异地多活的数据双向复制经验谈(附PPT)

本文根据陈永庭老师在〖DAMS 2017中国数据资产管理峰会〗现场演讲内容整理而成。

(点击底部“阅读原文”获取陈永庭演讲完整PPT)

讲师介绍

陈永庭,饿了么框架工具部高级架构师,主要负责MySQL异地双向数据复制,支撑饿了么异地多活项目。曾就职于WebEx、Cisco、腾讯等公司。

今天我主要分享饿了么多活的底层数据实施,会和大家介绍在整个多活的设计和实施过程中我们是怎么处理异地数据同步的,而这个数据同步组件在我们公司内部称之为DRC。

异地多活背景

在讲DRC或者讲数据复制之前,先跟大家回顾一下异地多活的背景。

去年我们在做多活调研的时候,整个公司所有的业务服务都是部署在北京机房,服务器大概有四千多台,灾备的机器是在云端,都是虚拟机,大概有三千多台。当时我们峰值的业务订单数量已经接近了千万级别,但是基本上北京机房(IDC)已经无法再扩容了,也就是说我们没有空余的机架,没有办法添加新的服务器了,必须要再建一个新的机房,于是我们在上海建一个新的机房,上海机房要在今年的4月份才会投入使用,所以需要在上海机房建成之后,异地多活项目能具备在生产环境上进行灰度。

异地多活的底层数据同步实施

这是异地多活的底层数据同步实施的一个简单的概要图,大家可以看到,我们有两个机房,一个是北京机房,一个是上海机房。在这个时候,我们期望目标是北方所有的用户请求、用户流量全部进入北京机房,南方所有的用户请求、用户流量进入上海机房。困难的地方是,这个用户有可能今天在北方,明天在南方,因为他在出差,还有就是存在一些区域在我们划分南北shard的时候,它是在边界上面的,这种情况会加剧同一个用户流量在南北机房来回漂移的

99SE是4.0版本,98是3.0,2.8版本想用99SE的库必须转到3.0后再转到2.8.

Protel 99SE采用数据库的管理方式。Protel 99SE软件沿袭了Protel以前版本方便易学的特点,内部界面与Protel 99大体相同,新增加了一些功能模块,功能更加强大。新增的层堆栈管理功能,可以设计32个信号层,16个地电层,16个机械层。新增的3D功能让您在加工印制版之前可以看到板的三维效果。增强的打印功能,使您可以轻松修改打印设置控制打印结果。Protel 99SE容易使用的特性还体现在“这是什么”帮助,按下右上角的小问号,然后输入你所要的信息,可以很快地看到特性的功能,然后用到设计中,按下状态栏末端的按钮,使用自然语言帮助顾问。 Protel 99SE附件安装方法非常简单,只需双击光盘目录下的Install.exe即可。

第二章 如何进行原理图设计

一、 新建设计数据库文件

在WINDOWS 95/98或NT界面下双击Protel 99SE 图标,点击File(文件)中new项,新建设计数据库。

新建设计文件,有两种方式:一种为MS Access Database方式,全部文件存储在单一的数据库中,同原来的99文件格式。另一种为Windows File System方式,全部文件被直接保存在对话框底部指定的磁盘驱动器中的文件夹中,在资源管理器中可以直接看到所建立的原理图或PCB文件。

在Browse选项中选取需要存储的文件夹,然后点击OK即可建立自己的设计数据库。

1设计组(Design Team)

我们可以先在Design Team 中设定设计小组成员,Protel 99SE可在一个设计组中进行协同设计,所有设计数据库和设计组特性都由设计组控制。定义组成员和设置他们的访问权限都在设计管理器中进行,确定其网络类型和网络专家独立性不需要求助于网络管理员。

为保证设计安全,为管理组成员设置一个口令。这样如果没有注册名字和口令就不能打开设计数据库。

提示:成员和成员权限只能由管理员建立。

2 回收站( Recycle Bin)

相当于Windows 中的回收站,所有在设计数据库中删除的文件,均保存在回收站中,可以找回由于误造作而删除的文件.

3设计管理器(Documents)

所有Protel 99SE设计文件都被储存在唯一的综合设计数据库中,并显示在唯一的综合设计编辑窗口。在Protel 99SE中与设计的接口叫设计管理器。使用设计管理器,可以进行对设计文件的管理编辑、设置设计组的访问权限和监视对设计文件的访问。

组织设计文件

过去组织和管理40个或更多的原理图、PCB、Gerber、Drill、BOM和DRC文件,要花费几天的时间,而Protel 99SE把设计文件全部储存在唯一的设计数据库。

在设计数据库内组织按分层结构文件夹建立的文件。显示在右边的个人安全系统设计数据库有一文件夹叫设计文件,这个文件夹中是主设计文件(原理图和PCB),还有许多的子文件夹,包括了PCB装配文件、报告和仿真分析。这里对在设计数据库中创建文件夹的分层深度 没有限制。

设计数据库对存储Protel设计文件没有限制。你能输入任何类型的设计文件进入数据库,如在MS Word书写的报告、在MS Excel准备的费用清单和AutoCAD中制的机械图。

简单双击设计数据库里的文件图标,用适当的编辑器打开文件,被更新的文件自动地保存到设计数据库。MS Word和Excel文件可以在设计管理器中直接编辑。

提示:在文件夹上单击右键会显示浮动菜单,然后选择在设计数据库新建文件。

在综合设计数据库中用Protel 99SE的设计管理器管理设计文件是非常轻松的。设计管理器的工作就象MS Windows的文件管理器一样,可用它来导航和组织设计数据库里文件。使用设计管理器在设计数据库创建分层结构的文件夹,使用标准文件 *** 作命令来组织这些文件夹内设计文件。

设计管理器的心脏就是左边的导航面板。面板显示的树状结构是大家熟悉的Protel软件特性。在Protel99 SE中,这个树不仅仅显示的是一个原理图方案各文件间的逻辑关系,它也显示了在设计数据库中文件的物理结构。

在导航树中活跃的文件夹是PCB装配文件夹。如同Windows文件管理器,设计管理器在右边显示这个文件夹的内容。

设计管理器与Windows文件管理器的不同之处是在右边还显示已经打开的文件。打开文件只要在导航树中单击所要编辑的文件名,或者双击右边文件夹中的图标。

在设计数据库中打开的各个文件用卡片分隔显示在同一个设计编辑窗口,使得非常容易知道当前工作到哪里,特别在大的设计中。要一起观察不同的文件可以将设计编辑窗口拆分为多区域。


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/9869905.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-02
下一篇2023-05-02

发表评论

登录后才能评论

评论列表(0条)

    保存