想要把数据从阿里oss迁移到七牛云存储该怎么办?

想要把数据从阿里oss迁移到七牛云存储该怎么办?,第1张

有个简单的方法,可以使用kodoimport这个工具进行迁移,该工具是一个脚本命令行工具,在终端或者cmd中运行即可,具体使用方法可以在七牛云上搜索“数据迁移工具”,然后查看相关说明。

众所周知,亚马逊电商已经撤出了中国,具体原因我想大家都心知肚明,但是作为云计算市场的老大,亚马逊在中国依旧运营着它的公有云服务。

由于政策原因,亚马逊不能在中国大陆运营云计算服务,其在中国有三个数据中心分别为北京、宁夏和香港,而这三个数据中心分别由三家公司负责运营,分别是光环新网、西云数据和亚马逊自营,对于要多区域部署的企业来说也是稍微有些分裂。

AWS中国不接受个人用户注册,也就是说你必须是企业才能在亚马逊上运行业务,而且亚马逊不支持预付费,只有按量付费和RI预留实例券,多少与很多中国企业的财务制度有些冲突。另外看AWS中国官网的成功案例大多是欧美企业,中国客户不多,而且很多用AWS中国的也大多是跨国企业在中国的分支或者主营业务在海外的中国公司。

虽然AWS是全球第一,且遥遥领先于老二和老三,但是在中国乃至亚太地区,AWS还是有点水土不服,落后于阿里云。不可否认,阿里一开始就是学的亚马逊,不管是电商还是云计算。从服务模式到产品命名都有浓郁的亚马逊味道。当然今时不同往日,阿里云已经走出了自己的一片天,虽然还是落后很多,但技术创新和增长率却是持续领先。

我们回归主题,如果我们的业务部署在AWS上,现在感觉不爽了怎么办?可以迁移吗?往哪迁?答案是肯定的,哪个厂商也不能绑定我们,我们可以用脚投票,哪里不爽就搬家。当然迁云是要讲策略、有技术、用工具的。云上搬家最主要是应用、数据和存储,下面我们分别讲怎么做。

应用 :最简单粗暴的做法就是将运行应用的服务器连锅端,各家云厂商都提供服务器的搬家服务,以阿里云的服务器迁移中心(SMC)为例,它可以

具体流程如下:

数据库数据库迁移要求不停机且能保证数据一致性。阿里云的数据库迁移服务(DTS)可以满足这个需求。

数据库迁移服务(DTS)支持多种数据之间的迁移

文件存储: 亚马逊的S3无疑是众多用户存储海量文件的首选,那么我们就看看如何从S3迁移到阿里云的对标产品OSS。

首先,在AWS侧,先预估需要迁移的文件存储量和个数

然后创建用于迁移的访问密钥。你可以在 AWS 控制台的 IAM 页面创建用户并授予AmazonS3ReadOnlyAccess权限,然后创建访问密钥。

然后,在阿里云侧,登陆OSS的数据在线迁移控制台,按照提示赋予角色权限。

创建源地址,登录阿里云数据在线迁移控制台,选择 在线迁移服务 >数据地址 ,然后单击 创建数据地址 ,具体参数如下

创建目标地址,选择 在线迁移服务 >数据地址 ,然后单击 创建数据地址 。配置相关参数如下:

创建迁移任务,选择 在线迁移服务 >迁移任务 ,然后单击 创建迁移任务 。配置参数如下:

性能调优 页签的 数据预估 区域,填写 迁移存储量 迁移文件个数

性能调优 页签的 流量控制 区域,设置 限流时间段 最大流量 ,然后单击 添加

单击 创建 。等待迁移任务完成。

不知道看过上面的介绍,你是否有尝试一下的想法或者有其他的方法,欢迎大家一起来讨论。

上层的是分布式数据库分表分库中间件,负责和上层应用打交道,对应用可表现为一个独立的数据库,而屏蔽底层复杂的系统细节。分布式数据库中间件除了基本的分表分库功能,还可以丰富一下,比如讲读写分离或者水平扩容功能集成在一起,或者比如读写分离本身也可以作为一个独立的中间件。(Cobar, MyCAT, TDDL, DRDS, DDB)

增量数据订阅和消费,用户对数据库 *** 作,比如DML, DCL, DDL等,这些 *** 作会产生增量数据,下层应用可以通过监测这些增量数据进行相应的处理。典型代表Canal,根据MySQL的binlog实现。也有针对Oracle(redolog)的增量数据订阅与消费的中间件。(Canal, Erosa)

数据库同步中间件涉及数据库之间的同步 *** 作,可以实现跨(同)机房同步以及异地容灾备份、分流等功能。可以涉及多种数据库,处理之后的数据也可以以多种形式存储。(Otter, JingoBus, DRC)

数据库与数据库之间会有数据迁移(同步)的动作,同款数据同步原理比较简单,比如MySQL主备同步,只要在数据库层进行相应的配置既可,但是跨数据库同步就比较复杂了,比如Oracle->MySQL. 数据迁移一般包括三个步骤:全量复制,将原数据库的数据全量迁移到新数据库,在这迁移的过程中也会有新的数据产生;增量同步,对新产生的数据进行同步,并持续一段时间以保证数据同步;原库停写,切换新库。将“跨数据库”这个含义扩大一下——“跨数据源”,比如HDFS, HBase, FTP等都可以相互同步。(yugong, DataX)


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/10026322.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-04
下一篇2023-05-04

发表评论

登录后才能评论

评论列表(0条)

    保存