什么是数据迁移?在数据迁移中需要考虑的问题

什么是数据迁移?在数据迁移中需要考虑的问题,第1张

数据迁移(又称分级存储管理,hierarchical storage management,hsm)是一种将离线存储与在线存储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备,然后将磁盘中常用的 数据按指定的策略自动迁移到磁带库(简称带库)等二级大容量存储设备上。当需要使用这些数据时,分级存储系统会自动将这些数据从下一级存储设备调回到上一 级磁盘上。对于用户来说,上述数据迁移 *** 作完全是透明的,只是在访问磁盘的速度上略有怠慢,而在逻辑磁盘的容量上明显感觉大大提高了。
数据迁移是将很少使用或不用的文件移到辅助存储系统(如磁带或光盘)的存档过程。这些文件通常是需在未来任何时间可进行方便访问的图像文档或历史信息。迁移工作与备份策略相结合,并且仍要求定期备份。还包括电脑数据迁移,迁移旧电脑(旧系统)中的数据、应用程序、个性化设置等到新电脑(新系统),在系统升级后很有必要。
对数据的检查包括以下6个方面。
(1)数据格式检查。检查数据的格式是否一致和可用,目标数据要求为number型。
(2)数据长度检查。检查数据的有效长度,对于char类型的字段转换到varchar类型中,需要特别关注。
(3)区间范围检查。检查数据是否包含在定义的最大值和最小值的区间中。例如年龄为300或录入日期为4000—1—1显然有问题。
(4)空值、默认值检查。检查新旧系统定义的空值、默认值是否相同,不同数据库系统对空值的定义可能不同,需要特别关注。
(5)完整性检查。检查数据的关联完整性。如记录引用的代码值是否存在,特别需要注意的是有些系统在使用一段时间后,为了提高效率而去掉了外键约束。
(6)一致性检查。检查逻辑上是否存在违反一致性的数据,特别是存在分别提交 *** 作的系统。

在DHCP服务器迁移到Windows Server 2012 R2之前,DHCP服务器需要进行部署评估,DHCP服务器部署是什么样子的。
首先,也可能是最简单的需要处理的问题是“我有多少DHCP服务器?”大多数情况下,DHCP服务器独立存在于大多数组织的网络中。DHCP服务器只有通过Windows Server 2012中的IPAM功能才可以集中管理DHCP服务器设置和范围。
许多组织使用2台DHCP服务器处理单一范围内的职责,其中一台DHCP服务器托管80%的IP地址,另一台DHCP服务器托管20%。你需要查看目前使用的地址范围,找出它们是如何跨越现有的DHCP服务器的。
你还需要确保记录范围级别选项和服务器级别选项。这是DHCP服务器迁移的一种方法,你需要记录所有的事情,否则出现错误时你必须从头开始重建。 DHCP服务器在确保记录了现有的DHCP服务器配置之后,你可以开始将DHCP服务器数据库从Windows Server 2003主机迁移到Windows server 2012 R2了。
DHCP服务器迁移时的诀窍在于使用netsh而不是控制台。如果DHCP服务器控制台试图在两个 *** 作系统之间进行迁移,那么你会进入迁移失败的困境。
DHCP服务器从Windows Server 2003服务器上输出时,DHCP服务器需要创建一个名为c:\export的文件夹,

将数据从一台服务器移动到另一台服务器的过程。迁移就是移动的意思,游戏服务器迁移是将数据从一台服务器移动到另一台服务器的过程的意思。游戏服务器(有时也称为主机)是多人游戏中官方指令来源的服务器。

开始菜单--->程序,打开SQL Server Management Studio(即我们的SQL 2005)

连接服务器后,找到我们需要迁移的数据,右键点击属性

在数据库属性里面,点击文件,可查看数据库文件和数据库日志文件的存放路径

确定没有任何其它用户连接到此数据库后,点击该数据库-->任务-->分离

我们可以看到分离以后,刚刚那个数据库,已经不在此列表

进入刚刚我们第3步属性里面看到的数据库文件路径如下图把我们的ZNLCRMmdf数据库文件和ZNLCRM_LogLdf数据库日志文件拷贝到另外一台服务器

在另外台服务器上打开SQL数据库与第1步一样点击数据库--->附加

在附加数据库里面,点击添加,如下图所示

找到刚刚拷贝过来的ZNLCRMmdf文件选中该文件,依次点击确定(注意日志文件会自动一起加载过来)

然后我们就可以看到,一个完整的数据库就直接被迁移过来如下图

这个要看你的需求了,如果仅仅是纯数据,直接通过网络共享,把老服务器上的数据复制到新服务器就行了,如果是有业务应用系统跑在老服务器上,那就需要把业务应用系统也迁移到新服务器山了。 迁移业务应用系统,如果你会安装,那就在新服务器上安装一下,然后恢复数据。如果你不会安装,这就要把老服务器上的所有环境全部迁移到新服务器上,这就叫服务器迁移,你可以用vmware来实现服务器到服务器的迁移。

这里主要介绍的是基于 Linux(CentOS7) 系统,不同服务器集群之前的数据迁移。Elasticsearch 可以通过快照(snapshot)相关的命令对索引进行备份和恢复。(这个备份是增量的,同一个索引在第一次备份的基础上进行第二次备份只会备份新变化的数据)

假定旧集群有三个节点,分别对应三台服务器: 192168110 、 192168111 、 192168112

在旧集群中指定 192168110 作为 NFS(Network File System)服务端,其它两台服务器作为 NFS 客户端,分别安装 NFS:

以下步骤只需要在 NFS 服务端执行。

创建数据共享目录,目录结构可以根据自己的实际情况修改:

修改配置文件:

相关参数的含义如下:

重启 NFS 服务端:

最后确保 NFS 保客户端能够访问 NFS 服务端的数据共享目录。

以下步骤需要在每台 NFS 客户端服务器执行。

在 NFS 客户端服务器创建数据挂载目录,这里方便起见,目录结构和 NFS 服务端共享目录一致:

将 NFS 服务端共享目录挂载到各个 NFS 客户端:

这样所有的 ES 节点就可以使用同一个数据共享目录。

在旧集群每个 ES 节点的 elasticsearchyml 中,设置 ES 快照仓库目录为前边 NFS 配置的数据共享目录,也就是 ES 数据要备份到的目录:

修改完成后重启 ES 服务。

连接旧集群中某一个节点发送 PUT 请求来创建快照仓库,例如使用 192168110 节点,可以使用 Postman、Kibana 发送请求:

或者直接在对应节点的服务器上执行如下命令:

创建索引的快照就是对索引进行备份,如下发送一个 PUT 请求来生成 index_1 、 index_2 索引的快照:

或者:

可以在 NFS 的数据共享目录中( /opt/data/es_backup )得到最终生成的索引快照文件。

查看快照仓库的信息:

查看指定快照:

查看仓库中所有的快照信息:

删除指定快照:

删除快照仓库:

参考文章第一部分的内容,在新集群的服务器上搭建 NFS 环境。

给新集群每个 ES 节点配置快照仓库的目录,也就是新集群中的 NFS 数据共享目录:

连接新集群中某个 ES 节点发送 PUT 请求创建快照仓库,和之前的一样:

先将旧集群中生成的索引快照文件拷贝到新集群的快照仓库目录下。

再连接集群中的某 ES 个节点,发送 POST 请求从索引快照中恢复数据:

或者:

如果不要参数,则是恢复快照中的全部索引:

一般情况下,我们会结合索引的大小,在旧群集中生成指定索引的快照文件,然后拷贝到新集群的快照仓库来恢复索引数据,恢复完后就可以删除对应的索引快照文件(如果有需要的话也可以备份起来),重复这个步骤直到所有索引数据迁移而完毕。

如果集群中的数据量比较大,比如上百个G,整个迁移过程还是比较耗时的,耐心等待吧。


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/zz/10394037.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-08
下一篇2023-05-08

发表评论

登录后才能评论

评论列表(0条)

    保存