云存储服务器架设_统一存储部署见成效

云存储服务器架设_统一存储部署见成效,第1张

数据的高速增长,尤其是非结构化数据的日益飙升,不但对存储的容量有了进一步的需求,同时对存储的性能和功能也提出了更高的要求,这使得原有的单一的SAN(存储区域网络)或NAS(网络附加存储)系统已经不能全面满足用户的需求。同时,网络存储经过这几年的发展,SAN与NAS的融合已经势在必行,尤其是IP SAN的出现,更为融合奠定了技术基础。

统一存储其实就是一种能够整合iSCSI、NAS与SAN的存储系统,也就是说,统一存储能够在多个不同平台和应用之间共享一套硬件。因此,统一存储对于企业和机构都有着很强的吸引力,它最大的优势在于,能够整合企业在存储设施上的不同需求,降低采购和维护成本。

单一平台
满足银行需求

美国堪萨斯州第一州立银行和信托公司(First State Bank & Trust)的存储需求在18个月间翻了一番,总存储量增至38TB,于是,他们选择了Pillar公司的Axiom统一存储系统。公司高级副总裁Harry M Wheeler说:“我们了解到了统一存储这个概念的价值,它既支持我们的虚拟化环境,同时又能跟上快速发展的步伐。此外,我们看到了Pillar的统一存储方法具有的额外价值,即运用服务质量(QoS)功能,确保我们那些最关键的应用程序具有最高级别的性能,又不必为资源争夺问题而 *** 心。这让我们既能够把存储系统整合到单一平台上,又能够确保需要时有足够的空间来进行扩展。”
Wheeler当初加盟这家银行时,银行的主要信息源在大型机上。不过,这些年来,应用程序扩展到了网络环境中,文件服务器成了存放银行关键应用系统的环境,比如支票影像、异地存款、客户查询和网上银行等应用系统。银行需要这样一项计划:万一发生灾难,能够尽快恢复服务器和文件数据。除了需要加强灾难恢复(DR)计划外,Wheeler还想对13台服务器进行虚拟化处理,旨在提高可用容量,降低总体拥有成本。
因此,这家金融机构与总部设在美国堪萨斯州Overland Park的技术集成商Choice Solutions紧密合作,评估了多款存储解决方案,包括EMC及其他厂商的解决方案。Wheeler表示,其他厂商大多偏爱采用多个设备,而不是统一架构。他说,他希望这一解决方案具有能够为应用程序设定优先级、易于使用、易于调整等优点。Wheeler说:“我们负责SAN的网络经理很喜欢Axiom解决方案设置好后可自动运行的特点。Pillar公司最终脱颖而出,是因为它的Axiom存储平台是为支持虚拟化环境而重新构建的。”
这家金融机构购买了一对Axiom系统,总容量达到5TB,如果需要的话,容量还可以扩展到1PB以上。该系统的部署增强了系统灾难恢复功能。在以前的灾难恢复测试中,由于该金融机构要完成恢复所有文件服务器的烦琐任务,恢复所有系统最多需要5天。Wheeler表示,时至今日,由于采用思杰的XenServer、Pillar的Axiom和InMage复制软件这一组合产品,他在短短两个小时内就能完成全面恢复测试。
第一州立银行和信托公司采用实时复制。由于有更多的容量可用,虚拟化项目也完成了。因而,服务器机房里面减少了15个机架的设备。
Wheeler说:“我们预计可以在5年内收回在Pillar上投入的成本。”

统一存储与虚拟化结合

虽然第一州立银行和信托公司没有选择EMC的统一存储,但美国匹兹堡技术学院(PTI)却选择了EMC的统一存储。PTI是一家私立职业学院,在宾夕法尼亚州西部地区有两个校区,它为7个系的2000多名学生提供准学士学位和证书课程。
PTI的选择可以归结为,为其99%的VMware虚拟化服务器基础架构选择EMC还是NetApp的产品。EMC的Celerra最终成为其统一存储架构的核心部件。该学院购买了一台Celerra NS-120,配备了30台450GB光纤通道驱动器、15台600GB光纤通道驱动器和6块70GB固态硬盘。
PTI的应用程序主管William Showers说:“我们需要闪存即固态硬盘,是因为它在读I/O *** 作方面大有潜力,因为VMware虚拟桌面基础架构(VDI)是一种读 *** 作非常频繁的工作负载,使用闪存让我们可以做到在特定数量的磁盘上运行的VDI实例比标准光纤通道磁盘上运行的实例多得多。”
PTI的EMC Celerra NS统一存储系统使用固态硬盘,用于VMware虚拟机和虚拟桌面,使用光纤通道驱动器用于学生档案、媒体服务、远程教育、SQL Server学生记录数据库和Exchange电子邮件等系统。使用VMware vSphere,PTI对其服务器基础架构的99%进行了虚拟化处理,现在10台物理机运行着300个VMware虚拟机。VMware View让PTI能够向教职员工提供100个虚拟桌面。PTI还使用EMC的CLARiiON CX3磁盘阵列用于虚拟机备份,使用CLARiiON AX4阵列用于存储安防视频。
William Showers说:“除了性能外,EMC解决方案还大大增强了简单性、高效性和灵活性。让我们特别满意的是,Celerra还有文件压缩和重复数据删除等功能,拥有多个RAID选项,还同时支持8Gbps光纤通道和万兆以太网。EMC与VMware的全面集成和一致性,也是促使我们决定采用EMC统一存储的一大因素。”
PTI在开展这个项目之前,已经在使用一台老化的CLARiiON CX3-20,但容量所剩无几,同时还过了保修期,IT人员每个月要来好几趟,执行一些基本的维护任务,比如给固件打补丁等。在升级EMC系统的同时,PTI使用VMware将约75台物理服务器整合成10台,但不是使用旧机器,而是购买了新机型,因为VMware需要的内存量很大,而新的服务器主机配备了32GB到96GB的内存。
该项目实施后,PTI再也不需要IT人员在晚上加班加点,更换失效的服务器或进行日常维护。倘若服务器有问题,它会进入维护模式,自动把所有虚拟机迁移到另一台服务器上,直到IT人员第二天上班后再来解决问题。这大大减少了IT人员的加班时间。
William Showers说:“借助共享存储上的VMware,我们部门的人就可以远程将虚拟机迁离某一台物理服务器,在正常工作时间对它进行更新或维护,然后把虚拟机再迁移回去。”
此外,学院里的老师需要远程访问高端编程、CAD、多媒体及其他应用软件,以便可以在家里给学生的作业打分,或者准备教案。而招生人员越来越需要共享记录学生活动、教学楼施工及其他大事的视频和照片,势必需要更多的场地和更灵活的架构。William Showers特别指出,这一切需要更多的服务器,势必需要极其庞大的电力和冷却设备。而他们除了没有升级电力和冷却系统所需的预算外,也没有足够的地方装得下更多的设备。据PTI声称,这个项目大概为它在新服务器、电力和冷却系统方面省下了数10万美元的费用。
William Showers说:“我们那台65千伏安UPS的用电负载从约75%降低到了约22%。VMware其实让我们避免了花费巨资来升级设施。”
显然,当前IT预算缩减的公司都面临着一个挑战:提供足够的存储容量以满足自己的要求。统一存储平台正好适合当前的环境,因为它的初始资本投资比较少,运营成本比较低,企业可以先小规模部署,然后慢慢扩展。统一存储还可以共享资源,针对不同的应用程序,结合使用文件存储和块存储。
统一存储是一项在不断发展的存储技术,对不同类型的IT项目来说准入门槛很低。把它添加到企业数据中心的存储基础架构中是个正确的选择。
“统一存储让我们能够把存储系统整合到单一平台上,又能够确保需要时有足够的空间来进行扩展。”
――美国堪萨斯州第一州立银行和信托公司高级副总裁Harry M Wheeler
“该项目实施后,我们再也不需要IT人员在晚上加班加点更换失效的服务器或进行日常维护了。”
――美国匹兹堡技术学院应用程序主管William Showers

链接一
统一存储及其应用
统一存储实际上是一种网络存储架构,它既支持基于文件的NAS存储,又支持基于块的SAN存储。这种多协议系统可以通过IP或光纤通道(FC),连接至服务器。在统一存储系统中,块访问通过光纤通道、SAS或基于以太网的iSCSI等接口来实现;文件访问是指使用基于以太网的CIFS或NFS访问存储系统中的文件系统。
统一存储要求实行统一管理,即一个存储系统要同时管理块数据和文件数据,如果没有统一管理,那么实现整合和简化的目标就会受到影响。一些厂商通过光纤通道和iSCSI来提供块存储,而另一些厂商则坚持只用iSCSI,因为它更容易实现。
统一存储有一些出色的用途:
● 在虚拟服务器环境下,统一存储系统可以满足快速配置虚拟机并运营的要求。它可以为虚拟机配置基于NFS的数据存储区,实现文件I/O,统一存储的块存储功能让真实设备映射(RDM)可将物理磁盘连接至虚拟机,以满足应用程序的需求。
● 如果某种类型的使用(如非结构化数据的文件存储)占主导地位,但仍需要一些块存储(比如Exchange数据库),那么统一存储系统允许将它们整合到单一平台上。
● 统一存储还为那些因需求发生变化而要稍稍改动存储的企业提供了出色的灵活性。
● 统一存储可以为所需的使用类型配置单一资源,包括块或文件。

链接二
统一存储平台的基本特点
1 易于管理。为了满足RAID、卷管理、文件系统创建、卷扩展和自动精简配置的需要,管理界面就要做到简单易用。只需要不到4个小时,就可以完成初始安装以及准备好为所有协议提供文件服务。不需要专门的IT管理员来配置、部署和管理。基于向导的安装和配置是标准工具。
2 扩展快速、容易。统一存储被认为是二级存储解决方案,现在作为SAN存储之外的一种选择,正进入到数据中心领域。这归功于高级软件功能,有些基于SAN的应用程序现在使用统一存储作为标准存储平台,如装有单一邮箱恢复和SQL数据库应用软件的Exchange邮件服务器,通过快照就能迅速完成测试,而不会干扰生产数据集。可以实施虚拟服务器功能,减少物理服务器的数量,并实施不同级别的RAID技术,以满足不同应用程序的需要。近来,企业还需要通过高级的存储和服务器虚拟化技术,对服务器/存储进行整合。企业可得益于VMware虚拟化技术和统一存储这对组合,从而减少物理服务器的数量,提高存储利用率。
3 高可靠性和高可用性。统一存储需要提供双头高可用性(dual-head HA,主动/主动)或N+1(主动/被动)机制,确保数据服务的高可用性。要满足数据中心的标准,真正的99999%可靠性是必要条件。这相当于全年停机时间只有5分钟。目前市面上的统一存储平台提供双RAID控制器、镜像缓存或非易失随机存储器(NVRAM)来保护数据。一些厂商实施的技术因扩展性问题而在性能上和存储容量上受到限制,只提供低成本的iSCSI目标系统,以及只为目标系统或虚拟磁带库(VTL)提供重复数据删除这个选项。这些不足会缩小为数据增长速度和存储容量扩展做规划时考虑的范围。如果不断部署存在所有这些局限的同一架构产品,就会面临NAS存储孤岛、数据中心场地出现不必要的扩展,还会显著增加运营和管理成本。

虚拟化技术的可以在BIOS中开启,开启方法如下:
1、进入BIOS。开机时按F2或F12或DEL或ESC等键(各电脑有所不同)。
2、进入BIOS后,找到Configuration选项,选择Intel Virtual Technology并回车,将光标移至Enabled,然后再回车,最后按F10保存并退出。
如果找不到Configuration选项,可以试试下面的方法:
(1)某些HP(惠普)电脑进入BIOS后,需要选择SystemConfiguration(系统配置)菜单,然后选择Device Configuration(设备配置),找到Virtualization Technology,设置为Enabled。
(2)某些联想Thinkpad电脑进入BIOS后,需要选择Security菜单,然后选择Virtualization,设置为Enabled。
(3)某些DELL(戴尔)电脑进入BIOS后,需要选择Processor Settings菜单,然后选择VirtualizationTechnology,设置为Enabled。
虚拟化在1960年为了描述虚拟机(实验性的IBM M44/44X系统)这个概念被第一次提出。对虚拟机的架设和管理被称为平台虚拟化,现在也被称为服务器虚拟化。

虚拟化技术可以帮助CIO用比较少的硬件分配比较多的资源,但也会带来一大堆管理难题,这就需要CIO更加关注管理流程和工具。 [计世网独家]有了服务器虚拟化,就有可能在比较少的硬件资源上运行多个应用软件和 *** 作系统,这吸引了许多IT经理的目光。据弗雷斯特研究公司的近期调查显示,调查对象中,有四分之一对服务器进行了虚拟化处理,还有一些计划两年后对近一半的服务器进行虚拟化处理。据业界观察人士和IT经理声称,随着企业的IT队伍期望扩大服务器虚拟化技术的部署范围,很重要的一点就是,要敢于面对管理上的难题。
IDC公司的调研主任Stephen Elliot说:“虚拟化技术很容易让人着迷,IT部门部署虚拟机速度之快超出了管理水平。这项技术从一开始就应当在管理方面进行投入。”
对正在竭力管理虚拟机的人来说,下面是六个重要问题的答案:

一省略的技术运营主管Edward Christensen说:“你再也不是只要关心服务器外壳里面的部分,而是要担心这个设备里面的其他部分、需要什么资源。”
这家网上汽车公司使用VMware公司的产品,在开发及质量保证环境下,对惠普硬件系统上运行的服务器进行虚拟化处理。他又说:“过去你常认为‘我有一台配备两个处理器/16GB内存的服务器’,如今你却在想‘两个处理器和16GB内存只供我一人使用吗?还是某个虚拟机也占用或者需要这些资源?’”

二如何遏制散乱现象?

虚拟化技术提供了易于部署的优点,但这让IT经理们陷入了左右为难的处境。服务器配置起来越快捷,对服务器的需求似乎就越大,而这会迅速导致众多的虚拟机。
Adam Gray是位于加州圣巴巴拉的IT专业服务公司Novacoast的首席技术官,他说:“我们发现,每天不止一次地启用及停用新机器。许多这些机器是为了开发、测试及试运行而提供的。”
IT经理和业界观察人士认为,控制虚拟服务器散乱现象需要同样用于物理服务器部署环境的流程和审计,确保只有在需要时才配置机器。
马里兰州拉纳姆Merkle公司的IT基础设施经理Marc Kraus说:“公司规定,如果未经IT部门审批,别人就无权添加虚拟服务器。我们还每周进行扫描,以控制散乱现象。”
虽然基于策略的管理和清查工具可以帮助IT部门随时了解服务器的数量,但IT人员必须严格落实相应流程,防止虚拟服务器散乱危及部署项目的成功。
旧金山必百瑞律师事务所的网络服务和工程部门主管Albert Ganzon说:“大家知道,我们启用一台新的虚拟服务器后,一旦完成任务,就马上停用。我们必须防止服务器慢慢增多。”
Ganzon说,他正在部署VMware产品,目前有十多台虚拟服务器在运行。他领导的小组建立了“某种权力集中部门”:各业务部门必须向该部门正式提出服务器请求,以便控制未授权虚拟机数量激增的现象。他补充说:“这实际上向他们指出已有的资源,询问‘你果真需要另一台服务器吗?’”
缅因州不伦瑞克市鲍登学院的高级系统工程师Tim Antonowicz说,他利用基本的“完整性检查”(sanity check),防止VMware ESX虚拟服务器失去控制。他说:“如果有人请求一台新服务器,除了紧急情况,一定要确保你必须经过全面评估,才能确定这是否果真需要还是仅仅贪图方便。”
业界观察人士建议采用服务器生命周期管理流程,以便跟踪虚拟或者物理服务器的用途以及从启用到停用的状况。未能遏制随便部署的习惯会加大虚拟机管理方面的其他难题,比如补丁管理。
企业管理协会的Mann指出:“如果你不知道自己有多少机器或者多少机器已部署,给它们打上补丁也就无从谈起。”

三省略的Christensen说:“没错,我现有的管理工具管理虚拟服务器的效果与管理其他任何服务器一样好。不过区别在于,你可以使用工具查看并且 *** 纵整台机器,但对于虚拟机就没有这样的优势。环境的可视化呈现和良好的仪表板是管理虚拟环境的两大关键。”
如今出现了填补虚拟机管理这块空缺的新兴公司,譬如PlateSpin、Scalent Systems、Veeam和Vizioncore及另外几家公司。它们声称,传统厂商填补不了这块空缺。比如说,新兴公司侧重的一些方面就是识别在虚拟机上运行的应用软件,获得可见性,从而了解对虚拟机的请求及响应。创新的虚拟服务器管理工具可以帮助IT经理更快识别哪些虚拟机上的哪些应用软件运行不顺畅。
扬基集团支撑技术企业部的主管George Hamilton说:“选择新兴公司的产品自有其头痛问题;不过从短期来看,这可以帮你完成如今用管理工具无法完成的功能。不过,这些新兴公司总是有可能被你现有的管理厂商收购。”举例说,VMware在9月份就收购了虚拟管理新兴公司Dunes Technologies,以补充其自己的产品。
如果IT经理没有准备好购买管理虚拟环境的专门软件,他们也可以采取一些办法,让切实可行的传统技术更适合虚拟环境。
比如,Ganzon加大了投资Network General产品的力度,监控进出虚拟服务器的流量。他结合了Network General的流量分析功能和Compuware公司的ServerVantage软件的物理服务器性能指标。
他解释道:“我们有过这样的情况,Compuware软件报告服务器响应正常,但我们无法了解虚拟层,也无法看清处理请求的情况。Network General产品可检查数据包、寻找请求和确认,从而确保虚拟层没有出现延迟;服务器的运行状况正如Compuware报告的那样。”

四捆绑的工具有效吗?

大家一致认为,VMware或者Xen的虚拟机管理程序(hypervisor)捆绑的管理工具在大型虚拟环境中达不到要求。
Noel说“如果你的虚拟化产品提供商也是管理设备的主要提供商,那么必然会痛苦不堪。”比如说,虽然虚拟机管理程序提供的软件可以告诉IT经理有多少虚拟机在主机上运行,但提供不了多少有关应用软件及其性能的情况。她补充说:“记住服务器存在的惟一理由是,为业务应用软件提供顺畅运行所需的功能。”
虽然VMware的虚拟机管理程序提供的软件能够管理这种虚拟机管理程序及环境,但业界观察人士认为,这种软件充其量不过具备监测了解性能或者其他厂商产品的功能。
IDC的Elliot说:“我认为,IT经理必须确定‘够好’的工具是不是适用于管理大型环境。IDC预测,在接下来的三年,大多数IT部门的环境会有不止一种的虚拟机管理程序;这就会需要异构的虚拟服务器管理方案。”
另外,要是IT经理期望把部署的虚拟服务器从几十台扩展到几百台,那么如今可从虚拟化技术厂商获得的技术不会有同样好的效果。虽然预计虚拟化技术厂商会在将来提供不同的管理功能,但如今的工具满足不了大型的多厂商多站点网络的要求。
EMA的Mann说:“大多数虚拟化技术厂商存在固有的扩展性问题��它们正在着手解决,但它们的管理工具需要能管理有多个子网和多个站点的整个环境。目前,虚拟机管理程序提供商面对大型环境,无力执行管理任务。”
但这并不是说开始涉足虚拟化的IT经理就无法利用这些工具了。
鲍登学院的Antonowicz说:“ESX Server可以直接连接到VMware的管理套件Virtual Center。你会自动得到监控CPU、磁盘、内存和网卡等硬件资源的功能。可以衡量ESX主机及主机里面所放的虚拟机的这些指标。”
科霍斯纽约学区的网络管理员Mark DiPofi结合使用惠普和VMware各自服务器产品随带的集成无人值守(iLO)和管理工具以及Network General公司的Sniffer产品,跟踪可能由来自服务器环境的额外流量引起的网络带宽问题。如今他管理着约20个虚拟服务器,并没有觉得立即需要添加更多的管理工具。
DiPofi说:“我使用iLO来远程管理硬件;它能告诉我物理设备是否温度过高。 我还使用VMware进入ESX服务器的后门。就我们眼下的需求而言,服务器随带的管理工具很好用。”

五省略的Christensen说:“现在外面就有出色的工具;在微软发布工具集的同时,它们只会变得更好。”
其他人认为微软似乎打算把其虚拟机管理程序放在不同的层面上,这可能会使得VMware更加吸引一些人。
Antonowicz说:“微软的设计仍基于这种方案:运行在基本的Windows内核上。如果虚拟层放在正式的 *** 作系统内核上,微软无法从虚拟层得到同样的性能。在微软Virtual Server上运行的虚拟机仍被认为是运行在Windows服务器上的一种应用。只有使用VMware的ESX或者Xen,你才能得到真正的‘裸机’性能。”
业界观察人士认为:微软进入虚拟化技术市场后,市场格局无疑会随之变化。专家们认为,如今 *** 作系统中没有内置虚拟机管理程序的平台就是Windows;等微软进入虚拟化领域后,IT经理就要重新评估虚拟化技术战略。
IDC的Elliot说:“微软需要解决性能和可靠性方面的关键问题;如果它能搞定这两个因素,就完全有能力与VMware直接竞争。微软占有相当大的地盘,虽然它在某些方面处于落后,但在迅速攻城略地。所以将来的问题是,VMware的功能会不会远远胜过微软的产品、从而击败微软的低价位优势?”

六选择自由软件还是开源软件?

对环境规模小、IT预算少的IT经理来说,自由软件和开源软件常常可以满足他们的管理要求。
Hyperic和Veeam等公司发布了旨在管理虚拟环境的产品。Hyperic在去年发布了Hyperic HQ for VMware软件,提供了把该公司旗舰软件的管理范围扩大到虚拟环境的功能。这家开发商还编写了可集成到VMware的API和Virtual Center接口的代码,以便发现物理服务器和虚拟服务器,并且把虚拟实例集成到所有系统清单中。若有变化,软件就能发现,更新存储库,并且通知IT人员。HQ能够执行该公司所说的“物理到虚拟映射”:除了向IT经理告知虚拟机里面运行的 *** 作系统和应用软件外,还能告知虚拟机及相应主机。
拿Veeam来说:这家新兴公司依托其大获成功的自由软件,组建了商业软件公司。FastSCP 20 for VMware是一款自由软件性质的文件管理产品,可帮助客户移动虚拟机、把实例从一个服务器拷贝到另一个服务器。FastSCP最初在2006年10月发布,“已成为ESX文件管理领域事实上的标准,”Veeam的总裁兼CEO Ratmir Timashev如是说。
IT经理说,必要时,自由软件能符合需要。澳大利亚佩思Auracom Technologies公司的虚拟化技术顾问Mark Devlin就使用FastSCP,因为当初他需要虚拟化功能时,Veeam的这款软件是市面上惟一能满足他要求的工具。
Devlin说:“它是对ESX环境进行实时文件管理的最快办法;实际上,这个产品没有任何消极的方面��它其实会节省成本、降低人力成本、加快完成工作。”
其他人说,由于功能有限,这种低成本的替代方案在虚拟环境的使用寿命很短。
鲍登学院的Antonowicz说:“实际上没有哪款切实可行的自由软件解决方案管理得了VMware基础设施。由于VMware与物理服务器硬件有着紧密关系,自由软件产品想真正在这个层面上进行集成会很难。至于Xen虚拟化技术,因为它是开源的,所以只有少数几项基本的管理功能。不过要获得最宝贵的功能以及技术支持,这方面的最佳服务来自商业公司。”
EMA的Mann鼓励把开源软件派上用场,但要注意这一点:它们不是提供全面管理一大批虚拟服务器所需的惟一工具。他说:“你会需要多种解决方案,开源只是其中一种;你不该单单使用开源软件来管理整个环境。”
虽然他们使用传统的管理工具以及虚拟机管理程序捆绑的工具,其他业界观察人士却并不主张使用自由软件或者开源软件用于全面的虚拟服务器管理。
扬基集团的Hamilton说:“如果能填补现有管理工具的空缺,那么使用自由软件或者开源软件的风险确实很低。但让我试图把其管理范围扩大到部署的企业级虚拟环境,我会觉得不安。你不希望用自由软件或者开源软件管理过于庞大的环境。你认识到,它们满足不了所有要求。”
最后,业界观察人士提醒IT经理:管理物理服务器的问题到了虚拟环境不会消失��只会有增无减,而且会被系统之间的无形边界掩盖起来。IT经理说,事先认识到走虚拟化道路不会减轻管理负担,这有助于调整思路,以便管理大批虚拟机。
Antonowicz说:“管理虚拟机的道理与管理物理机一样。你仍得为所有虚拟机上的 *** 作系统打补丁;仍需要监控应用软件;仍需要维护。IT人员需要掌握另一套流程,但想想虚拟机所带来的好处,这种付出是值得的。”
(清风编译)


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/zz/10455937.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-08
下一篇2023-05-08

发表评论

登录后才能评论

评论列表(0条)

    保存