
Dryad:MapReduce之外的新思路 目前各大软件巨头都搭建了自己的分布式平台解决方案,主要包括Dryad,DynamoSDMapReduce等框架。2010年12月21日,微软发布了Dryad的测试版本,成为谷歌MapReduce分布式并行计算平台的竞争对手。Dryad是微软构建云计算基础设施的重要核心技术之一,它可以让开发人员在Windows或者,NET平台上编写大规模的并行应用程序模型,并能够让在单机上编写的程序运行在分布式并行计算平台上。工程师可以利用数据中心的服务器集群对数据进行并行处理,当工程师在 *** 作数千台计算机时,无需关心分布式并行计算系统方面的细节。
DryadgDDryadLINO是微软硅谷研究院创建的研究项目,主要用来提供一个分布式并行计算平台。DryadLINO是分布式计算语言,能够将LINQ编写的程序转变为能够在Dryad上运行的程序,使普通程序员也可以轻易进行大规模的分布式计算。它结合了微软Dryad和LINO两种关键技术,被用于在该平台上构建应用。Dryad构建在Cluster Service(集群服务)和分布式文件系统之上,可以处理任务的创建和管理、资源管理,任务监控和可视化、容错,重新执行和调度等工作。
Dryad同MapReduce样,它不仅仅是种编程模型,同时也是一种高效的任务调度模型。Dryad这种编程模型不仅适用于云计算,在多核和多处理器以及异构机群上同样有良好的性能。在VisualStudio 2010 C++有一套并行计算编程框架,支持常用的协同任务调度和硬件资源(例如CPU和内存等)管理,通过WorkStealing算法可以充分利用细颗粒度并行的优势,来保证空闲的线程依照一定的策略建模,从所有线程队列中“偷取”任务执行,所以能够让任务和数据粒度并行。Dryad与上述并行框架相似,同样可以对计算机和它们的CPU进行调度,不同的是Dryad被设计为伸缩于各种规模的集群计算平台,无论是单台多核计算机还是由多台计算机组成的集群,甚至拥有数千台计算机的数据中心,都能以从任务队列中创建的策略建模来实现分布式并行计算的编程框架。
Dryad系统架构
Dryad系统主要用来构建支持有向无环图(Directed Acycline Graph,DAG)类型数据流的并行程序,然后根据程序的要求进行任务调度,自动完成任务在各个节点上的运行。在Dryad平台上,每个任务或并行计算过程都可以被表示为一个有向无环图,图中的每个节点表示一个要执行的程序,节点之间的边表示数据通道中数据的传输方式,其可能是文件、TCPPipe、共享内存
用Dryad平台时,首先需要在任务管理(JM)节点上建立自己的任务,每一个任务由一些处理过程以及在这些处理过程问的数据传递组成。任务管理器(JM)获取无环图之后,便会在程序的输入通道准备,当有可用机器的时候便对它进行调度。JM从命名服务器(NS)那里获得一个可用的计算机列表,并通过一个维护进程(PD)来调度这个程序。
Dryad的执行过程可以看做是一个二维管道流的处理过程,其中每个节点可以具有多个程序的执行,通过这种算法可以同时处理大规模数据。在每个节点进程(VerticesProcesses)上都有一个处理程序在运行,并且通过数据管道(Channels)的方式在它们之间传送数据。二维的Dryad管道模型定义了一系列的 *** 作,可以用来动态地建立并且改变这个有向无环图。这些 *** 作包括建立新的节点,在节点之间加入边,合并两个图以及对任务的输入和输出进行处理等。
Dryad模型算法应用
DryadLINQ可以根据工程师给出的LINQ查询生成可以在Dryad引擎上执行的分布式策略算法建模(运算规则),并负责任务的自动并行处理及数据传递时所需要的序列化等 *** 作。此外,它还提供了一系列易于使用的高级特性,如强类型数据、Visual Studio集成调试以及丰富的任务优化策略(规则)算法等。这种模型策略开发框架也比较适合采用领域驱动开发设计(DDD)来构建“云”平台应用,并能够较容易地做到自动化分布式计算。
我们经常会遇到网站或系统无法承载大规模用户并发访问的问题,解决该问题的传统方法是使用数据库,通过数据库所提供的访问 *** 作接口来保证处理复杂查询的能力。当访问量增大,单数据库处理不过来时便增加数据库服务器。如果增加了三台服务器,再把用户分成了三类A(学生)、B(老师),C(工程师)。每次访问时先查看用户属于哪一类,然后直接访问存储那类用户数据的数据库,则可将处理能力增加三倍,这时我们已经实现了一个分布式的存储引擎过程。
我们可以通过Dryad分布式平台来解决云存储扩容困难的问题。如果这三台服务器也承载不了更大的数据要求,需要增加到五台服务器,那必须更改分类方法把用户分成五类,然后重新迁移已经存在的数据,这时候就需要非常大的迁移工作,这种方法显然不可取。另外,当群集服务器进行分布式计算时,每个资源节点处理能力可能有所不同(例如采用不同硬件配置的服务器),如果只是简单地把机器直接分布上去,性能高的机器得不到充分利用,性能低的机器处理不过来。
Dryad解决此问题的方法是采用虚节点,把上面的A、B、C三类用户都想象成一个逻辑上的节点。一台真实的物理节点可能会包含一个或者几个虚节点(逻辑节点),看机器的性能而定。我们可以把那任务程序分成Q等份(每一个等份就是一个虚节点),这个Q要远大于我们的资源数。现在假设我们有S个资源,那么每个资源就承担Q/S个等份。当一个资源节点离开系统时,它所负责的等份要重新均分到其他资源节点上;当一个新节点加入时,要从其他的节点1偷取2一定数额的等份。
在这个策略建模算法下,当一个节点离开系统时,虽然需要影响到很多节点,但是迁移的数据总量只是离开那个节点的数据量。同样,~个新节点的加入,迁移的数据总量也只是一个新节点的数据量。之所以有这个效果是因为Q的存在,使得增加和减少节点的时候不需要对已有的数据做重新哈希(D)。这个策略的要求是Q>>s(存储备份上,假设每个数据存储N个备份则要满足Q>>SN)。如果业务快速发展,使得不断地增加主机,从而导致Q不再满足Q>>S,那么这个策略将重新变化。
Dryad算法模型就是一种简化并行计算的编程模型,它向上层用户提供接口,屏蔽了并行计算特别是分布式处理的诸多细节问题,让那些没有多少并行计算经验的开发 人员也可以很方便地开发并行应用,避免了很多重复工作。这也就是Dryad算法模型的价值所在,通过简化编程模型,降低了开发并行应用的入门门槛,并且能大大减轻了工程师在开发大规模数据应用时的负担。
通过上述的论述,我们可以看到Dryad通过一个有向无环图的策略建模算法,提供给用户一个比较清晰的编程框架。在这个编程框架下,用户需要将自己的应用程序表达为有向无环图的形式,节点程序则编写为串行程序的形式,而后用Dryad方法将程序组织起来。用户不需要考虑分布式系统中关于节点的选择,节点与通信的出错处理手段都简单明确,内建在Dryad框架内部,满足了分布式程序的可扩展性、可靠性和对性能的要求。
使用Drvad LINO
通过使用DryadLINQ编程,使工程师编写大型数据并行程序能够轻易地运行在大型计算机集群里。DryadLINO开发的程序是一组顺序的L_NQ代码,它们可以针对数据集做任何无副作用的 *** 作,编译器会自动将其中数据并行的部分翻译成并行执行的计划,并交由底层的Dryad平台完成计算,从而生成每个节点要执行的代码和静态数据,并为所需要传输的数据类型生成序列化代码;
LINQ本身是,NET引入的组编程结构,它用于像 *** 作数据库中的表一样来 *** 作内存中的数据集合。DryadLINQ提供的是一种通用的开发/运行支持,而不包含任何与实际业务,算法相关的逻辑,Dryad和DryadLINQ都提供有API。DryadLINQ使用和LINQ相同的编程模型,并扩展了少量 *** 作符和数据类型以适用于数据并行的分布式计算。并从两方面扩展了以前的计算模型(SQL,MapReduce,Dryad等)它是基于,NET强类型对象的,表达力更强的数据模型和支持通用的命令式和声明式编程(混合编程),从而延续了LINQ代码即数据(treat codeas data)的特性。
DryadLINQ使用动态的代码生成器,将DryadLINQ表达式编译成,NET字节码。这些编译后的字节码会根据调度执行的需要,被传输到执行它的机器上去。字节码中包含两类代码完成某个子表达式计算的代码和完成输入输出序列化的代码。这种表达式并不会被立刻计算,而是等到需要其结果的时候才进行计算。DryadLINQ设计的核心是在分布式执行层采用了一种完全函数式的,声明式的表述,用于表达数据并行计算中的计算。这种设计使得我们可以对计算进行复杂的重写和优化,类似于传统的并行数据库。从而解决了传统分布式数据库SQL语句功能受限与类型系统受限问题,以及MapReduce模型中的计算模型受限和没有系统级的自动优化等问题。
在Dryad编程模式中,应用程序的大规模数据处理被分解为多个步骤,并构成有向无环图形式的任务组织,由执行引擎去执行。这两种模式都提供了简单明了的编程方式,使得工程师能够很好地驾驭云计算处理平台,对大规模数据进行处理。Dryad的编程方式可适应的应用也更加广泛,通过DryadLINQ所提供的高级语言接口,使工程师可以快速进行大规模的分布式计算应用程序的编写。
Dryad技术的应用
云计算最重要的概念之~就是可伸缩性,实现它的关键是虚拟化。通过虚拟化可以在一台共享计算机上聚集多个 *** 作系统和应用程序,以便更好地利用服务器。当一个服务器负载超荷时,可以将其中一个 *** 作系统的一个实例(以及它的应用程序)迁移到一个新的,相对闲置的服务器上。虚拟化(Virtualization)是云计算的基石,企业实现私有云的第一步就是服务器基础架构进行虚拟化。基础设施虚拟化之后。接下来就是要将现有应用迁移到虚拟环境中。
Dryad结合Hyper-V(Windows Server 2008的一个关键组成部分)虚拟化技术。可以实现TB级别数据的在线迁移。中小型企业也可以针对企业内部小型集群服务器进行分布式应用系统编程,以及制定私有云开发与应用解决方案等设计。Windows Azure是微软的公有云解决方案,但是目前要大规模应用还为时过早。使用现有Windows第三方产品实现私有云,花费成本却很大。然而Dryad技术给我们带来了不错的折中选择,当我们基于Windows Server台运行应用系统或者网站时,便可以基于Dryad分布式架构来开发与设计实现。当公有云时机成熟和各种条件完备时,系统可以很轻易地升级到公有云,企业而无需花费太多成本。
写在最后
云计算可以看成是网络计算与虚拟化技术的结合,利用网络的分布式计算能力将各种IT资源筑成一个资源池,然后结合成熟的存储虚拟化和服务虚拟化技术,让用户实时透明地监控和调配资源。Dryad是实现构建微软云计算基础设施的重要核心技术之一,其具有诸多优点,如DryadLINQ具有声明式编程并将 *** 作的对象封装为,NET类数据,方便数据 *** 作,自动并行化、VisualStudio IDE和,NET类库集成,自动序列化和任务图的优化(静态和动态(主要通过DryadAPI实现)),对J0in进行了优化,得到了比BigTable+MapReduee更快的Join速率和更易用的数据 *** 作方式等。
不过,Dryad和DryadLINQ也同样具有局限性。其一,它更适用于批处理任务,而不适用于需要快速响应的任务;这个数据模型更适用于处理流式访问,而不是随机访问。其二,DryadLINQ使用的是,NET的LINO查询语言模型,针对运行Windows HPC Server的计算机集群设计,而目前高性能计算市场被Einux所占领。此外,和MapReduce的应用时间和实践相比,Dryad的可靠性还明显不足,据了解除了微软AdCenter中的数据分析和Trident项目之外,其它应用Dryad的地方还很少。不过总的来看,Dryad平台在将来仍具有很广泛的发展前景,尤其对NET开发人员来说是―次很重要的技术革新机遇。
名词解释
任务管理器(Job Manager,JM):每个Job的执行被一个Job Manager控制,该组件负责实例化这个Job的工作图,在计算机群上调度节点的执行;监控各个节点的执行情况并收集一些信息,通过重新执行来提供容错:根据用户配置的策略动态地调整工作图。
计算机群(Cluster):用于执行工作图中的节点。
命名服务器(Name Server,Ns):负责维护cluster中各个机器的信息。
维护进程(PDaemon,PD):进程监管与调度工作。
一、前端优化
网站性能优化是一个很综合的话题,涉及到服务器的配置和网站前后端程序等各个方面,我只是从实际经历出发,分享一下自己所尝试过的网站性能优化方法。之所以在标题上挂一个web20,是因为本文更偏重于中小网站的性能优化,我所使用的系统也是典型web20的LAMP架构。
首先讲讲前端的优化,用户访问网页的等待时间,有80%是发生在浏览器前端,特别是页面和页面中各种元素(、CSS、Javascript、flash)的下载之上。因此在很多情况下,相对于把大量的时间花在艰苦而繁杂的程序改进上,前端的优化往往能起到事半功倍的作用。雅虎最近将内部使用的性能测试工具yslow向第三方公开,并发布了著名的网站性能优化的十三条规则,建议你下载并安装yslow,并作为测评网站优化效果的工具。下面我挑其中特别有价值的具体说明一下优化的方法:
对于第一次访问您网站,尚未在浏览器cache中缓存您网站内容的用户,我们可以做的事情包括:
1)减少一个页面访问所产生的elebrator(),还有收费的ZendPerformanceSuite
3)将静态内容和动态内容分开处理
apache是一个功能完善但比较庞大的webserver,它的资源占用基本上和同时运行的进程数呈正比,对服务器内存的消耗比较大,处理并行任务的效率也一般。在一些情况下,我们可以用比较轻量级的webserver来host静态的、样式表和javascript文件,这样可以大大提升静态文件的处理速度,还可以减少对内存占用。我使用的webserver是来自俄罗斯的nginx,其他选择方案还包括lig等知名网站应用中都得到了检验。
6)服务器运行状态的检测,找到影响性能的瓶颈所在
系统优化没有一劳永逸的方法,需要通过检测服务器的运行状态来及时发现影响性能的瓶颈,以及可能存在的潜在问题,因为网站的性能,永远取决于木桶中的短板。可以编写一些脚本来检测web服务的运行,也有一些开源的软件也提供了很好的功能
7)良好的扩展架构是稳定和性能的基础
一些技巧和窍门可以帮你度过眼前的难关,但要想使网站具备应付大规模访问的能力,则需要从系统架构上进行彻底的规划,好在很多前人无私的把他们架构
网站的经验分享给我们,使我们可以少走甚多弯路。我最近读到的两篇有启发的文章:
-从LiveJournal后台发展看大规模网站性能优化方法
-Myspace的六次重构
最后不得不提到程序编码和数据库结构对性能的影响,一系列糟糕的循环语句,一个不合理的查询语句、一张设计不佳的数据表或索引表,都足以会使应用程序运行的速度成倍的降低。培养全局思考的能力,养成良好的编程习惯,并对数据库运行机制有所了解,是提高编程质量的基础。
面对不同的工作负载,主频和线程的优势各有不同。主频对CPU的串行处理性能影响大;而核心、线程数对并行能力影响深。
不是说核心越多,主频越低。是因为如果核心多,主频也不降,这样的CPU,功耗和发热都会陡增,无法使用。
一般编程、软件设计,对处理器的要求不高。但如果做Debug,测试等,一颗高频多核的CPU是十分必要的,可以检测程序在多个方面的表现。
基本上所有的软件都对主频敏感,主频上升,通常都会带动性能上升。而多核的调用,要取决于应用软件在编程时是否进行了并行优化。目前的软件,主要进行了双核并行优化,一些大软件,比如大型游戏,工程软件等,会做到4-6核心优化。
XScale体系结构是采用Intel Pentium技术实现的ARM兼容的嵌入式微处理器架构,并对ARM体系结构进行了增强,具有业界领先的高性能和低功耗特性被广泛应用于消费电子、无线通信、多媒体和网络交换等嵌入式应用领域。XScale引入了一系列高性能微处理器的设计技术,总体性能显著地超出同主频的ARM微处理器。然而,由于受功耗、成本和体积等因素的制约,嵌入式微处理器的处理能力与桌面系统相比仍存在较大差距。通常需要对嵌入式应用程序进行性能优化,以满足嵌入式应用的性能需求。
业界对嵌入式系统的性能优化进行了很多研究与实践。文献为XScale优化编译器的设计提供了多种优化技术,也可用于一些应用程序的手工优化;文献从应用程序编程的角度讨论了ARM嵌入式系统软件设计优化技术;文献讨论了提高C/C++嵌入式应用程序性能的一些技巧,其中多数技术可以由优化编译器中实现。
本文在总结XScale优化编译器设计和XScale嵌入式系统设计开发工作的基础上,从系统设计、开发工具选择、编译优化和编程开发等角度讨论和提出了XScale应用程序的优化策略和技术。
1 XScale体系结构
XScale微架构引入了Pentium处理器工艺和系统结构技术,实现了Pentium微处理器体系结构的一系列高性能技术,达到了高性能、低功耗和小体积等嵌入式系统要求的特性。
(1)超流水线
Xscale的超流水线(SuperPipeline)技术,如图1所示,由整数处理(integer)、乘加(MAC)和存储(memory)3条流水线组成。3条流水线的长度是6到9段,前4到5段共享,后面分支部分并行工作可有效提高处理器性能。
(2)高主频
采用Pentium工艺技术,XScale主频可以超出普通ARM微处理器主频数倍,在保持较低能量消耗的前提下,高达600MHz以上。如PXA27X的主频可高达724MHz。
(3)存储体系
XScale实现了一个高效的存储器体系结构,为其超流水线的高效运行提供数据资源。XScale存储体系功能主要包括32KB D-Cache、32KB I-Cache、2KB Mini Dcache、Fill Buffers、ending Buffers以及48GB/s带宽的存储总线,使处理器可以高效访问存储器。
(4)分支预测
XScale实现了基于统计分析的分支预测功能部件,减少由于分支转移冲刷指令流水线的次数,也有效地提高了处理器的性能。
(3)指令集体系结构
针对ARM数据处理能力的不足,XScale对ARM的乘加逻辑进行了增强,增加了8条DSP指令。XScale处理器还可集成Flash闪存和无线MMX逻辑功能。这些特性有效地提高了XScale数据处理能力。带有无线MMX的PXA27X在312MHz主频运行处理多媒体应用时,其性能与520MHz ARM处理器相当。
(6)省去不常用的逻辑功能
为了节省处理器芯片体积和降低运行功耗,XScale体系结构没有实现昂贵的浮点运算部件和除法部件。这些是嵌入式应用中不常用的运算。当需要这类运算时,可以通过软件方法实现。
XScale复杂的体系结构给嵌入式应用程序的优化带来了更大的困难。
2 性能优化技术
XScale处理器性能的发挥很大程度上依赖于应用程序的优化技术。XScale嵌入式应用系统的性能优化可以下几个方面考虑。
21 算法结构优化
实现某种应用功能通常可采用多种算法或方法,不同算法的复杂度和效率差别很大。选择一种高效的算法或对算法进行优化,可以使应用程序获得最大的优化性能。常用的优化技术有以下几种。
(1)选择高效算法
如果算法效率低下,再快的处理器也会显得不够有,而一个高效的算法却可以弥补处理器性能的不足。
考虑从已排序好的n个元素a[0:n-1]中找出某一特定元素x。如果采用顺序搜索方式,从a[0]到a[n-1]逐个比较这n个元素,需要O(n)次比较。而如果采用二分搜索方法,则仅需O(logn)次比较。当n为2 31时,前一算法平均需要比较2 31次,后一算法平均仅需比较31次。两者所需时间相差达10 8倍。
(2)递归算法非递归化
采用递归过程实现算法具有结构清晰、程序简练易读、正确性容易证明的特点;但递归算法通常需要执行大量的过程调用,并在堆栈中保存所有返回过程的局部变量,效率往往较低。当应用程序存在性能问题时,使用循不迭代方法将递归算法转换成非递归算法往往可以使程序性能提高数倍。文献对八皇后问题和Fibonacci数列的递归算法与非递归算法进行了性能比较试验,结果如表1所列。
表1 递归算法和非递归算法的性能对比
问题 递归算法时间/s 非递归算法时间/s 加速比/倍
八皇后问题(最大栈深度为12) 100 20 5
Fibonacci数列(n=40) 50 1 50
算法优化是首选的优化技术。
22 编译优化
随着编译技术的成熟,很多编译器都实现了较强的代码优化功能,可在编译过程中自动对应用程序进行优化,改进一些不合理的结构,生成效率较高的目标代码。
多数编译器都可基于数据流分析实现别名分析、常数拆叠、常数传播、公共子表达式消除、冗余代码和死码删除、循环不变量的移动、循环逆转、循环展开、函数嵌入等与体系结构无关的优化。
GNU gcc、WindRiverdiab、Intl XScale Compiler等常见编译器都针对XScale体系结构进行了优化设计,可以有效地利用XScale/ARM指令的条件执行、条件设置和 *** 作数移位等功能,使一条指令完成多个 *** 作,缩短指令序列的长度;减少跳转指令的数目,减少冲刷流水线的次数;按照XScale超流水线要求,利用3地址指令、多字传送指令、DSP乘加指令和MMX指令等,生成高效的指令序列,提高应用程序的性能。
一些优化编译器可借用并行程序设计技术,进行相关性分析,获得源程序的语义信息,采用软件流水线、数据规划、循环重构等技术,使应用程序呈现更好的局部性,提高Cache命中率,从而提高计算密集型应用程序的性能。对于矩阵计算等计算密集型程序,一些高性能优化编译器生成的代码可以高出普通编译器产生的代码十倍之多。
应用程序开发过程中应该充分利用编译器的代码优化功能,在编码时将主要精力集中在业务逻辑算法流程的设计上,提高编程效率和代码可读性。
23 编程优化
编译优化是静态优化。优化编译器可以自动完成程序段和代码块范围内的优化问题,但编译器很难获取程序语义信息、算法流程和程序运行状态信息。很多情况下也需要编译人员以某种方式将程序运行状态信息传递给编译器,或进行手工优化。以下是常用的编译优化技术。
(1)使用inline函数
多数编译器支持inline关键字。如果一个函数被设计成一个inline函数,那么在调用它们的地方将会用函数体来替代函数调用语句,这样将会彻底省去函数调用的开销。使用inline的最大缺点是函数在被多处调用时,代码量将增大。
(2)减少函数调用参数
根据ARM过程调用规范,4个以下的形参通过寄存器传递,第5个以上的形参通过存储器栈传递。显然,通过存储器栈传送参数的开销较大。函数调用形参限制在4个以内,可以降低函数调用的开销。
(3)在Switch是一种使用普通的编程技术。编译器为之产生if-else-if嵌套代码,并按照顺序进行比较,发现匹配则跳到满足条件的语句执行。编程时,根据发生的相对频率排序,将最可能发生的情况放在第一位,最不可能的情况放在最后一位,可以提高Switch语句块的执行速度。
实际上,程序中if条件的处理也有类似的特性。
(4)避免使用C++的昂贵功耗
C++在支持软件工程、面向对象程序设计、结构化对C进行卓有成效的改进,但在代码尺寸、执行速度等方面比C语言差一些。C++的类机制与C语言的结构差别不大,但C++的多重继承、虚拟基类、模板和运行类型识别等特性对代码尺寸和运行效率有负面影响。对这些功能要慎重使用,可以通过试验测试其影响的大小。
(5)减少或避免执行耗时的 *** 作
应用程序的主要执行时间通常花费在关键路径代码段或程序模块,关键路径程序模块往往包含循环或嵌套循环。减少循环或内层循环中昂贵 *** 作的执行频率可以显著地提高应用程序的效率。常见的耗时 *** 作有:I/O *** 作、文件访问、图形界面 *** 作和系统调用等。
表2列出了XScale常见的I/O处理、系统调用和文件访问等昂贵 *** 作的代价。
(2)避免浮点运算
XScale没有实现浮点部件。浮点运算是通过系统库实现的,代价很高,通常也应该避免,有时可以转换成整数运算。包含浮点运算的库例程有格式化输入输出(scanf/printf)等。XScale中常见浮点运算的代价如表3所列。
表3 XScale常见浮点运算的代价
运算类型 代价(时钟周期/个)
加法+ 400
乘法 400
除法/ 500
我 不知道这个能不能帮你`1你自己可以看看<参考资料>
以上就是关于【云计算新的基石,微软Dryad分布式并行计算平台解析】 云计算是并行计算全部的内容,包括:【云计算新的基石,微软Dryad分布式并行计算平台解析】 云计算是并行计算、如何进行网站性能优化、cpu对用软件来说是核心多好还是主频高好等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)