
光纤交换机跟普通交换机有什么区别呢?相对而言光纤收发器是采用了光纤电缆作为传输介质。那么光纤传输有哪些优势呢?现在简单的告诉大家就是光纤传输的速度快、抗干扰能力较强。是一种高速的网络传输中继设备。交换机的级别分为:入门级交换机、工作组级光纤交换机、核心级光纤交换机。那么先从核心级光纤交换机讲起!核心级交换机(又叫导向器)一般位于大型SAN的中心,使若干边缘交换机相互连接,形成一个具有上百个端口的SAN网络。核心交换机也可以用作单独的交换机或者边缘交换机,但是它增强的功能和内部结构使它在核心存储环境下工作的更好。核心交换机的其他功能还包括:支持光纤以外的协议(像InfiniBand)、支持2Gbps光纤通道、高级光纤服务。 核心级光纤交换机通常提供很多端口,从64口到128个端口到更多。它使用非常宽的内部连接,以最大的带宽路由数据帧。使用这些交换机的目的是为了建立覆盖范围更大的网络和提供更大的带宽,它们被设计成为在多端口间以尽可能快的速度用最短的延迟路由帧信号。 另外,核心光纤交换机往往采用基于“刀片式”的热插拔电路板:只要在机柜内插入交换机插板就可以添加需要的新功能,也可以作在线检修,还可以做到在线的分阶段按需扩展。许多核心级交换机不支持仲裁环或者其他的直连环路设备,它们只关心核心交换的能力。由于在整个环境里面可用性是最重要的,人们都愿意花更多的钱购买冗余性,高冗余交换机的所有部件都是冗余的,完全去除了单点故障,而且保证了非常长久的正常运行时间。这些在冗余上支出的费用一般花费在高可用性背板、电源、冗余电路和维护可用性的软件上。这种类型的交换机内置很多逻辑电路,用来处理交换机内部的硬件故障。
由于namenode在内存中维护系统中的文件和数据块的映射信息,所以对于一个海量文件的集群来说,内存将成为系统横向扩展瓶颈。Hadoop在2x的版本引入了联邦HDFS(HDFS Federation),通过在集群中添加namenode实现。
Federation的架构:
1、每个namenode相互独立,单独维护一个由namespace元数据和数据块池(block pool)组成的命名空间卷(namespace volume)——图中的NS-x。
2、数据块池包含该命名空间下文件的所有数据块。命名空间卷相互独立,两两间互不通信,即使一个namenode挂掉,也不会影响其他namenode
3、datanode被用作通用的数据存储设备,每个datanode要向集群中所有的namenode注册,且周期性的向所有namenode发送心跳和报告,并执行来自所有namenode的命令
4、当一个namespace被删除后,所有datanode上与其对应的block pool也会被删除。当集群升级时,每个namespacevolume作为一个基本单元进行升级。
虽然引入了多个namenode管理多份namespace,但是对于单个namenode,依然存在单点故障问题(Single point of failure),如果某个namenode挂掉了,那么所有客户端都无法 *** 作文件。
联邦hdfs仍然需要引入secondary namenode。直到secondary namenode满足以下所有条件时,才能提供服务:
1、将命名空间镜像导入内存
2、重演编辑日志
3、接收到足够的来自datanode的块映射报告并退出安全模式。
保障集群的可用性,可以使用NAS共享存储。主备namenode之间通过NAS进行元数据同步。但是有一下缺陷:
1、硬件设备必须支持NAS
2、部署复杂,部署完namenode还需要在NFS挂载、解决NFS的单点及脑裂,容易出错
3、无法实现同一时间只能有一个namenode写数据
Hadoop2针对以上问题增加了QJM(Quorum Journal Manager),由多个JN组成,一般配置为奇数个。QJM中有一对active-standby的namenode。当active namenode失效时,standby namenode会接管它继续提供服务。
工作原理如下:
1、namenode之间通过一组 journal node 共享编辑日志,standby namenode接管后,需要读取整个编辑日志来与active namenode同步状态,并继续读取active namenode写入的新 *** 作。
2、datanode需要同时向这组active-standby namenode发送数据块处理报告,因为数据块的映射信息保存在namenode的内存中。
3、客户端使用ZKFC(zookeeper failover-controller)来处理namenode失效问题,该进程运行在每个namenode上,通过heartbeat监测active namenode是否失效
4、secondary namenode的角色被standby namenode取代,由standby namenode为active namenode设置check point
5、QJM的实现没有使用zookeeper。但是在HA选举active namenode时,使用了zookeeper。
6、在某些特殊情况下(如网速慢),可能发生故障转移,这时有肯能两个namenode都是active namenode——脑裂。QJM通过fencing(规避)来避免这种现象。
Namenode(包括 YARN ResourceManager) 的主备选举是通过 ActiveStandbyElector 来完成的,ActiveStandbyElector 主要是利用了 Zookeeper 的写一致性、 临时节点和观察者机制
1、 创建锁节点: 如果 ZKFC 检测到对应的 NameNode 的状态正常,那么表示这个 NameNode有资格参加Zookeeper 的主备选举。如果目前还没有进行过主备选举的话,那么相应的会发起一次主备选举,尝试在 Zookeeper 上创建一个路径为/hadoopha/${dfsnameservices}/ActiveStandbyElectorLock 的临时结点, Zookeeper 的写一致性会保证最终只会有一次结点创建成功,那么创建成功的 NameNode 就会成为主 NameNode, 进而切换为 Active 状态。而创建失败的 NameNode 则切换为 Standby 状态。
2、 注册 Watcher 监听: 不管创建/hadoop-ha/${dfsnameservices}/ActiveStandbyElectorLock 节点是否成功, ZKFC 随后都会向 Zookeeper 注册一个 Watcher 来监听这个节点的状态变化事件, ActiveStandbyElector 主要关注这个节点的 NodeDeleted 事件。
3、 自动触发主备选举: 如果 Active NameNode 状态异常时, ZKFailoverController 会主动删除临时结点/hadoop-ha/ {dfsnameservices}/ActiveStandbyElectorLock 结点的流程,如果创建成功,这个本来处于 Standby 状态的 NameNode 就选举为主 NameNode 并随后开始切换为 Active 状态。
4、 当然,如果是 Active 状态的 NameNode 所在的机器整个宕掉的话,那么根据 Zookeeper 的临时节点特性, /hadoop-ha/${dfsnameservices}/ActiveStandbyElectorLock 节点会自动被删除,从而也会自动进行一次主备切换。
脑裂的原因
如果 Zookeeper 客户端机器负载过高或者正在进行 JVM Full GC,那么可能会导致 Zookeeper 客户端到服务端的心跳不能正常发出,一旦这个时间持续较长,超过了配置的 Zookeeper Session Timeout 参数的话, Zookeeper 服务端就会认为客户端的 session 已经过期从而将客户端的 Session 关闭。“假死”有可能引起分布式系统常说的双主或脑裂(brain-split) 现象。具体到本文所述的 NameNode,假设 NameNode1 当前为 Active 状态,NameNode2 当前为 Standby 状态。如果某一时刻 NameNode1 对应的 ZKFC 进程发生了“假死”现象,那么 Zookeeper 服务端会认为 NameNode1 挂掉了,根据前面的主备切换逻辑, NameNode2 会替代 NameNode1 进入 Active 状态。但是此时 NameNode1 可能仍然处于 Active 状态正常运行,即使随后 NameNode1 对应的 ZKFailoverController 因为负载下降或者 Full GC 结束而恢复了正常,感知到自己和 Zookeeper 的 Session 已经关闭,但是由于网络的延迟以及 CPU 线程调度的不确定性,仍然有可能会在接下来的一段时间窗口内NameNode1 认为自己还是处于 Active 状态。这样 NameNode1 和 NameNode2 都处于Active 状态,都可以对外提供服务。这种情况对于 NameNode 这类对数据一致性要求非常高的系统来说是灾难性的,数据会发生错乱且无法恢复。
Hadoop 的 fencing 机制防止脑裂: 中文翻译为隔离,也就是想办法把旧的 Active NameNode
隔离起来,使它不能正常对外提供服务。 ZKFC 为了实现 fencing,会在成功创建 Zookeeper临时结点 hadoop-ha/ {dfsnameservices}/ActiveBreadCrumb 的持久节点,这个节点里面也保存了 Active NameNode 的地址信息。 正常关闭 Active NameNode时, ActiveStandbyElectorLock 临时结点会自动删除,同时, ZKFC 会删除 ActiveBreadCrumb结点。但是如果在异常的状态下 Zookeeper Session 关闭 (比如前述的 Zookeeper 假死),那么由于 ActiveBreadCrumb 是持久节点,会一直保留下来。后面当另一个 NameNode 选主成功之后,会注意到上一个 Active NameNode 遗留下来的这个节点,从而会对旧的 ActiveNameNode 进行 fencing
Hadoop 的两种 fencing 机制:
只有在成功地执行完成 fencing 之后,选主成功的 ActiveStandbyElector 才会回调ZKFailoverController 的 becomeActive 方法将对应的 NameNode 转换为 Active 状态,开始
对外提供服务。
基于 QJM 的共享存储系统的总体架构: 基于 QJM 的共享存储系统主要用于保存EditLog,并不保存 FSImage 文件。 FSImage 文件还是在 NameNode 的本地磁盘上。
QJM共享存储的基本思想来自于 Paxos 算法,采用多个称为 JournalNode 的节点组成的JournalNode 集群来存储 EditLog。每个 JournalNode 保存同样的 EditLog 副本。
每次NameNode 写 EditLog 的时候,除了向本地磁盘写入 EditLog 之外,也会并行地向JournalNode 集群之中的每一个 JournalNode 发送写请求,只要大多数 (majority) 的
JournalNode 节点返回成功就认为向 JournalNode 集群写入 EditLog 成功。如果有 N 台JournalNode,那么根据大多数的原则,最多可以容忍有 (N-1)/2 台 JournalNode 节点挂掉。 基于 QJM 的共享存储系统的数据同步机制: Active NameNode 和 StandbyNameNode 使用JouranlNode 集群来进行数据同步的过程如图所示, Active NameNode 首先把 EditLog 提交到 JournalNode 集群,然后 Standby NameNode 再从 JournalNode 集群定时同步 EditLog
SonicWALL PRO 2040
SonicWALL PRO 2040是一个灵活的、高性能和容易使用的全面安全平台,它保护用户的网络资源,提升员工的灵活性和生产力,以及保持用户的商务正常运作,保证商务永不停顿。
SonicWALL PRO 2040可为中型企业(约200用户或50分支的企业)的互联网应用提供完善的保护。通过新一代的SonicOS *** 作系统,SonicWALL PRO 2040将为用户提供商务级别高性能的防火墙和***,通过新一代的高性能CPU处理器和硬件加密加速处理器,SonicWALL PRO 2040将为用户提供高性价比的防火墙和***功能。
SonicWALL PRO 2040用户能全面利用SonicWALL的安全增值服务保护网络,包括网络防病毒、内容过滤、全球管理系统和整体客户端安全软件(Global Security Client)等。和其它安全厂家不同,SonicWALL 不需要另外购买附加设备或软件包。把所有的服务已内置(Build in)在SonicWALL 的安全设备,您什么时候需要这些功能,只需要购买授权(License)就可以使用。
当SonicWALL PRO 2040升级到SonicOS 增强版,SonicWALL PRO 2040能提供空前的自定义能力。SonicOS 增强版将激活PRO 2040 第四端口,允许网络管理员设置成为第二个LAN 口,第二个WAN 口,第二个DMZ 口,其它的网络区(zone)或作为硬件的双机热备(Fail – over)口。
SonicOS 增强版包括对象管理、ISP的线路备份和负载均衡、硬件备份和策略NAT的新功能。很多公司利用以上功能较低管理负担和保障公司的网络不间断。直到最近,这些功能只有出现在大型网络使用的昂贵的网络安全设备才有。今天SonicWALL PRO 2040产品再加上SonicOS 增强版软件就有对象管理、ISP的线路备份和负载均衡、硬件备份和策略NAT的新功能。
SonicWALL PRO 2040容易安装和管理,提供的安装向导使安装更简单。通过SonicWALL PRO 2040防火墙保障公司内部网络的安全,各分支机构通过Site to Site ***和移动用户通过*** 客户端和总部连接,保障各分点数据通讯的安全。管理员可通过标准浏览器如:IE、Netscape等来管理,或通过SonicWALL 全球管理系统来管理,保障商务永不停顿。
SonicWALL PRO 2040 产品特性
SonicOS 标准功能
易于使用和管理
新型GUI图形界面和高级管理向导:PRO 2040 产品可以通过直观的Wed界面对产品进行管理和配置,使得对产品的配置变得极为轻松。高级管理向导使安装和管理更容易。
完全安全增值服务:PRO 2040 产品包含SonicWALL所有的安全增值服务,包括网络防病毒、内容过滤、全球管理系统和整体客户端安全软件(Global Security Client)等,不需要另外购买附加设备或软件包。
高性能
高性能ASIC *** 加密芯片:通过专用的芯片进行编解码运算,PRO 2040可为用户提供高的处理能力;防火墙的状态检测包过滤功能达到200Mbps,及在3DES加密条件下达高达50Mbps的数据吞吐量和支持AES的***。
硬件AES支持:所有的SonicWALL 设备均可通过硬件支持新一代的加密标准。
SonicOS 加强版功能
保障商务永不停顿
ISP线路备份:PRO 2040 可支持两条ISP接入链路,并可提供两条接入线路间的互为备份。
WAN冗余和负载均衡:SonicOS 增强版将激活PRO 2040 第四端口,允许设置成第二个WAN口,保障商务永不停顿。第二个WAN支持 “active-active” 负载均衡架构或外出流量负载均衡保证最大Internet 吞吐量。
硬件备份:当主防火墙设备因为某些因素失效后,备份防火墙设备可自动接替其工作,使正常的应用不发生中断。
增强部署的灵活性
支持第四端口自定义:SonicOS 增强版将激活PRO 2040 第四端口,可以方便由网络管理员设置成为第二个LAN 口,第二个WAN 口,第二个DMZ 口,其它的网络区(zone)或作为硬件的双机热备(Fail – over)口。
支持多端口的安全区域自定义:网络管理员可将PRO 2040的多个物理端口定义为逻辑区域,以方便其可用性和可管理性,同时,还能增强其部署到用户中的可扩展性与安全性。
基于对象的策略管理机制:PRO 2040均提供由网络管理员自定义对象的能力,如用户群(User Group)、网络(Network)、服务(Service)或接口(Interface)。当网络管理员需要生成或编辑安全策略时,可以方便的调用预先定义好的对象,使管理变得简单有效。
策略NAT:PRO 2040 除了支持常见的NAT功能(多对一)外,还可以提供更多的NAT策略控制权。如:一对一的NAT、多对多NAT、一对多NAT,地址端口转换(PAT),及选择特定的源/目的地址进行NAT转换,使各种管理及支持变得更加便捷。
SonicWALL PRO 2040 产品技术参数
防火墙带宽 200 Mbps ***通道数 50
最大并发连接数 32,000 3DES & AES最大带宽 50 Mbps
最大安全规则数 1,000 赠送*** Client用户数 10(最大100)
最大定义对象组 64 最大对象用户数 500
最大路由规则数 192 10/100M以太网接口 4个
硬件
处理器:Intel 专用800 MHz ASIC处理器
内存: 128 MB
闪存: 64 MB
端口:4个 10/100自适应以太网端口
SonicOS 标准版:(3)个 10/100自适应以太网端口
(1)个串口
SonicOS 增强版:(4)个 10/100自适应以太网端口
(1)个串口 尺寸:1700 x 1300 x 175 英寸
(4318 x 3302 x 445 厘米)
重量:850磅(386公斤)
电源:100V~240V AC,50-60Hz,4A
安全
ICSA 认证,全状态检测
用户数限制:无限
最大并发连接数:32,000
防火墙性能:200Mbps
***
IPSec ***,和其它IPSec *** 网关兼容
捆绑10 个*** 客户端授权,同时最大支持100个客户端
Site to Site *** 通道数:50
3DES and AES : 50Mbps
增值服务
SonicWALL 硬件备份
SonicWALL 安全增值服务包括:网络防病毒、内容过滤、SonicWALL 全球管理系统(SGMS)和Viewpoint
支持标准
TCP/IP, UDP, ICMP, HTTP, RADIUS, IPSec, ISAKMP/IKE, SNMP, L2TP, DHCP, PPPoE, PPTP,Radius
认证
ICSA Firewall, ICSA IPSec ***
强制认证:
EMC: FCC Class A, ICES Class A, CE, C-Tick, VCCI, BSMI, MIC, NOMSafety: UL, cUL, TUV/GS
使用环境
使用温度:40-105(华氏)5-40(摄氏)
湿度:10~90%
1、零性能影响:与磁盘存储不同,主存储器活跃数据集的性能比能够用某种形式的数据缩减技术节省存储容量。只在需要去重的数据达到非活跃状态时才为活跃存储去重。
2、高可用性:由于网络基础设施级上几乎总是设计具有的高可用性而取得冗余性。主存储器实现了不需要IT管理人员付出额外努力的无缝的故障切换;它利用了已经在网络上所做的工作。
3、节省空间:主存储器压缩对所有可用数据都有效,并且它在可以为高冗余数据节省更多的存储容量的同时,还为主存储应用常见的更随机的数据模式始终带来更高的节省。
4、独立于应用:主存储器来自所有跨数据类型(不管产生这些数据是什么应用或数据有多活跃)的数据缩减。虽然实际的缩减率根据去重数据的水平或数据的压缩率的不同而不同,但所有数据都必须合格。
5、互补:当备份主存储时,主存储器使用存储处理器或外部读出器资源解压数据,扩展网络资源以把数据传送给备份目标,把额外的资源分配给保存备份数据的备份存储设备。
扩展资料:
主存储器其作用是存放指令和数据,并能由中央处理器(CPU)直接随机存取。现代计算机是为了提高性能,又能兼顾合理的造价,往往采用多级存储体系。即由存储容量小,存取速度高的高速缓冲存储器,存储容量和存取速度适中的主存储器是必不可少的。
主存储器按地址存放信息,存取速度一般与地址无关。32位(比特)的地址最大能表达4GB的存储器地址。这对多数应用已经足够,但对于某些特大运算量的应用和特大型数据库已显得不够,从而对64位结构提出需求。
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)