HDFS集群中NameNode 存在单点故障问题，对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。
影响HDFS集群不可用主要包括以下两种情况：
NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用。
计划需要对NameNode节点软件或硬件升级，导致集群在短时间内不可用。
为了解决上述问题，Hadoop给出了HDFS的 高可用 HA方案：HDFS的HA通常由两个NameNode组成，一个处于 active 状态，另一个处于 standby 状态。Active NameNode对外提供服务，比如处理来自客户端的RPC请求，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。而这里的快速切换是如何实现的呢？是通过zookeeper的 动态上线感知 来实现的。
简单介绍下zookeeper是什么？
ZooKeeper 顾名思义 动物园管理员 ，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，ZooKeeper是以Fast Paxos算法为基础，实现同步服务，配置维护和命名服务等分布式应用。这是zookeeper的官方介绍，对于程序原来说zookeeper在hadoop中的应用可以理解为是hadoop的整体监控系统，如果namenode宕机后，这时候Zookeeper 的重新选出leader。这是它最大的作用所在。
接下来看看zookeeper的 动态上线感知 图：
1、首先在hadoop中配置自动故障转移机制。
2、在配置HA的时候首先配置zookeeper集群，然后启动zookeeper集群。
3、在第一次启动hadoop的HA之前先初始化HA在zookeeper中的状态然后启动HA，在启动过程中会在各个NameNode节点上启动DFSZK Failover Controller，作用就是向zookeeper中注册服务器的信息，然后hadoop通过进程监控在zookeeper中的节点状态。
4、在zookeeper中注册的节点是临时节点，当服务器宕机下线的时候，zookeeper会把这个节点删除掉，这样才会产生事件，客户端（hadoop）才能监听到，然后hadoop将Standby NameNode转换为Active NameNode。
如果大家了解微服务和分布式服务器架构等技术的话，那么对于如何解决系统运行中出现的BUG造成的破坏和损失这些问题也应该有自己独到的见解吧。今天，电脑培训就一起来了解一下，在服务器运行过程中出现的问题都有哪些解决方法。
随着微服务和分布式云架构的崛起，Web变得日趋复杂，“随机性”的故障因此变得越来越难以预测，而我们对这些系统的依赖却与日俱增。
这些故障给公司造成巨大损失，也给用户带来很大的麻烦，影响他们进行在线购物、交易或打断他们的工作。即使是一些简单的故障也会触及公司的底线，因此，宕机时间就成为很多工程团队的KPI。2017年，有98%的企业表示，一小时的宕机时间将给他们带来超过10万美元的损失。一次服务中断有可能让一个公司损失数百万美元。近，英国航空的CEO透露，2017年5月发生的一次技术故障造成数千名乘客滞留机场，给公司造成8000千万英镑的损失。
企业需要想办法解决这些问题，因为等到下一次事故发生就为时已晚。为此，混沌工程应运而生。
混沌工程旨在将故障扼杀在襁褓之中，也就是在故障造成中断之前将它们识别出来。通过主动制造故障，测试系统在各种压力下的行为，识别并修复故障问题，避免造成严重后果。
混沌工程将预想的事情与实际发生的事情进行对比，通过“有意识地搞破坏”来提升系统的d性。
混沌工程简史
混沌工程先出现在互联网巨头公司中，这些公司拥有大规模的分布式系统，因为这些系统太过复杂，他们需要一些新的手段来测试它们。
2010年
NetflixEngTools团队开发出了ChaosMonkey。当时，Netflix从物理基础设施迁移到AWS上，为了保证AWS实例的故障不会给Netflix的用户体验造成影响，他们开发了这个工具，用来测试系统。
2011年
SimianArmy诞生，在ChaosMonkey的基础上增加了故障注入模式，可以测试更多的故障场景。Netflix认为，云的特点是冗余和容错，但没有哪个组件能够保证100%的可用性，所以他们必须设计出一种云架构，在这种架构里，个体组件的故障不会影响到整个系统。
2012年
Netflix在GitHub上开源了ChaosMonkey，并声称他们“已经找到了应对主要非预期故障的解决方案。通过经常性地制造故障，我们的服务因此变得更有d性。”
2014年
Netflix团队创建了一种新的角色，叫作混沌工程师。BruceWong发明了这个角色，并由DanWoods在Twitter上向广大的工程社区推广。DanWoods解释说，“我从KoltonAndrus那里学到了更多有关混沌工程的知识，他把它叫作故障注入测试”。
2014年10月，当时Gremlin的联合创始人KoltonAndrus还在Netflix，他们在SimianArmy的基础上提出了故障注入测试(FIT)概念，开发者可以更灵活地控制注入故障的“杀伤力范围”。因为SimianArmy有时候会造成非常严重的故障，所以Netflix的开发者对它抱有疑虑，而FIT可以更好地控制故障粒度，于是他们就由此想出了混沌工程这个概念。
（NFS）（Network File System）是个分布式的客户机/服务器文件系统。NFS的实质在于用户间计算机的共享。用户可以联结到共享计算机并像访问本地硬盘一样访问共享计算机上的文件。管理员可以建立远程系统上文件的访问，以至于用户感觉不到他们是在访问远程文件。
NFS是个到处可用和广泛实现的开放式系统。 允许用户象访问本地文件一样访问其他系统上的文件。提供对无盘工作站的支持以降低网络开销。
简化应用程序对远程文件的访问使得不需要因访问这些文件而调用特殊的过程。
使用一次一个服务请求以使系统能从已崩溃的服务器或工作站上恢复。
采用安全措施保护文件免遭偷窃与破坏。
使NFS协议可移植和简单，以便它们能在许多不同计算机上实现，包括低档的PC机。
大型计算机、小型计算机和文件服务器运行NFS时，都为多个用户提供了一个文件存储区。工作站只需要运行TCP/IP协议来访问这些系统和位于NFS存储区内的文件。工作站上的NFS通常由TCP/IP软件支持。对DOS用户，一个远程NFS文件存储区看起来是另一个磁盘驱动器盘符。对Macintosh用户，远程NFS文件存储区就是一个图标。 服务器目录共享 服务器广播或通知正在共享的目录，一个共享目录通常叫做出版或出口目录。有关共享目录和谁可访问它们的信息放在一个文件中，由 *** 作系统启动时读取。
客户机访问 在共享目录上建立一种链接和访问文件的过程叫做装联(mounting)，用户将网络用作一条通信链路来访问远程文件系统。
NFS的一个重要组成是虚拟文件系统(VFS)，它是应用程序与低层文件系统间的接口。 close文件关闭 *** 作
create 文件生成 *** 作
fsync将改变保存到文件中
getattr 取文件属性
link 用另一个名字访问一个文件
lookup 读目录项
mkdir建立新目录
open 文件打开 *** 作
rdwr 文件读写 *** 作
remove 删除一个文件
rename 文件改名
rmdir删除一目录
setattr 设置文件属性 Andrew File System(AFS)Andrew文件系统(AFS)
AFS是专门为在大型分布式环境中提供可靠的文件服务而设计的。它通过基于单元的结构生成一种可管理的分布式环境。一个单元是某个独立区域中文件服务器和客户机系统的集合，这个独立区域由特定的机构管理。通常代表一个组织的计算资源。用户可以和同一单元中其他用户方便地共享信息，他们也可以和其他单元内的用户共享信息，这取决于那些单元中的机构所授予的访问权限。
文件服务器进程 这个进程响应客户工作站对文件服务的请求，维护目录结构，监控文件和目录状态信息，检查用户的访问。
基本监察(BOS)服务器进程 这个进程运行于有BOS设定的服务器。它监控和管理运行其他服务的进程并可自动重启服务器进程，而不需人工帮助。
卷宗服务器进程 此进程处理与卷宗有关的文件系统 *** 作，如卷宗生成、移动、复制、备份和恢复。
卷宗定位服务器进程 该进程提供了对文件卷宗的位置透明性。即使卷宗被移动了，用户也能访问它而不需要知道卷宗移动了。
鉴别服务器进程 此进程通过授权和相互鉴别提供网络安全性。用一个“鉴别服务器”维护一个存有口令和加密密钥的鉴别数据库，此系统是基于Kerberos的。
保护服务器进程 此进程基于一个保护数据库中的访问信息，使用户和组获得对文件服务的访问权。
更新服务器进程 此进程将AFS的更新和任何配置文件传播到所有AFS服务器。
AFS还配有一套用于差错处理，系统备份和AFS分布式文件系统管理的实用工具程序。例如，SCOUT定期探查和收集AFS文件服务器的信息。信息在给定格式的屏幕上提供给管理员。设置多种阈值向管理者报告一些将发生的问题，如磁盘空间将用完等。另一个工具是USS，可创建基于带有字段常量模板的用户帐户。Ubik提供数据库复制和同步服务。一个复制的数据库是一个其信息放于多个位置的系统以便于本地用户更方便地访问这些数据信息。同步机制保证所有数据库的信息是一致的。
分布式系统一定是由多个节点组成的系统。
其中，节点指的是计算机服务器，而且这些节点一般不是孤立的，而是互通的。
这些连通的节点上部署了我们的节点，并且相互的 *** 作会有协同。
分布式系统对于用户而言，他们面对的就是一个服务器，提供用户需要的服务而已，
而实际上这些服务是通过背后的众多服务器组成的一个分布式系统，因此分布式系统看起来像是一个超级计算机一样。
集群是指在几个服务器上部署相同的应用程序来分担客户端的请求。
它是同一个系统部署在不同的服务器上，比如一个登陆系统部署在不同的服务器上。
好比多个人一起做同样的事。
集群主要的使用场景是为了分担请求的压力。
但是，当压力进一步增大的时候，可能在需要存储的部分，比如mysql无法面对大量的“写压力”。
因为在mysql做成集群之后，主要的写压力还是在master的机器上，其他slave机器无法分担写压力，这时，就引出了“分布式”。
分布式是指多个系统协同合作完成一个特定任务的系统。
它是不同的系统部署在不同的服务器上，服务器之间相互调用。
好比多个人一起做不同的事。
分布式是解决中心化管理的问题，把所有的任务叠加到一个节点处理，太慢了。
所以把一个大问题拆分为多个小问题，并分别解决，最终协同合作。
分布式的主要工作是分解任务，把职能拆解。
分布式的主要应用场景是单台机器已经无法满足这种性能的要求，必须要融合多个节点，并且节点之间的相关部分是有交互的。
相当于在写mysql的时候，每个节点存储部分数据（分库分表），这就是分布式存储的由来。
存储一些非结构化数据：静态文件、、pdf、小视频 这些也是分布式文件系统的由来。
分布式消息 MQ 的两种订阅方式如下：
一、点对点模式：
1、场景：
客户端A和客户端B使用同一队列，进行消息通讯，客户端 A 发布消息，客户端 B 接收消息。
2、点对点模式包含三个角色——消息队列，发送者，接收者：
发送者发送消息到消息队列中，接收者从消息队列中取出消息进行接收，消息接收后，消息队列中将不再存储该消息，其他接收者不可能再接收到这条消息。
3、特点：
（1）每个消息只有一个接收者。
（2）发送者和接收者之间没有依赖性，发送者发送消息后，消息直接存储在消息队列中，接收者是否在线并不影响发送。
（3）接收者成功接收消息之后，需要向消息队列应答成功，以便消息队列删除该条消息。
二、发布订阅模式：
1、场景：
客户端 A，客户端 B，客户端 N 等订阅同一主题，进行消息发布和接收。
2、点对点模式包含三个角色——角色主题（topic），发布者（publisher），订阅者（subscriber）：
发送者将消息发送到topic，系统将这些消息传递给多个订阅者。
3、特点：
（1）每个消息可以有多个订阅者。
（2）发布者和订阅者之间有时间上的依赖性。针对某个主题的订阅者，它必须创建一个订阅者之后，才可以接收发布者发布的消息。
（3）为了消费消息，订阅者需要提前订阅该角色主题，并保持在线运行。
分布式消息（服务）介绍：
分布式消息服务是一个用来处理分布式系统中的消息，分布式应用程序通过网络访问位于不同服务器上的消息队列，就像访问本地系统一样。
分布式消息服务是一个专为企业级应用开发的软件服务，具有高可用，高扩展，高性能，可根据需要灵活部署和伸缩的特点。分布式消息服务是一个托管的高性能消息队列服务，拥有高吞吐，高可用，高可靠，可根据需要灵活配置的队列服务，满足不同应用场景的需要。
分布式消息服务是一个高吞吐、高可用的消息中间件服务，使用消息队列通信，具有大规模、高可靠、高并发访问、可扩展、高安全、可d性伸缩、便捷管理的特点。
百度百科-分布式
百度百科-分布式信息系统
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）