服务器所有文件都多了一个扩展名.GRANNY

基本认识：

（一）客户端与服务器端

客户端：浏览者（客户和管理员）使用的计算机。

服务器端：存放网页文件的计算机，发送脉冲、服务器解码所需的协议。

>

（二）文件名，基本名，扩展名

文件名=基本名+扩展名

扩展名：用来区分文件类型。

>如文件名demotxt：demo为基本名，txt为扩展名

（三）打开网页的执行过程

客户端向服务器发送一个请求，服务器在收到请求后将页面代码发送给客户端，然后通过浏览器的解析，生成用户所看到的页面。

（四）站点

站点：放置网站中的网页静态资源（html，css，js，，flash动画，gif）的文件夹。方便管理网站。

做网站的第一步即见文件夹。

（五）基本框架

html：超文本标记语言。（hypertextmark-up）

语法规则：

所有命令都要放到<>

大部分标记都是承兑出现

标签大部分都是<tag>开始，</tag>结束

html语言不区分大小写

如：

标记a：<a></a>

标记b：<b></b>

基本框架：

步骤：计算机新建文件夹——新建记事本文件——扩展名改html——双击打开

注：出现乱码要设置浏览器字符编码。

转载表面上看，是一套基于B/S方式实现的分布式管理系统，但其实背后的架构是基于C/S完成的。你以为他是一只鞋吗？其实他是一个吹风机。作为界面化的系统，浏览器框架是不可或缺的，但更加重要的东西在Socket上面。

一、需要解决中央控制端到各节点服务器之间的通信。

这个其实牵扯到一个通信协议的问题，各语言都有自己的socket，thread的库，直接调用即可。但是这个通信协议就需要自己来完成了。既不能太简单，太简单了，明码传输，如果别人获知了这个接口，就很容易执行一些令人讨厌的 *** 作。也不能太复杂，太复杂了等于是给自己找麻烦，所以简单的数据包编解码的工作或者用token验证的方式是需要的。通信协议起码要两种，一种是传输命令执行的协议，一种是传输文件的协议。

二、跨语言的socket通信

为什么要跨语言，主控端和代理端通信，用什么语言开发其实无所谓。但是为了给自己省事，尽可能使用服务器上已经有了的默认语言，Ambari前期采用phppuppet的方式管理集群，这不是不可以，puppet自己解决了socket通信协议和文件传输的问题，可你需要为了puppet在每台服务器上都安装ruby。我是个有点服务器和代码洁癖的人。光是为了一个puppet就装个ruby，我觉得心里特对不起服务器的资源。所以我自己写了一个python的代理端。python是不管哪个linux系统在安装的时候就都会有了。然后主控端的通信，可以用python实现，也可以用php实现，但是考虑到对于更多的使用者来说，改php可能要比改tornado简单许多，所以就没用python开发。hadoop分支版本众多，发布出去，用户要自己修改成安装适合自己的hadoop发行版，就势必要改源码，会php的明显比会python的多。php里面的model封装了所有的 *** 作，而python只是个 *** 作代理人的角色而已。

所以也延伸出一个问题，什么语言用来做这种分布式管理系统的代理端比较合适，我自己觉得，也就是python比较合适了， *** 作系统自带，原生的package功能基本够用。用java和php也可以写agent，但是你势必在各节点预先就铺设好jre或者php运行环境。这就跟为什么用python和java写mapred的人最多是一样的。没人拦着你用nodejs写mapred，也可以写，就是你得在每个节点都装v8的解释引擎，不嫌麻烦完全可以这样干。原理参看map/rece论文，不解释。perl也是 *** 作系统原生带的，但是perl的可维护性太差了，还是算了吧。

所以这就牵扯到一个跨语言的socket问题，理论上来说，这不存在什么问题。但这是理论上的，实际开发过程中确实存在问题，比如socket长连接，通信数据包在底层的封装方式不同。我没有使用xml-rpc的原因之一就是我听说php的xmlrpc跟其他语言的xmlrpc有不同的地方，需要修改才能用,我就没有用这种办法。最早是自己定义的 *** 作协议，这时就遇到了这些问题，所以后来直接采用了thrift方式。就基本不存在跨语言的socket通信问题了。

三、代理端执行结果的获取

无论命令还是文件是否在代理端执行成功，都需要获取到执行结果返回给中央端。所以这里也涉及一个读取节点上的stdout和stderr的问题。这个总体来说不是很难，都有现成的包。当然这个时候你需要的是阻塞执行，而不能搞异步回调。

还有个问题是，我要尽可能使用python默认就带的包，而尽量不让服务器去访问internet下载第三方的包。

还有代理端最重要的一点，就是python的版本兼容性。centos5用python24，centos6用python26，ubuntu基本默认都是27。所以一定要最大限度的保证语言的跨版本兼容性，要是每个 *** 作系统和每一个版本我都写一个代理，我一个人就累死了。

四、浏览器端的model，view，controller

这里面你要封装好所有的通信协议，以及需要在节点上面执行的脚本。发送文件的 *** 作和数据库 *** 作也要在model里面完成。

如果对tcl/tk很熟，也可以写基于 *** 作系统界面方式的管理，不用浏览器就是了。

view对我来说是最痛苦的事，都是现学的jQuery怎么用，前端的工作太可怕了。关于这方面，没有太多可描述的，html和js带给我的只有痛苦的回忆，万恶的undefined。

五、跨 *** 作系统的安装文件封装。

要适应不同的 *** 作系统也是个很麻烦的事情，需要用agent提前获知 *** 作系统的发行分支，版本号。然后去找到对应的安装文件去执行。你不能保证一个分布式系统的集群中所有的节点都可以访问internet，更多的情况是这些节点都存在在一个安全的内网中。只有个别几个节点是可以访问外网的。所以，我势必要把所有的安装文件以及他们的依赖尽可能集中起来。我不确定安装 *** 作系统的lzo，yum或者apt-get会去下什么鬼东西，甚至无论是yum还是apt-get，里面都没有hadoop-lzo的库文件。所以，最好的办法是自己编译打包rpm和deb包。直接安装就好了，别去找repo下载什么。

这就是第五步工作，把需要的依赖的东西自己编译打包成rpm和deb。

deb包很好解决，但是rpm就没那么好办了，需要学习rpm的编译文件如何编写，这块是挺麻烦的，但是这玩意用好了还是挺不错的。现在我自制的安装包里面就已经包含了自己编译的lzo和snappy两种压缩库，以及hadoop-gpl-packaging的rpm和deb。下一个发布的easyhadoop将直接支持centos5,6，suse，以及ubuntu/debian的系统上安装hadoop。已经自带了lzo和snappy以及lzop和snzip。

六、把这些所有东西，整合到一个系统里面。

关联这些所有事情间的联系，整合到一个浏览器界面里面去。写一个分布式的管理脚本不难，写一个界面也不难，但是也许是我的水平不行，这两件事结合起来让他们协同工作还是有点难度的。对我来说，写界面的工作可能更难一点。

Cloudera可能是十来个人在写Manager的东西，ambari也是放到github和apachesvn上面，apache基金会的各种committer在写。easyhadoop没他们功能那么强大，一年来只有我一个人设计架构，功能，各种语言的编码，测试，发布。Fortheloveofgod,WhathaveIdone(英文部分请站在山顶仰天长啸)T_T。从前台到后台，到hadoop和生态系统以及他们的依赖软件的单独patch、编译打包。(系统yum或者apt-get的包不如自己打的好使。)

从时间上来看，全球第一款开源的hadoop部署管理系统应该还是属于ambari，2011年8月开始写的，2012年9月底进入apache的incubator。我是大概2012年8月开始写的easyhadoop，全球第一没赶上，估计国内第一个开源的hadoop管理系统还是可以排上的。

使用 MIME 类型
Multipurpose Internet Mail Exchange (MIME) 类型说明了 Web 浏览器或邮件应用程序如何处理从服务器接收的文件。例如，当 Web 浏览器请求服务器上的某一项目时，也会请求此对象的 MIME 类型。某些 MIME 类型（例如图形）可以在浏览器内部显示。其他的 MIME 类型（例如文字处理文档）则需要使用外部帮助应用程序来显示。
当 IIS 传递邮件消息给邮件应用程序或传递网页给客户端 Web 浏览器时，IIS 也发送了所传递数据的 MIME 类型。如果存在以特定格式传递的附加或嵌入文件，那么 IIS 就会通知客户端应用程序嵌入或附加文件的 MIME 类型。然后客户端应用程序就知道了如何处理或显示正从 IIS 接收的数据。
IIS 只为具有已在 MIME 类型列表中注册的扩展名的文件提供服务，并且也允许配置其他的 MIME 类型和更改或删除 MIME 类型。
IIS 预配置为识别全局 MIME 类型的默认设置。您在 IIS 中创建的所有网站可以识别这些 MIME 类型。MIME 类型还可以独立于其他的或全局定义的类型，在网站和目录级别上定义。当在网站或目录级别上查看 MIME 类型时，只显示唯一对应于此级别的类型，并非从上一级别继承的所有类型。如果在较低级别修改 MIME 类型后，又在全局级别上应用相同的 MIME 类型，那么全局级别的 MIME 类型将覆盖在较低级别修改过的MIME 类型。
如果客户端请求引用了其扩展名未在 MIME 类型中定义的文件扩展名，那么 IIS 将返回一个 4043 错误。通过添加通配符 () MIME 类型，也可以将 IIS 配置成向所有的文件提供服务，而忽略文件扩展名。
要点 您必须是本地计算机上 Administrators 组的成员或者必须被委派了相应的权限，才能执行下列步骤。作为安全性的最佳 *** 作，请使用不属于 Administrators 组的帐户登录计算机，然后使用运行方式命令以管理员身份运行 IIS 管理器。在命令提示符下，键入 runas /user:administrative_accountname "mmc %systemroot%\system32\inetsrv\iismsc"。
添加全局 MIME 类型
在 IIS 管理器中，展开本地计算机，右键单击要向其添加 MIME 类型的计算机，单击“属性”。
单击“MIME 类型”选项卡。
单击“新建”。
在“扩展名”框中，键入文件扩展名。
在“MIME 类型”框中，键入与客户端计算机上所定义的文件类型完全匹配的说明。
注意 还可以为无扩展名或未定义 MIME 类型的文件创建 MIME 类型。要完成此 *** 作，在“扩展名”框中键入星号 ()，并且在“MIME 类型”框中键入 application/octet-stream。
单击“确定”。
将 MIME 类型添加到网站或目录
在 IIS 管理器中，右键单击要为其添加 MIME 类型的网站或网站目录，单击“属性”。
单击“>