It may take a whils to crawl a site
set_time_limit(10000);
Inculde the phpcrawl-mainclass
include("libs/PHPCrawlerclassphp");
Extend the class and override the handleDocumentInfo()-method
class MyCrawler extends PHPCrawler
{
资料区域性性(data locality)：这是Hadoop的主要特性，指的是直接在储存资料的节点上做CPU密集型计算。显然，SAN/NAS不适用于任何形式的CPU密集型计算。
RAID：SAN/NAS采用RAID磁碟阵列进行储存，而Hadoop框架通过复本来确保资料的可靠性和容错性。
DAS采用JBOD磁碟阵列进行储存，如果Hadoop节点的内建储存容量较小，可以采用DAS做扩充套件。如果只是想通过Hadoop做资料归档，没有计算，好吧，SAN/NAS是个选择。
配置资讯在gridmix_configxml档案中。gridmix中，每种作业有大中小三种类型：小作业只有3个输入档案（即3个map）；
中作业的输入档案是与正则表示式{part-0000,part-0001,part-0002}匹配的档案；
大作业会处理处有资料。
分析hadoop丛集的储存架构一般适宜采用das，nas，san或其他什么架构，适宜采用哪些ra
Hadoop提供非常方便的方式来获取一个任务的统计资讯，使用以下命令即可作到：
$ hadoop job -history all <job output directory>
这个命令会分析任务的两个历史档案（这两个档案储存在<job output directory>/_logs/history目录中）并计算任务的统计资讯。
NAS储存特点（网路直连储存) DAS储存特点（直连储存）SAN储存（光纤储存）
svn丛集使用什么样的储存架构 Svn命令
1、将档案checkout到本地目录
svn checkout path（path是伺服器上的目录）
例如：svn checkout svn:19216811/pro/domain
简写：svn co
2、往版本库中新增新的档案
svn add file
这个具体还是要根据储存的资料型别和资料量的大小来决定的！有很多型别的云端储存软体。比如：云创储存的Minicloud迷你云，这是一款适合中小企业的云端储存系统，是一个超安全的私有云计算资料中心，采用高可靠的云端储存技术，档案资料块始终以双副本方式在不同节点上存放，绝不丢失资料。同时，迷你云海量储存空间支援灵活使用，既可作为应用软体（如邮箱、视讯监控）的海量储存空间，又可作为员工的私密储存空间，还可以作为资料共享空间，为了确保资料安全，公室内部共享资料与通过网际网路共享资料采用完全隔离的两套系统。在公室内部，可通过逗我的电脑地直接访问自己的私有资料空间，在公室外部，可通过PCWeb介面和移动终端（安卓手机、iPhone以及iPad）等访问minicloud，实现移动公。同时，还提供丰富多彩的应用系统，系统自带企业邮箱、内部虚拟磁碟、网路云盘、FTP等应用，使用者还可按需安装配置其它应用；可选配超强的桌面虚拟化系统：单伺服器支援100多个瘦终端流畅共享各类应用软体和上网。
网路储存架构是什么呀网路储存有两大要件,一者为储存装置,一者为网通装置。企业的网路储存已行之有年,大致分为两种架构:储存区域网络(SAN, Storage Area Neork)和网路附加储存(NAS, Neork Attach Storage)。前者为支援伺服器和储存装置的直接高速资料传输的储存网路架构,后者为直接联机至区域网络 (LAN) 或广域网路 (WAN),以方便由多台伺服器存取资料的储存架构。
请教低成本型Hadoop丛集的网路架构与华为网路装置选型云端计算和Hadoop中网路是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad Hedlund撰写，他曾在思科工作多年，专长是资料中心、云网络等。文章素材基于作者自己的研究、实验和Cloudera的培训资料。
用一款基于Android的开源服务器软件KSWEB搭建的，通过使用lig>群晖如何手动重启方法如下：1、要确保群晖开启了ssh客户端功能，使用ssh客户端登录群晖，此时，如果直接使用reboot命令重启，会提示“reboot：Needtoberoot”也就是reboot命令需要使用root用户才有执行权限。
2、输入“sudo-i”，会提示输入密码，输入密码后，就切换到了root用户，此时使用reboot命令重启即可。
五大基于Unix/Linux的开源NAS服务器
(2012-12-06 19:41:41)
标签： nas
分类： NAS及CPU
当Windows、Unix/Linux和Mac提供的简单文件和打印机共享功能不能满足你的需要时，你应该考虑使用网络附加存储服务器（NAS）。NAS服务器为你在本地网络存储、访问和共享文件提供了一个集中地，当然也是可以放到互联网上去的，NAS在多 *** 作系统环境显得特别有用，因为它们通常支持所有的共享协议。
你可以直接购买现成的NAS服务器，直接插入到你的网络，经过简单的配置就可以开始使用了，但是，如果你为了省钱和希望可以进行一些功能定制，你可能想搭建自己的NAS服务器，有需求就会有解决方案，本文就介绍几款免费或开放的NAS服务器，你只要拿一台旧PC就可以安装了，唯一需要增加的组件就是硬盘，因为NAS需要存储大量的数据。当你安装好NAS服务器软件后，就可以拔掉显示器、键盘和鼠标了
这里我们可以看看开源团体提供的三种不同的免费NAS服务器，以及其他的两个收费的NAS服务器：
FreeNAS
毫无疑问，FreeNAS是最流行的开源NAS项目，因此我将其放在第一个介绍，实际上，它是一个很小的FreeBSD 72发行版，并集成了基于m0n0wall的Web管理界面，PHP脚本和文档。FreeNAS基于BSD许可证协议发布，可以安装到紧凑型闪存，USB闪存或硬盘中，甚至可以直接做成LiveCD启动。
FreeNAS支持很多协议，如SMB/CIFS（Windows），AFP（Apple/Mac），NFS（Unix/Linux），FTP，TFTP，RSYNC，Unison，iSCSI和UPnP，此外，它还支持软RAID（0,1,5），ZFS和磁盘加密。
它支持VLAN标签，链路聚合和网络唤醒（Wake On Lan，WoL）等网络功能，监控功能包括对SMART，Email警报，SNMP，Syslog和UPS（NUT）的支持。
你还会发现更多的服务，如BT客户端（Transmission），UPnP服务器（FUPPES），iTunes/DAAP服务器（Firefly），Web服务器（light>
项目地址：>
CryptoNAS
CryptoNAS以前叫做CryptoBox，它是一个专注于磁盘加密的项目，它提供了一个基于Linux的LiveCD，整合了NAS服务器加密功能，此外，他们也提供了一个安装包，可直接安装到现有Linux服务器上，为磁盘加密提供了一个友好的基于Web的前端，它们基于GPL许可协议发布。
当你通过CryptoNAS的Web前端激活了加密卷，在本地网络上就可以通过SMB/CIFS共享进行访问了，加密的磁盘分区叫做LUKS卷，你可以在别的计算机上打开它，使用Windows中的FreeOTFE解密和访问文件，或直接使用现代Linux系统进行访问。
CryptoNAS LiveCD的系统需求很低，只需要一颗最低200MHz的处理器，64MB内存，光驱，网络连接和空间稍大一点的硬盘，只要Linux 2620内核支持的硬盘均可，可以是IDE，SCSI，USB，FireWire，SATA和RAID。
服务器软件包可以安装到现有Linux系统上，内核最低要求26，支持LUKS，内核支持的加密设备和Python 24，它可以在几乎任何Linux发行版上运行，但项目网站上只提供了Ubuntu和其它Debian系的安装包。
项目地址：> Openfiler Openfiler和FreeNAS一样，也是一个成熟的NAS服务器，它是一个基于rPath的Linux发行版，它基于GPLv2许可协议发布。 Openfiler可以安装在PC或服务器上，而且也可以安装成虚拟机，它对硬件的要求相对要高得多，1GHz CPU，2GB内存，10GB磁盘空间和以太网适配器。 Openfiler也支持很多网络协议，如SMB/CIFS，NFS，> Openfiler提供了广泛的共享管理功能，如在每个共享基础上设置基于多组的访问控制，SMB/CIFS卷影复制，以及公共/来宾共享等。 下面的两个NAS服务器是商业发布的非免费产品，但也许你有兴趣了解一二。 NASLite-M2 NASLite-M2是少数基于Linux的商用NAS，它由Server Elements出品，需要支付3495美元才能下载一个ISO镜像文件，遗憾的是，它不是免费分发的。 NASLite-M2支持以下网络协议：SMB/CIFS，NFS，AFP，FTP，> NASLite服务器套件专门做了优化，对硬件要求很低，可以将它安装到服务器上，也可以直接启动到内存中，这一点与LiveCD有点类似，如果安装到电脑上，它只需要64MB内存就够了。 和CryptoNAS类似，NASLite还不是一个成熟的NAS服务器，它提供了用户管理，磁盘配额或加入域的功能，但是，它用在家庭或小型企业网络中还是完全够用了。 NanoNAS NanoNAS也来自Server Elements，实际上它是NASLite的精简版，虽然是精简版，但仍然不是免费的，需要支付995美元才能下载。 NanoNAS CD-ROM可以运行在两种模式下，但都是从软盘启动，配置信息也保存在软盘中，NanoNAS SMB模式支持SMB/CIFS和> NanoNAS是唯一一款可从软盘直接启动到内存的NAS，并且只需要32MB内存就够了。 欢迎分享，转载请注明来源：内存溢出
项目地址：>
项目地址：>
项目地址：>1 序
前段时间终于把自己设想了好久的家用NAS配好了，想好好写一下自己的心得，希望对别人有一点帮助，也希望和大家交流关于ZFS和Freenas的意见和想法。
2 你需要NAS吗？
你认为数据的价值很重要，愿意投入一点资金来降低数据丢失的风险。比如，你自己原创的文字和、各种word和excel的文件、各种照片和视频，这些原创性的内容都是全世界仅此一份的，还有一些你认为很难再从网络上下载到的资源，这些内容都需要一个比台式机（或者手提电脑）、U盘、移动硬盘和光盘等，更安全可靠的储存方式。由于网络条件和价格的限制，或者是由于对云储存的不信任，把大容量的文件备份到云端好像也不是最好的选择。
你的家庭网络内有2台或更多的电脑，需要中转空间来传递文件，特别是大容量的文件。如果只有2台电脑的话，网络邻居共享或者FTP访问也算可行。但如果3台或更多电脑，动辄几个G容量的内容，还要分发到每一台电脑，这个时候如果有一个大容量、访问速度快的共享储存空间就方便很多了。
如果以上两段描述符合你的实际，那么你应该开始考虑入手一台NAS了。
3 买成品还是DIY？
31 NAS与其它备份手段的比较
311 U盘和移动硬盘
NAS一般容量相对比较大。如果U盘和移动硬盘也是在线使用，除了RAID 0的配置，个人觉得其它RAID配置的可靠性都比U盘和移动硬盘好。当然，如果把U盘和移动硬盘作为离线备份的手段，可靠性应该会提高不少，不过要牺牲部分的数据可用性。
312 光碟（DVD和蓝光）
如果是可擦写的，每次重新擦写的速度比较慢。如果是不可擦写的，倒可以作为离线备份的手段。数据的不可更改始终会带来不方便，比如整理好资料目录，刻碟完，结果以后又发现要往中间加内容。
313 云储存
主要有三方面的限制：速度、容量和价格。那些不是世界知名的IT巨头搞的，会担心它不知道哪一天就宣布停止服务。Amazon的S3倒是信得过（相比之下），但是访问速度和价格又是个问题。
32 成品NAS和自己DIY的区别
321 安全性、价格和售后服务
几个著名的品牌（如synlogy、qnap、thecus、zyxel、buffalo、netgear等等）提供的家用NAS，大部分最多到六盘位，组RAID 6吧？（不知道可不可以组多个RAID 1），理论上是最多允许两只硬盘损坏。如果是自己DIY的话，无论是硬RAID或者基于ZFS，RAID的配置都可以更加灵活，只要硬件配置跟得上，提供更高的可靠性完全没有问题。
盘位越少，成品NAS的价格貌似更有优势。假如需求只是两个盘组RAID 1，那毫无疑问成品NAS更便宜。DIY的话，固定成本是主板、CPU、内存、机箱和电源（或者加上RAID卡），硬盘数量一般不少于3个。同样是4个盘位，不算硬盘的话，DIY的价格已经大大低于成品NAS。6个盘位，京东上有个要9k+，自己DIY的话，2k搞定。
自己DIY的NAS，各个零配件的售后服务要看你选择的硬件品牌的生产商。整台NAS在组装和调试的时候，以后的使用中要排除故障或增加功能，都需要你自己在网上找资料或者和别人讨论，所以如果你是伸手党，还是买成品NAS好了。
322 功能、灵活性和功耗
成品NAS提供的功能，大部分可以通过各种开源的解决方案来实现。而DIY的NAS提供的灵活性，比如和htpc或者网关结合在一起，硬件配置的更改都是成品NAS所不能比拟的。
功耗方面，DIY的NAS要追求低功耗，可以选择直流电源+整合主板，貌似网上也有人可以做到待机十几瓦的。个人就觉得没必要苛求，相比节省的电费，我更希望电源和UPS都稳定可靠，机箱内空间够大方便散热。
323 噪音控制和外形
现在很多DIY的机箱，也足够小巧和精致了，摆在客厅或书桌台面都完全没问题。舍得花钱的话，用无风扇电源和CPU散热器，加上机箱内全用静音风扇，相信可以把噪音控制在非常低的范围。
33 DIY NAS的种类
首先要把专用和多用途的NAS区分开来。专用的NAS一般只提供文件共享和相关的网络服务，可能也作为247的下载机。多用途的NAS有的是作为HTPC，连接电视来直接播放媒体内容，也有是利用虚拟化，通过一台硬件服务器提供网关、媒体服务器等多台虚拟服务器的功能。主要有以下三种组建RAID的方式：
软RAID，利用主板芯片组自带的功能组建RAID。性能比不上硬RAID，和ZFS的比较我不清楚，感觉应该也不如。好像有些软RAID认主板，转移的时候一定要同型号的主板才可以认出来原有的RAID配置，也有人说intel的是认芯片组，不要求同型号主板。虽然不需要额外的硬件RAID卡投入，也限制了安全性的提示和功能的扩展，除非是换主板。
硬RAID，在主板上插RAID卡，RAID卡再接硬盘。注意有些便宜的RAID卡其实是把运算交给CPU的，自己纯粹就是一个接口。一般好的硬RAID卡上有专门的运算芯片，还要带电池，防止数据丢失。硬RAID是目前最主流的解决方案，价格范围广，可以投入很小，也可以很发烧。
基于ZFS，不需要安装RAID卡，也不利用主板芯片组的RAID功能。硬件配置丰俭由人，数据安全可靠。。。（ZFS的特点请看41）
4 软硬件配置
41 ZFS的特点
请允许偷懒一下，介绍ZFS的资料网上已经有很多了，如果有兴趣，一定可以深入了解，
简单来说，基于ZFS的储存，不怕断电（就算正在写入的时候断电了，数据也不会损坏或者丢失，用硬RAID卡的有可能的哦），有快照功能，不怕误删除（而且快照占空间很小），可以通过加入固态硬盘来大幅提高读写性能（跑满千兆局域网很轻松），容易扩充（把原来的RAID里面每个硬盘都换成容量更大的，总容量自动增加），硬件无关（换主板都毫无压力）， *** 作简单（常用命令才几个，如果是用Freenas的图形管理界面的话，更加简单）。
42 *** 作系统的选择
所有支持ZFS的 *** 作系统（或发行版）都可以在ZFS的wiki查到，主要用来做NAS的系统有以下几个：
421 Oracle Solaris和 OpenIndiana
Oracle Solaris的zpool（ZFS的管理软件）版本最新，不过是商业软件；OpenIndiana是OpenSolaris的后续，开源的，我自己没有用过，跟FreeBSD一样，应该没有ZFS的图形管理界面。
422 FreeBSD
网上介绍也很多，简单说就是稳定、稳定和稳定。我在virtual box里面用FreeBSD，对照着文档，测试过ZFS的各种 *** 作和功能。另外，FreeBSD的Handbook写得非常好，有中文版哦，喜欢折腾的同学首选。
423 Freenas
主角登场，热烈鼓掌！安装简单，界面清爽！第5章将会介绍安装和配置的过程。这是一个商业公司维护的开源，基于FreeBSD，专门用于NAS的系统。
424 NexentaStor Community Edition
跟Freenas一样，都有ZFS的图形管理界面，根据网络上的测试报告，貌似这个的IO性能比Freenas好。一点小限制是免费版最大容量为18TB。
43 硬件配置
431 终于写到我最喜欢的部分了，确定硬件搭配让我纠结了n长时间，最终结果兼顾了钱包、个人喜好和性能，还算满意。我的NAS的配置如下：（推荐配置从432开始）
UPS：APC Smart-UPS SC420
（UPS最重要，所以排第一。虽然说ZFS不怕断电，不过有个在线式的UPS，应付各种拔插头、按开关和电网的浪涌，还可以接NAS的串口实现市电中断时自动关机，实在是硬件配置里面的MVP。这个UPS是以前买的，伏安只有420，容量有点小，现在拖三个硬盘，估计拖5个没问题）
电源：全汉（FSP）蓝暴节能版360
CPU：AMD A4-3300
技嘉（GIGABYTE）GA-A75M-D2H
（选这个主板CPU的搭配是因为功耗较低又有较多的SATA 6G接口，最大内存又可以到32G，跑ZFS的话，内存越大越好。写文章的时候才看到技嘉出了F2A75M-D3H，更加适合，搞到我都想换主板了，T_T）
三星（SAMSUNG）DDR3 1600 4G 2
西部数据 WD20EARX 3
（这三块硬盘是跑去广州的百脑汇买的，第一次的时候自己小白了，居然买到两块是换标签的WD20EARS，只好跑多一次去换，大家如果在电脑城买的请小心）
联力PC A04A
（我是第一次用联力机箱的土人，一边安装一边赞叹“做工果然好啊”，然后各种调整硬盘位置，各种拆装硬盘笼子，各种调整走线。等写完这篇文章的第一版再补上）
因为一开始就确定了NAS要配已有的UPS，而且不兼任HTPC，所以我的NAS是放在书房里面的。书房里面有一台D-Link的5口百兆交换机，连接一台台式机，一台手提和NAS，再通过电力猫连接整个家庭网络的核心交换机和无线路由Linksys WRT610N。
功耗测试用的是深圳北电的电力检测仪，实测数据如下：
关闭NAS电源（全汉蓝暴）上的开关，0 W
打开NAS电源上的开关，NAS未开机，32 W
按NAS机箱面板的开关开机，功耗一直爬升，最高达到 72 W
NAS的启动过程结束，进入正常状态，44 W
测试连续读取，通过百兆的LAN连接，台式机播放NAS共享出来的mkv文件，44W
测试连续写，用FTP上传大文件，速度大概10MB/s，56W
在NAS的web管理界面点关机，等到机箱的电源指示灯熄灭，15W
另外，在Freenas里面可以设置每个硬盘的电源选项，比如多长时间之后进入待机。我这台NAS现在还负责BT下载，所以硬盘是一直没有停的，测不了全部硬盘都进入待机时候的功耗。
432 普通版配置
强烈推荐UPS作为标配，花的钱不多，可靠性大幅提高。后备式的也可以接受。注意UPS一般容量标的是伏安，要转换成瓦特。这里插播一段网上找来的计算硬盘功率的方法：先通过spec sheet找到硬盘12V的最大电流（据说就是启动的时候了），比如WD20EARS的是175A，然后在硬盘标签上找到5V的电流，这个例子里面是055A，所以这个硬盘的最大功率就是12V x 175A + 5V x 055A = 24W。在挑选UPS和NAS的电源的时候就要注意考虑功率了。当然，服务器专用的主板通常有逐个启动硬盘的功能，可以降低对功率的要求，这个在高帅富版的推荐配置里面谈。
千兆网络，你懂的。
最少三个硬盘，组RAIDZ 1，可以承受其中一个硬盘损坏。ZFS当然也支持条带（RAID 0）和镜像（RAID 1），还有RAIDZ 2和RAIDZ 3，还可以加热备，加L2ARC等等，看需求和预算来配置吧。如果你的配置里面硬盘数量超过9个，最好分组，具体参考：
>一、存储服务器的作用和功能
1、文件共享功能
文件共享（即文件服务器）是网络存储器最基本的应用。我们可以在"网上邻居"中找到网络存储器设备，并在它的共享目录中存储公用文件。此外，部分NAS也内置了文件服务器功能，我们可以通过浏览器访问和管理NAS中的文件，并以>
微信扫一扫
支付宝扫一扫
评论列表（0条）