爬虫，有什么框架比httpclient更快

开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：上面说的爬虫，基本可以分3类：1分布式爬虫：Nutch

2JAVA单机爬虫：Crawler4j、WebMagic、WebCollector

3 非JAVA单机爬虫：scrapy

第一类：分布式爬虫

爬虫使用分布式，主要是解决两个问题：

1）海量URL管理

2）网速

现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：

1）Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。

2）Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。

3）Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。而且Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”（parser）这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息（网页的meta信息、text文本）。

4）用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题（hadoop的问题、hbase的问题）。

5）很多人说Nutch2有gora，可以持久化数据到avro文件、hbase、mysql等。很多人其实理解错了，这里说的持久化数据，是指将URL信息（URL管理所需要的数据）存放到avro、hbase、mysql。并不是你要抽取的结构化数据。其实对大多数人来说，URL信息存在哪里无所谓。

6）Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch221，但是这个版本绑定了gora-03。如果想用hbase配合nutch（大多数人用nutch2就是为了用hbase），只能使用090版本左右的hbase，相应的就要将hadoop版本降到hadoop 02左右。而且nutch2的官方教程比较有误导作用，Nutch2的教程有两个，分别是Nutch1x和Nutch2x，这个Nutch2x官网上写的是可以支持到hbase 094。但是实际上，这个Nutch2x的意思是Nutch23之前、Nutch221之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。

所以，如果你不是要做搜索引擎，尽量不要选择Nutch作为爬虫。有些团队就喜欢跟风，非要选择Nutch来开发精抽取的爬虫，其实是冲着Nutch的名气（Nutch作者是Doug Cutting），当然最后的结果往往是项目延期完成。

如果你是要做搜索引擎，Nutch1x是一个非常好的选择。Nutch1x和solr或者es配合，就可以构成一套非常强大的搜索引擎了。如果非要用Nutch2的话，建议等到Nutch23发布再看。目前的Nutch2是一个非常不稳定的版本。

第二类：JAVA单机爬虫

这里把JAVA爬虫单独分为一类，是因为JAVA在网络爬虫这块的生态圈是非常完善的。相关的资料也是最全的。这里可能有争议，我只是随便扯淡。

其实开源网络爬虫（框架）的开发非常简单，难问题和复杂的问题都被以前的人解决了（比如DOM树解析和定位、字符集检测、海量URL去重），可以说是毫无技术含量。包括Nutch，其实Nutch的技术难点是开发hadoop，本身代码非常简单。网络爬虫从某种意义来说，类似遍历本机的文件，查找文件中的信息。没有任何难度可言。之所以选择开源爬虫框架，就是为了省事。比如爬虫的URL管理、线程池之类的模块，谁都能做，但是要做稳定也是需要一段时间的调试和修改的。

对于爬虫的功能来说。用户比较关心的问题往往是：

1）爬虫支持多线程么、爬虫能用代理么、爬虫会爬取重复数据么、爬虫能爬取JS生成的信息么？

不支持多线程、不支持代理、不能过滤重复URL的，那都不叫开源爬虫，那叫循环执行>

理论课程上，最开始肯定是最基础的内容:JavaSE，这一阶段会接触到Java基础语法、面向对象编程思想、Java常用API、多线程并发编程、数据结构/集合框架、IO/网络编程/反射/设计模式。这一阶段往往也是最重要的，后面很多知识和框架的应用都是基于这一基础来的。学完这一部分，就能做一些简单的桌面应用程序设计。

之后，就是一些比较进阶的内容了，主流数据库管理系统、Java前端开发技术、流行框架应用，都是要慢慢深入的。

最后，也是最重要的，就是实战项目的训练，掌握了再多理论知识没有实战的支撑也没有用。而企业需要的也正是你的实战能力。

可能表面上看大多数的学校课程都很雷同，但其实也有要注意的点，就是看学校的课程有没有实时更新。随着时代发展，Java也融入了很多新元素。只有最新的课程才是企业真正所需要的。

爬虫用ForeSpider数据采集系统好。

ForeSpider数据采集系统是天津市前嗅网络科技有限公司自主知识产权的通用性互联网数据采集软件。软件几乎可以采集互联网上所有公开的数据，通过可视化的 *** 作流程，从建表、过滤、采集到入库一步到位。支持正则表达式 *** 作，更有强大的面向对象的脚本语言系统。台式机单机采集能力可达4000-8000万，日采集能力超过500万。服务器单机集群环境的采集能力可达8亿-16亿，日采集能力超过4000万。并行情况下可支撑百亿以上规模数据链接，堪与百度等搜索引擎系统媲美。软件特点：一．通用性：可以抓取互联网上几乎100%的数据1支持用户登录。2支持Cookie技术。3支持验证码识别。4支持>

开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：上面说的爬虫，基本可以分3类：1分布式爬虫：Nutch

2JAVA单机爬虫：Crawler4j、WebMagic、WebCollector

3 非JAVA单机爬虫：scrapy

第一类：分布式爬虫

爬虫使用分布式，主要是解决两个问题：

1）海量URL管理

2）网速

现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：

1）Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。

2）Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。

3）Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。而且Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”（parser）这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息（网页的meta信息、text文本）。

4）用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题（hadoop的问题、hbase的问题）。

5）很多人说Nutch2有gora，可以持久化数据到avro文件、hbase、mysql等。很多人其实理解错了，这里说的持久化数据，是指将URL信息（URL管理所需要的数据）存放到avro、hbase、mysql。并不是你要抽取的结构化数据。其实对大多数人来说，URL信息存在哪里无所谓。

6）Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch221，但是这个版本绑定了gora-03。如果想用hbase配合nutch（大多数人用nutch2就是为了用hbase），只能使用090版本左右的hbase，相应的就要将hadoop版本降到hadoop 02左右。而且nutch2的官方教程比较有误导作用，Nutch2的教程有两个，分别是Nutch1x和Nutch2x，这个Nutch2x官网上写的是可以支持到hbase 094。但是实际上，这个Nutch2x的意思是Nutch23之前、Nutch221之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。

所以，如果你不是要做搜索引擎，尽量不要选择Nutch作为爬虫。有些团队就喜欢跟风，非要选择Nutch来开发精抽取的爬虫，其实是冲着Nutch的名气（Nutch作者是Doug Cutting），当然最后的结果往往是项目延期完成。

如果你是要做搜索引擎，Nutch1x是一个非常好的选择。Nutch1x和solr或者es配合，就可以构成一套非常强大的搜索引擎了。如果非要用Nutch2的话，建议等到Nutch23发布再看。目前的Nutch2是一个非常不稳定的版本。

第二类：JAVA单机爬虫

这里把JAVA爬虫单独分为一类，是因为JAVA在网络爬虫这块的生态圈是非常完善的。相关的资料也是最全的。这里可能有争议，我只是随便扯淡。

其实开源网络爬虫（框架）的开发非常简单，难问题和复杂的问题都被以前的人解决了（比如DOM树解析和定位、字符集检测、海量URL去重），可以说是毫无技术含量。包括Nutch，其实Nutch的技术难点是开发hadoop，本身代码非常简单。网络爬虫从某种意义来说，类似遍历本机的文件，查找文件中的信息。没有任何难度可言。之所以选择开源爬虫框架，就是为了省事。比如爬虫的URL管理、线程池之类的模块，谁都能做，但是要做稳定也是需要一段时间的调试和修改的。

对于爬虫的功能来说。用户比较关心的问题往往是：

1）爬虫支持多线程么、爬虫能用代理么、爬虫会爬取重复数据么、爬虫能爬取JS生成的信息么？

不支持多线程、不支持代理、不能过滤重复URL的，那都不叫开源爬虫，那叫循环执行>

一直不明白 java中的框架是什么意思？比如就是说java的三大开源框架他们到底是个什么概念？

其实框架很简单的，你可以认为它是一个工具，甚至一个插件。

框架的作用，就是将一个公用的，常用的技术，封装起来，

帮你处理一些基础的东西，可以让你不用再去写那些繁琐的东西。

就拿你要学的struts来说：他本质上也是用java写的，和我们自己写的类没有区别，他实现的东西我们自己也可以实现。

比如接收客户端的数据，我们是用requestgetParameter（）来的，但是如果有很多个参数，我们要写很多个，很麻烦。struts它就帮我们实现，不用我们写，直接写个属性，就可以得到弧其实本质还是用requestgetParameter（）。。

所以你不要再在意框架是什么东西，等你接触了就知道了。你把它当做一个工具来用，这就是框架。

开源框架和开源项目有区别吗？

相同点：它们都是开源的，都是一种项目。

不同点：框架是为了方便开发者开发的，是供开发者使用的，比如libevent网络框架。项目是指实现某一种需要而制定的方案，比如开发libevent的方案就是一个项目，使用libevent来开发网络方面的软件，又是另一个项目。

Java开源框架是什么？

其实框架很简单的，你可以认为它是一个工具，甚至一个插件。

框架的作用，就是将一个公用的，常用的技术，封装起来，

帮你处理一些基础的东西，可以让你不用再去写那些繁琐的东西。

就拿你要学的struts来说：他本质上也是用java写的，和我们自己写的类没有区别，他实现的东西我们自己也可以实现。

比如接收客户端的数据，我们是用requestgetParameter（）来的，但是如果有很多个参数，我们要写很多个，很麻烦。struts它就帮我们实现，不用我们写，直接写个属性，就可以得到。其实本质还是用requestgetParameter（）。。

所以你不要再在意框架是什么东西，等你接触了就知道了。你把它当做一个工具来用，这就是框架。

前台框架：jQuery

Mvc框架：Struts、spring Mvc

核心框架：Spring

orm框架：Hibernate、Spring JDBC、myBatis。

开源爬虫框架各有什么优缺点

开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：上面说的爬虫，基本可以分3类：1分布式爬虫：Nutch

2JAVA单机爬虫：Crawler4j、WebMagic、WebCollector

3 非JAVA单机爬虫：scrapy

第一类：分布式爬虫

爬虫使用分布式，主要是解决两个问题：

1）海量URL管理

2）网速

现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：

1）Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。

2）Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。

3）Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。而且Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”（parser）这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息（网页的meta信息、text文本）。

4）用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题（hadoop的问题、hbase的问题）。

5）很多人说Nutch2有gora，可以持久化数据到avro文件、hbase、mysql等。很多人其实理解错了，这里说的持久化数据，是指将URL信息（URL管理所需要的数据）存放到avro、hbase、mysql。并不是你要抽取的结构化数据。其实对大多数人来说，URL信息存在哪里无所谓。

6）Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch221，但是这个版本绑定了gora-03。如果想用hbase配合nutch（大多数人用nutch2就是为了用hbase），只能使用090版本左右的hbase，相应的就要将hadoop版本降到hadoop 02左右。而且nutch2的官方教程比较有误导作用，Nutch2的教程有两个，分别是Nutch1x和Nutch2x，这个Nutch2x官网上写的是可以支持到hbase 094。但是实际上，这个Nutch2x的意思是Nutch23之前、Nutch221之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改

开源，免费的应用快速开发框架是什么意思

ThinkAndroid是一个免费的开源的、简易的、遵循Apache2开源协议发布的Android开发框架，其开发宗旨是简单、快速的进行Android应用程序的开发，包含Android mvc、简易sqlite orm、ioc模块、封装Android clitent的模块,具有快速构建文件缓存功能，无需考虑缓存文件的格式，都可以非常轻松的实现缓存，它还基于文件缓存模块实现了缓存功能，在android中加载的的时候，对oom的问题，和对加载错位的问题都轻易解决。他还包括了一个手机开发中经常应用的实用工具类，如日志管理，配置文件管理，android下载器模块，网络切换检测等等工具。

目前ThinkAndroid主要有以下模块：

MVC模块：实现视图与模型的分离。

ioc模块：android中的ioc模块，完全注解方式就可以进行UI绑定、res中的资源的读取、以及对象的初始化。

数据库模块：android中的orm框架，使用了线程池对sqlite进行 *** 作。

模块：通过client进行封装数据请求，支持异步及同步方式加载。

缓存模块：通过简单的配置及设计可以很好的实现缓存，对缓存可以随意的配置

缓存模块：imageview加载的时候无需考虑加载过程中出现的oom和android容器快速滑动时候出现的错位等现象。

配置器模块：可以对简易的实现配对配置的 *** 作，目前配置文件可以支持Preference、Properties对配置进行存取。

日志打印模块：可以较快的轻易的是实现日志打印，支持日志打印的扩展，目前支持对sdcard写入本地打印、以及控制台打印

下载器模块:可以简单的实现多线程下载、后台下载、断点续传、对下载进行控制、如开始、暂停、删除等等。

网络状态检测模块：当网络状态改变时，对网络状态进行检测。

PHP开源框架是什么意思？

开源就是开放源代码也就是免费~

框架川楼说的很清楚了 我就不多说了

框架当然都是用本语言的写的了java的框架都是用java写的c#的框架都是用c#写的

php的肯定也是用php写的了

有谁能说明下安卓SDK和开源框架都是什么意思 30分

百度下就可以了啊，要多动手

前端框架跟经常听到的php开源框架之类有什么不同吗

PHP开源框架针对服务器脚本开发，例如CakePHP，CodeIgniter等。 前端框架注重浏览器前端 *** 作，例如jQuery，extJS等。 在系统整体设计上，两者之间会产生联系。 希望有所帮助，谢谢！

优秀的开源 Web 应用开发框架有哪些

jquery、Extjs、prototype、kissy，bootstrap、jQuery UI、easyui、flex、yui、Dojo等。里面有侧重js的框架和侧重css的框架。

开源爬虫框架各有什么优缺点

无论是各种什么爬虫的开源框架，都有一个共同的显著性缺点，就是功能限制大。本人是写 C++爬虫的，给你推荐一下我自己写的通用性爬虫软件吧。

我写的前嗅ForeSpider爬虫工具，具备全面的采集范围、精准的数据精度、绝佳的抓取性能、简易的可视化 *** 作、智能的自动化采集，使企业能够以很少的人工成本，快速获取互联网中结构化或非结构化的数据。

软件几乎可以采集互联网上所有公开的数据，通过可视化的 *** 作流程，从建表、过滤、采集到入库一步到位。支持正则表达式 *** 作，更有强大的面向对象的脚本语言系统。

单机采集能力可达4000-8000万，日采集能力超过500万。服务器单机采集能力可达8亿-16亿，日采集能力超过2000万。并行情况下可支撑百亿以上规模数据链接，堪与百度等搜索引擎系统媲美。

总的来说特点就是：

（1）采集全面。基本上就是把网址链接输进去一步步 *** 作就OK。有特殊情况需要特殊处理才能采集的，也支持配置脚本。

（2）人性化。支持动态调整、自动定时采集、模板在线更新。

（3） *** 作效率高。前嗅ForeSpider爬虫的 *** 作都是可视化的，而且你要采集的东西在它这个爬虫软件内可以直接预览，让我在采集数据之前直接先把无效数据剔除干净，学习成本很低。

（4）精度高。数据提取同样可进行可视化 *** 作，此外支持正则表达式和脚本配置更加做到精准采集。

（5）功能强大。支持验证码识别、关键字搜索、登录采集、>

开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：上面说的爬虫，基本可以分3类：1分布式爬虫：Nutch

2JAVA单机爬虫：Crawler4j、WebMagic、WebCollector

3 非JAVA单机爬虫：scrapy

第一类：分布式爬虫

爬虫使用分布式，主要是解决两个问题：

1）海量URL管理

2）网速

现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：

1）Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。

2）Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。

3）Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。而且Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”（parser）这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息（网页的meta信息、text文本）。

4）用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题（hadoop的问题、hbase的问题）。

5）很多人说Nutch2有gora，可以持久化数据到avro文件、hbase、mysql等。很多人其实理解错了，这里说的持久化数据，是指将URL信息（URL管理所需要的数据）存放到avro、hbase、mysql。并不是你要抽取的结构化数据。其实对大多数人来说，URL信息存在哪里无所谓。

6）Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch221，但是这个版本绑定了gora-03。如果想用hbase配合nutch（大多数人用nutch2就是为了用hbase），只能使用090版本左右的hbase，相应的就要将hadoop版本降到hadoop 02左右。而且nutch2的官方教程比较有误导作用，Nutch2的教程有两个，分别是Nutch1x和Nutch2x，这个Nutch2x官网上写的是可以支持到hbase 094。但是实际上，这个Nutch2x的意思是Nutch23之前、Nutch221之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。

所以，如果你不是要做搜索引擎，尽量不要选择Nutch作为爬虫。有些团队就喜欢跟风，非要选择Nutch来开发精抽取的爬虫，其实是冲着Nutch的名气（Nutch作者是Doug Cutting），当然最后的结果往往是项目延期完成。

如果你是要做搜索引擎，Nutch1x是一个非常好的选择。Nutch1x和solr或者es配合，就可以构成一套非常强大的搜索引擎了。如果非要用Nutch2的话，建议等到Nutch23发布再看。目前的Nutch2是一个非常不稳定的版本。

第二类：JAVA单机爬虫

这里把JAVA爬虫单独分为一类，是因为JAVA在网络爬虫这块的生态圈是非常完善的。相关的资料也是最全的。这里可能有争议，我只是随便扯淡。

其实开源网络爬虫（框架）的开发非常简单，难问题和复杂的问题都被以前的人解决了（比如DOM树解析和定位、字符集检测、海量URL去重），可以说是毫无技术含量。包括Nutch，其实Nutch的技术难点是开发hadoop，本身代码非常简单。网络爬虫从某种意义来说，类似遍历本机的文件，查找文件中的信息。没有任何难度可言。之所以选择开源爬虫框架，就是为了省事。比如爬虫的URL管理、线程池之类的模块，谁都能做，但是要做稳定也是需要一段时间的调试和修改的。

对于爬虫的功能来说。用户比较关心的问题往往是：

1）爬虫支持多线程么、爬虫能用代理么、爬虫会爬取重复数据么、爬虫能爬取JS生成的信息么？

不支持多线程、不支持代理、不能过滤重复URL的，那都不叫开源爬虫，那叫循环执行>

随着Java的持续火热，市面上的培训学校也如雨后春笋，发展越来越快。这其中，肯定有一些打着培训旗号“坑钱”的不良学校。大家对这样的问题如此关心，想必也深深考虑过落入这些学校的后果。那如何增强自己的眼力，判断其中的良莠，就显得尤为重要。

建议在选择时还是要自己去实地考察，多了解相关信息，自己做出判断。我们可以从几个方面来考虑：

1，学校口碑。一个学校怎么样，从校内学生的口中就可以得到真实口碑，建议多多实地考察，多问下校内学生，获取真实信息。

2，课程内容。学校的质量怎么样，肯定要着重考虑学校教学质量，看看上课的课程质量如何，课程是否有用，安排是否合理。除了理论课是否还有实战课。除了查询官网的课程信息，最好是直接到学校参与试听课。感受真实的授课环境和课程内容。

3，教师力量。课程再好也是老师来教，这时候就要了解学校的老师水平如何，看看有没有大企业的任职经验和多年的软件开发经验。

掌握了这些消息，你大概能够判断每个学校的优劣特点了，接下来就综合考虑其他因素做出选择。

当然，找到了靠谱的学校，并不意味着你就成功了，这还只是个开始。接下来如何发展，就完全看你自己的个人努力了，只要你真的努力付出心血了，那一定可以成功。

以上就是关于爬虫，有什么框架比httpclient更快全部的内容，包括:爬虫，有什么框架比httpclient更快、java培训有哪些课程、爬虫用哪个好等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！