爬虫可以做什么

问题一：python网络爬虫可以干啥 爬虫可以抓取网络上的数据啊。爬虫可以用很多种编程语言实现，python只是一种。所以你想知道的是网络爬虫可以干什么。
他比如证券交易数据，天气数据，网站用户数据，。
拿到这些数据之后你就可以做下一步工作了。
你去看看这里就明白了。baikebaidu/view/284853

问题二：网络爬虫都能做什么？ 网络爬虫是一种程序,主要用于搜索引擎,它将一个网站的所有内容与链接进行阅读,并建立相关的全文索引到数据库中,然后跳到另一个网站样子好像一只大蜘蛛
当人们在网络上(如google)搜索关键字时,其实就是比对数据库中的内容,找出与用户相符合的网络爬虫程序的质量决定了搜索引擎的能力,如google的搜索引擎明显要比百度好,就是因为它的网络爬虫程序高效,编程结构好

问题三：能利用爬虫技术做到哪些很酷很有趣很有用的事情 譬如种子搜索，网盘搜索，铁路订票搜索

问题四：能利用爬虫技术做到哪些很酷很有趣很有用的事情 最常见就是模拟登录。。最近在研究的。延伸下去可以攻击，并发攻击，不过一般大型的网站都有防爬虫，难就难在要做反防爬虫

问题五：网络爬虫程序可以做些什么 对网站进行爬行，爬行后根据合理的情况抓取和收录网站

问题六：利用爬虫技术能做到哪些很酷很有趣很有用的事情 对于一些学生来说，如果想要找数据分析和数据挖掘方面的岗位，可以通过集搜客将这些信息爬下来，比如说拉勾网，顺手分析下各个城市的岗位需求和薪资待遇什么的，既能够练练分析能力，又可以找到心仪的岗位。
知乎社区的用户信息分析。
喜欢的人，将豆瓣的评分爬下来，然后就不愁没看了。

问题七：利用爬虫技术能做到哪些很酷很有趣很有用的事情 这种问题典型的某乎的问题啊！但是爪机不方便公式发图了，只好简单说了。
爬虫就是你在浏览器上所见的都可以用程序给你搜集下来，而且运用远大于人脑的速度筛选出重要的信息，以便进行进一步的分析。
说到酷和有趣，你觉得一个指尖飞舞的键盘侠酷不酷。而你绝对没经历过，比跟防爬虫的工程师对弈更有趣的事。
要说到有用，想开点吧，学第二类曲线积分有用吗？

问题八：爬虫可以做哪些有趣的事情，欢迎讨论 用爬虫可以采集很多数据，做一些统计，比如我之前用前嗅的ForeSpider采集软件采了豆瓣的影评，然后经过这个软件对应的数据分析系统，就给我将数据全都进行分析处理，得出了一份报告，我就能知道这一年那些评分高，等等。

问题九：喜欢爬虫类能做什么工作 最多把它当成业余爱好吧 在国内限制很多的 爬虫店自己想弄的话 有些东西很难的
建议养点非保护的 蛇类 或其他爬虫 或者去林业办理一个 野生动物驯养许可 就可以肆无忌惮的养了 只要你不作死

问题十：python爬虫可以用来做什么 所说所有的变量都是对象。 对象在python里，其实是一个指针，指向一个数据结构，数据结构里有属性，有方法。
对象通常就是指变量。从面向对象OO的概念来讲，对象是类的一个实例。在python里很简单，对象就是变量。
class A:
myname=class a
上面就是一个类。不是对象
a=A()
这里变量a就是一个对象。
它有一个属性（类属性），myname，你可以显示出来
print amyname
所以，你看到一个变量后面跟点一个小数点。那么小数点后面

掌握爬虫技术有多重要：

前一阵子认识的一个妹子天天让我给她发学习python爬虫的资料，我了解后知道她需要网络上大量有关xxx关键字的新闻稿。她是一个做推广的妹子。其实楼主已经知道爬虫有多重要了，看问题形容网络爬虫是数据采集最便捷的手段，自己都明白。这边我在这里想说的是，不管你是做任何领域的工作，或者是市场营销，或者是技术人员又或者是推广运营SEO等等。数据是我们工作中重要的一部分，你在别人都没有意识，没有掌握的时候就一定比别人更吃香。

网络爬虫的就业方向有哪些：

上述说过了，你可以是做运营的，可以是市场的，可以是媒体的或者是推广。又或者是一个专门做爬虫的python工程师，都可以使是以后的职业发展方向。

它的前景如何：

光爬虫来说，可能找一个爬虫工程师这样的工作不是很容易，但是也是有的。但是把爬虫作为我们的一个技能来说，你的前景是很好的。原因之前也一直再说，各个领域各个行业都需要专业的数据作为依托。所以如果在当下掌握了爬虫，在你做SEO的时候，各个网站的关键词你都了如指掌，并且能够拿出来专业的数据就很棒。运营的话，一个活动带来个各种效果，或者是别人类似的活动你都清楚的知道数据也非常优秀。等等；

如何学习：

不需要我们全部都了解，全部都学习，只看基础知识点和python高级知识点之后，直接跳到第五个阶段学习爬虫就可以了。

1人为给定一个URL作为入口网页，数据的爬取从这里开始。
2分别用抓取队列和完成队列来保存处于不同状态的链接。
3爬虫程序从抓取队列读取队首URL，如果存在，则继续执行下去，否则停止爬取。
4每处理完一个URL，将其放入完成队列，防止网页的重复访问。
5每次抓取网页之后分析其中的URL，将经过过滤的合法链接写入完成队列，等待查询。
6重复步骤3-5直至满足结束条件。

首先我们要清晰一点是，所有的网页我们能看到的不管是文字还是还是动画，都是以html标记的，然后浏览器把这些标记可视化的美观的展示给我们，如果我们要做网络爬虫，那么我们的爬虫是没有视觉的，只有逻辑，在爬虫眼里只有html标签，其他的样式在爬虫眼里都是浮云，所以爬虫其实就是读取html标签(这里涉及一个知识点就是要能得到html标签，需要用到一个库是request库，通过网络请求拿到html元素)，然后把html标签中自己想要的东西给提取出来，这个就是一个网络爬虫了。逻辑就这么简单。如果有python使用经验的，建议使用爬虫框架scrapy

爬虫就是能够自动访问互联网并将网站内容下载下来的的程序或脚本，类似一个机器人，能把别人网站的信息弄到自己的电脑上，再做一些过滤，筛选，归纳，整理，排序等等。

网络爬虫能做什么：数据采集。

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

扩展资料：

网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的  。

通用网络爬虫

通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。 由于商业原因，它们的技术细节很少公布出来。 这类网络爬虫的爬行范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低，同时由于待刷新的页面太多，通常采用并行工作方式，但需要较长时间才能刷新一次页面。 虽然存在一定缺陷，通用网络爬虫适用于为搜索引擎搜索广泛的主题，有较强的应用价值 。

通用网络爬虫的结构大致可以分为页面爬行模块 、页面分析模块、链接过滤模块、页面数据库、URL 队列、初始 URL 集合几个部分。为提高工作效率，通用网络爬虫会采取一定的爬行策略。 常用的爬行策略有：深度优先策略、广度优先策略   。

1) 深度优先策略：其基本方法是按照深度由低到高的顺序，依次访问下一级网页链接，直到不能再深入为止。 爬虫在完成一个爬行分支后返回到上一链接节点进一步搜索其它链接。 当所有链接遍历完后，爬行任务结束。 这种策略比较适合垂直搜索或站内搜索， 但爬行页面内容层次较深的站点时会造成资源的巨大浪费 。

2) 广度优先策略：此策略按照网页内容目录层次深浅来爬行页面，处于较浅目录层次的页面首先被爬行。 当同一层次中的页面爬行完毕后，爬虫再深入下一层继续爬行。 这种策略能够有效控制页面的爬行深度，避免遇到一个无穷深层分支时无法结束爬行的问题，实现方便，无需存储大量中间节点，不足之处在于需较长时间才能爬行到目录层次较深的页面。

聚焦网络爬虫

聚焦网络爬虫（Focused Crawler），又称主题网络爬虫（Topical Crawler），是指选择性地爬行那些与预先定义好的主题相关页面的网络爬虫。 和通用网络爬虫相比，聚焦爬虫只需要爬行与主题相关的页面，极大地节省了硬件和网络资源，保存的页面也由于数量少而更新快，还可以很好地满足一些特定人群对特定领域信息的需求  。

聚焦网络爬虫和通用网络爬虫相比，增加了链接评价模块以及内容评价模块。聚焦爬虫爬行策略实现的关键是评价页面内容和链接的重要性，不同的方法计算出的重要性不同，由此导致链接的访问顺序也不同 。

增量式网络爬虫

增量式网络爬虫（Incremental Web Crawler）是 指 对 已 下 载 网 页 采 取 增 量式更新和只爬行新产生的或者已经发生变化网页的爬虫，它能够在一定程度上保证所爬行的页面是尽可能新的页面。 和周期性爬行和刷新页面的网络爬虫相比，增量式爬虫只会在需要的时候爬行新产生或发生更新的页面 ，并不重新下载没有发生变化的页面，可有效减少数据下载量，及时更新已爬行的网页，减小时间和空间上的耗费，但是增加了爬行算法的复杂度和实现难度。增量式网络爬虫的体系结构[包含爬行模块、排序模块、更新模块、本地页面集、待爬行 URL 集以及本地页面URL 集  。

增量式爬虫有两个目标：保持本地页面集中存储的页面为最新页面和提高本地页面集中页面的质量。 为实现第一个目标，增量式爬虫需要通过重新访问网页来更新本地页面集中页面内容，常用的方法有：1) 统一更新法：爬虫以相同的频率访问所有网页，不考虑网页的改变频率；2) 个体更新法：爬虫根据个体网页的改变频率来重新访问各页面；3) 基于分类的更新法：爬虫根据网页改变频率将其分为更新较快网页子集和更新较慢网页子集两类，然后以不同的频率访问这两类网页  。

为实现第二个目标，增量式爬虫需要对网页的重要性排序，常用的策略有：广度优先策略、PageRank 优先策略等。IBM 开发的 WebFountain是一个功能强大的增量式网络爬虫，它采用一个优化模型控制爬行过程，并没有对页面变化过程做任何统计假设，而是采用一种自适应的方法根据先前爬行周期里爬行结果和网页实际变化速度对页面更新频率进行调整。北京大学的天网增量爬行系统旨在爬行国内 Web，将网页分为变化网页和新网页两类，分别采用不同爬行策略。 为缓解对大量网页变化历史维护导致的性能瓶颈，它根据网页变化时间局部性规律，在短时期内直接爬行多次变化的网页 ，为尽快获取新网页，它利用索引型网页跟踪新出现网页  。

Deep Web 爬虫

Web 页面按存在方式可以分为表层网页（Surface Web）和深层网页（Deep Web，也称 Invisible Web Pages 或 Hidden Web）。 表层网页是指传统搜索引擎可以索引的页面，以超链接可以到达的静态网页为主构成的 Web 页面。Deep Web 是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的 Web 页面。例如那些用户注册后内容才可见的网页就属于 Deep Web。 2000 年 Bright Planet 指出：Deep Web 中可访问信息容量是 Surface Web 的几百倍，是互联网上最大、发展最快的新型信息资源 。

参考资料：

百度百科-网络爬虫

网络爬虫如何处理这个，其实是数据提取的那一步骤，首先我们要清楚知道网页的页面结构，这是根本，因为网页是一个树形结构，是有层次的。不然，我们是很难提取到我们想要的数据，所以，心中要有这样一个概念：网页是结构分层分明的树形文档。

在这里我以搜房网为例：housing/，这个页面，是一个小区的List页面，我们现在要提取其中的小区名称和URL。

首先，查看页面的结构

点击右键，选择查看选择，得到如下这样一个页面。因为是一个List，所以有很多个小区，这些小区的信息应该是在一个div样式下面的。在这里我们看到这样一行，这个就是我们要找的根div。

解析出我们想要的内容-小区名称、页面URL

我们就可以使用xpath提取页面中的内容，在这里我们就可以这样描述：

selectore_list=responsexpath('//div[@class=\houseList\]//dl/dd/a[@class=\plotTit\]')

这样的话是提取的整个页面的列表，我们还需要通过循环把每个小区的标题和页面URL取出来，我们可以这样写：

forliinselector_list:title=lixpath('/@href')extract()[0]urls=lixpath('/text()')extract()[0]

这样的话里面的标题和页面url都提取出来的。关于xpath如何使用，可以查询相关的课程学习。

---