php如何写爬虫？

据我所知，很多第三库都可以实现你所要求的这些php爬虫特征。

如phpQuery，phpCrawl，phpSpider，Snoopy。

如果使用curl，也是相当不错的。但你要做的事情更多。它只负责请求和下载，并没有实现爬虫的核心。别的事情都要自己做，至少你得先封装一下。

如果你任务比较紧迫，建议选择那些第三方库，集成一下，能用先用着。

业务时间还是了解一下爬虫的方方面面比较好。

xpath简单，拿到源码，交给phpQuery就可以，像使用jQuery一样，不需要正则。还有一些是需要动态渲染才能拿到数据的，得用无头浏览器，如phantomjs，去处理。

速度不会成为问题，有问题也是因为速度太快，被网站发觉然后屏蔽你，而不是太慢。哈哈。

个人认为比较难的是怎么针对反爬虫策略，怎么做全自动化。还是建议你去看几本关于爬虫的书。

其实用PHP来爬会非常方便，主要是PHP的正则表达式功能在搜集页面连接方面很方便，另外PHP的fopen、file_get_contents以及libcur的函数非常方便的下载网页内容。

具体处理方式就是建立就一个任务队列，往队列里面插入一些种子任务和可以开始爬行，爬行的过程就是循环的从队列里面提取一个URL，打开后获取连接插入队列中，进行相关的保存。队列可以使用数组实现。

当然PHP作为但线程的东西，慢慢爬还是可以，怕的就是有的URL打不开，会死在那里。

---