目前的搜索引擎是主要是通过什么来开采集网页数据的

搜索引擎采集数据的程序被称为“爬虫”或“蜘蛛”，爬虫根据别的网页上面的链接搜索到你网站的地址，然后以该地址为入口对你网站上的页面数据进行采集。一个网页要想被爬虫采集必须依赖于两个条件：1、该网页要提供一个对外开放的链接；2、该网页在robot规则中没有被禁止。这样做的目的是让网站能够保护自己的敏感内容不被泄漏。但是可能有搜索引擎不遵守这个规则，比如360搜索，它可以他通过你安装的360浏览器得到一个并没有对外开放的链接地址，然后也会无视该网站的robot规则，这样会导致网站的敏感信息被外泄。

最简单的方式是用爱站工具的真实收录，输入关键词，然后记得勾选无限制，可以抓前760条记录，链接加标题都有，导出表格就可以了

火车头也可以，但是要写好规则，没这么采集过，太费时间！和正常采集网址内容那样去采集就好了吧！

---