scrapy中的每个请求之间如何给延迟?

scrapy中的每个请求之间如何给延迟?,第1张

scrapy中的每个请求之间如何给延迟

DOWNLOAD_DELAY

默认:

0

从同一网站下载连续页面之前,下载程序应等待的时间(以秒为单位)。这可以用来限制爬网速度,以避免对服务器造成太大的冲击。

DOWNLOAD_DELAY = 0.25    # 250 ms of delay


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/zaji/4908287.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2022-11-12
下一篇2022-11-12

发表评论

登录后才能评论

评论列表(0条)

    保存