从Django视图启动Scrapy

从Django视图启动Scrapy

你实际上已经通过编辑回答了它。最好的选择是设置scrapyd服务并进行API调用schedule.json以触​​发抓取作业运行。

要进行该API http调用，你可以使用

urllib2/ requests

，也可以在

scrapydAPI

- 周围使用包装器python-scrapyd-api：

from scrapyd_api import ScrapydAPIscrapyd = ScrapydAPI('http://localhost:6800')scrapyd.schedule('project_name', 'spider_name')

如果我们搁置一边

scrapyd

并尝试从视图中运行Spider，它将阻止请求，直到扭曲的反应堆停止为止-因此，这实际上不是一种选择。

不过，你可以开始使用

celery

（与串联

django_celery

）-定义一个任务，该任务将运行Scrapy Spider，并从django视图中调用该任务。这样，你可以将任务放在队列中，而不会让用户等待爬网完成。

另外，看看django-dynamic-scraper软件包：

Django Dynamic Sc​​raper（DDS）是用于Django的应用程序，基于cracking框架Scrapy构建。在保留Scrapy的许多功能的同时，它还允许你通过Django管理界面动态创建和管理蜘蛛。能会朝着正确的方向前进。