我应该创建管道来保存草率文件吗？

我应该创建管道来保存草率文件吗？

是和否[1]。如果您获取一个pdf文件，它将被存储在内存中，但是如果pdf文件的大小不足以填满您的可用内存，那就可以了。

您可以将PDF保存在Spider回调中：

def parse_listing(self, response):    # ... extract pdf urls    for url in pdf_urls:        yield Request(url, callback=self.save_pdf)def save_pdf(self, response):    path = self.get_path(response.url)    with open(path, "wb") as f:        f.write(response.body)

如果选择在管道中执行此 *** 作：

# in the spiderdef parse_pdf(self, response):    i = MyItem()    i['body'] = response.body    i['url'] = response.url    # you can add more metadata to the item    return i# in your pipelinedef process_item(self, item, spider):    path = self.get_path(item['url'])    with open(path, "wb") as f:        f.write(item['body'])    # remove body and add path as reference    del item['body']    item['path'] = path    # let item be processed by other pipelines. ie. db store    return item

[1]另一种方法可能是仅存储pdf的url，并使用另一种方法来获取文档而不会缓冲到内存中。（例如

wget

）