沙哑的允许所有领域

完全不要设置allowed_domains。

查看此scrapy文件中的get_host_regex（）函数：

https://github.com/scrapy/scrapy/blob/master/scrapy/contrib/spidermiddleware/offsite.py