Scrapy 可以实现用户动态添加起始URL吗

使用scrapy-redis管理url队列，能随时向redis里面push新的start_urls，可以实现你的需求

使用很简单 pip install scrapy-redis 安装

然后修改常规spider文件

1.引入RedisCrawlSpider

from scrapy_redis.spiders import RedisCrawlSpider

2.将spider类继承改为RedisCrawlSpider

class BaiduSpider(RedisCrawlSpider):

3.将

start_urls = (

'https://www.baidu.com',

)

替换为

redis_key = 'baidu_spider:start_urls'

4.然后在setting里面设置redis数据库的地址等

SCHEDULER = "scrapy_redis.scheduler.Scheduler"

SCHEDULER_PERSIST = True

SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'

REDIS_URL = 'redis://127.0.0.1:6379'

REDIS_HOST = '127.0.0.1'

REDIS_PORT = 6379

DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

5.然后启动爬虫，此时已经在使用redis管理url队列，但是redis里面还没有start_urls

使用命令

lpush baidu_spider:start_urls https://www.baidu.com

将start_urls push进redis

然后爬虫就会开始爬取了哦

中途任意时间可以运行上面的命令将start_urls push进redis 进行爬取

你是要获取$('.inner-message a')的值还是要使用$('.inner-message a')的事件呢？

如果是获取值，我想楼上的那位朋友他已经说过了，是说可以成功的，但是如果获取事件估计就不行了。我所说的事件是指$('.inner-message a').click或者$('.inner-message a').hover这种。

造成这个问题的原因，是因为jquery他的事件机制是当页面完全加载成功后，会根据所有目前页面上符合要求的dom添加事件标示，这样当你触发事件的时候，拥有该事件标示的DOM就会给予响应。

但你这个append很可能是页面加载完成后，再触发的事件，这样的话，很可能你这个标示初始化的时候就没有成功加上，所以你不能简单的使用click或hover这种方法，而要用另外一个写法。

$('.inner-message a').live('click',function(){})

类似这种写法，也就是使用live方法就可以了，这个也是大部分jquery无法响应的事件的解决方式，希望可以帮到你~

关键词选好了，那么怎么才能让搜索引擎找到呢？

搜索引擎抓取信息的工作原理是当用户在搜索引擎输入关键词后，其会通过分词等技术了解用户的真实搜索意图，然后搜索引擎蜘蛛会根据用户输入的关键词信息抓取网页内容，从而把搜索引擎认为相关且有价值的网页内容提供给用户。

了解这个工作原理之后，我们就知道为了让搜索引擎蜘蛛更好地抓取我们的文章内容并进行推荐，一个关键的步骤就是要使得我们的文章尽可能多地覆盖关键词，只有先被搜索引擎所看见，才能继而被我们的目标用户所看见。

刚开始，关键词似乎只能够放在文章标题这样最明显的位置上，如果我们真这样做了，那么我们还忽略了很多可以优化网页内容的空间。

关键词还可以放置在文章页面的很多地方：文章标题、文章前100字的内容、文章小标题、对插入的图片或视频的文字描述、甚至是URL都是我们可以放置关键词的位置。

那么在每一个位置处，具体可以怎样 *** 作呢？

文章标题 ：最好是把你的目标关键词放在文章标题的前半部分，这样的做法会让搜索引擎认为你注重标题开头的文字，搜索引擎会知道你的文章和你想要关联的目标关键词强相关。

文章前100字 ：在文章的前100个字只谈论与关键词相关的内容，这样会让搜索引擎认为你的文章和关键词的相关度很高。

文章小标题 ：在写文章的时候，我们不会把2000字的内容从头写到尾，我们会添加一些小标题使得我们的文章有清晰的逻辑结构。那么我们在设置小标题内容的时候，我们也不要放过抓住关键词的好机会，同样，把关键词尽可能地放置在小标题的前半段，来吸引搜索引擎。

图片或视频的文字描述 ：在一些自媒体的内容创作平台中，比如、百家号等，当你插入图片的时候，在图片下方你可以对关键词进行描述，在文字描述中你就需要尽可能地添加你的目标关键词及相关关键词。

文章标签 ：在一些内容管理平台中，此标签默认地展示了页面的标题。

URL ：一个由乱码组成的网址容易被搜索引擎判定为是一组不稳定的、随时会被更改的URL，所以当用户用关键词搜索的时候，很难通过搜索引擎搜索到我们的网站。所以做文章的SEO优化，在URL上也要添加上关键字，使得搜索引擎更容易检索到你的文章。但是这一个方法对于很多内容管理平台是十分有限的，比如在百家号上发布的文章是不可以随意设置URL的，通常只有在自己的网站内才可以对URL进行修改。

还有一点很重要的是，这里所说的关键词不是只可以有目标关键词1个，我们可以把之前在选题步骤中所收集的关键词词库都充分地利用起来。 充分利用你的关键词词库，精心地布局在文章中的各个地方 。

比如当我在编辑学员的文章《零基础转行新媒体运营》时，我除了放置“零基础转行新媒体运营”这一关键词之外，我看到在我的关键词库中有“新媒体运营前景如何”这一关键词，而且这一关键词有和我的文章内容有所相关，我就会在一开始介绍转行新媒体运营的时候插入“新媒体运营前景如何”的相关内容。

---