
在网站的根目录下上传robots文件;禁止百度抓取网站所有页面。
robots文件的写法:
新建一个TXT文档,命名为robots,双击打开,输入以下内容保存:
User-agent: Baiduspider
Disallow: /
扩展:
Baiduspider是指百度蜘蛛,不让百度抓取,如果是不希望所有的搜索引擎(比如还有360,搜狗,谷歌等)抓取,可把Baiduspider换成 号
Disallow: /中的/是指根目录下所有文件,如果只是不喜欢抓取一个文件或者文件夹里面的内容,换成对应的目录即可。比如/admin/是不希望抓取网站根目录下admin文件夹下面的所有内容
要防止所有搜索引擎显示您网站的快照,请将些元标记置入网页的<HEAD>部分:<meta name="robots" content="noarchive">
要允许其它搜索引擎显示网站的快照,但又防止百度显示,请使用以下标记:<meta name="Baiduspider" content="noarchive">
或者,使用网站host文件,禁止百度抓取某些链接
可以把百度没有收录的重要页面发布到各大平台发布外链,增加蜘蛛的抓取。
2在网站主页面的重要页面添加锚链接,有助于蜘蛛抓取。
3自己想想,页面上有没有什么不利于百度抓取的地方,是百度不喜欢的,进行简单的修改。
4使用百度站长工具向百度提交重要页面。
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)