robot.txt怎么写的，大家都禁止蜘蛛抓去了哪些页面啊？

User-agent: Disallow: /cgi-bin/Disallow: /asp$Disallow: /php$Disallow: /js$Disallow: /css$Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-content/plugins/Disallow: /wp-content/cache/Disallow: /wp-content/themes/Disallow: /trackback/Disallow: /feedDisallow: /comments/Disallow: //trackback/Disallow: //feedDisallow: //comments/Disallow: ///trackback/Disallow: ///feedDisallow: ///comments/Disallow: ////feedDisallow: /////feedDisallow: //////feedDisallow: /Disallow: //Disallow: ///Disallow: //comment-page-Disallow: /replytocom这个是我的一个wordpress 的写法，把动态页面和 评论页全部禁爬了

可以设置一些页面不让百度进行访问，可是我看你的问题不是这个，既然你网站里没有这些页面，百度蜘蛛怎么可能去访问呢，建议你看一下网站原文件，是否存在这些文件。蜘蛛访问过的404页面百度系统会自动剔除，这个不用担心

---