
搜索引擎抓取网站信息必会在服务器上留下信息,这个信息就在网站日志文件里。我们通过日志可以了解搜索引擎的访问情况,一般通过主机服务商开通日志功能,再通过FTP访问网站的根目录,在根目录下可以看到一个log或者weblog文件夹,这里面就是日志文件,我们把这个日志文件下载下来,用记事本(或浏览器)打开就可以看到网站日志的内容。那么到底这个日志里面隐藏了什么玄机呢其实日志文件就像飞机上的黑匣子。我们可以通过这个日志了解很多信息,那么到底这个日志给我们传递了什么内容呢
如果想要知道网站日志文件包含了什么内容,首先必须知道各搜索引擎的蜘蛛名称,比如百度的蜘蛛程序名称是baiduspider,Google的机器人程序名称是Google-Googlebot等等,我们在日志的内容里搜索上述的的蜘蛛名就可以知道哪个搜索引擎已经爬取过网站了,这里就留下了他们的蛛丝马迹。再者,必须能看懂常见的>
在windows server 2003 *** 作系统的服务器上如何开启iis日志功能
1、开启iis日志功能首先要确定是否已安装好iis,然后启用iis管理器,找到需要配置的网站。
2、右键单击属性,单击网站属性选项卡,单击启用日志记录复选框,在活动日志格式框中选中要使用的格式,具体格式有Microsoft IIS日志文件格式、NCSA公用日志文件格式、W3C扩展日志文件格式。
3、然后单击旁边属性,默认选择新建日志时间为每天,点击浏览设置日志存放文件路径。
在Windows7 *** 作系统中,相比2003来说,对于IIS日志记录来说有了很大的改进。不仅仅是日志的格式,还是其他的一些可选项上, *** 作系统管理员有了更多的选择。
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)