这个可以从你服务器或者虚拟主机的日志中看出来,比如我用的站的www.com-edu.cn的完整使用日志中有这样的记录:(IIS日志文件位置:c:\windows\system32\LogFiles\W3SVCXXXXXXXX\exyymmdd.log)
220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+
(+http://www.baidu.com/search/spider.htm)"这就说明蜘蛛来过我的站了,如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站,你可以在日志文件中搜索“spider”这个词,或者搜索蜘蛛的IP,都可以查到。
+;+.NET+CLR+1.1.4322;+.NET+CLR+2.0.50727;+CIBA;+.NET+CLR+3.0.04506.648;+.NET+CLR+3.5.21022) 200 0 0 2009-05-07 01:07:48 W3SVC1774326157 110.110.110.39 GET /images_index/icon_gaozhong.jpg - 8077 - 110.110.110.36 Mozilla/4.0+(compatible;+MSIE+8.0;+Windows+NT+5.2;+Trident/4.0;+GTB6;+Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1)
其他经常碰到的HTTP状态码列表如下:
HTTP状态码 摘要说明
成功2×× 成功处理了请求的状态码。
200 服务器已成功处理了请求并提供了请求的网页。
204 服务器成功处理了请求,但没有返回任何内容。
重定向3×× 每次请求中使用重定向不要超过 5 次。
301请求的网页已永久移动到新位置。当URLs发生变化时,使用301代码。搜索引擎索引中保存新的URL。
302 请求的网页临时移动到新位置。搜索引擎索引中保存原来的URL。
304 如果网页自请求者上次请求后没有更新,则用304代码告诉搜索引擎机器人,可节省带宽和开销。
客户端错误4××表示请求可能出错,妨碍了服务器的处理。
400 服务器不理解请求的语法。
403 服务器拒绝请求。
404 服务器找不到请求的网页。服务器上不存在的网页经常会返回此代码。
410 请求的资源永久删除后,服务器返回此响应。该代码与 404(未找到)代码相似,但在资源以前存在而现在不存在的情况下,有时用来替代404 代码。如果资源已永久删除,应当使用 301 指定资源的新位置。
服务器错误5×× 表示服务器在处理请求时发生内部错误。这些错误可能是服务器本身的错误,而不是请求出错。
500 服务器遇到错误,无法完成请求。
503 服务器目前无法使用(由于超载或停机维护)。通常,这只是暂时状态。
分享到:
相关推荐
netspider webspider 网络蜘蛛 netspider webspider 网络蜘蛛 netspider webspider 网络蜘蛛
稳定的网络蜘蛛,可以并行抓取多个站点,BS架构控制系统,使用httpsqs 和淘宝的tair可以作为分布式爬虫基础,去重能力强,存储系统为mysql,可以用sphinx等做索引,原始版本
网站下载,webspider is very excellent soft
开源网络蜘蛛介绍 开源网络蜘蛛介绍 开源网络蜘蛛介绍 开源网络蜘蛛介绍
html5微信小游戏源码 蜘蛛spider aircraft(仅用于参考)html5微信小游戏源码 蜘蛛spider aircraft(仅用于参考)html5微信小游戏源码 蜘蛛spider aircraft(仅用于参考)html5微信小游戏源码 蜘蛛spider aircraft...
xnSpider,网络蜘蛛
商剑分布式网络蜘蛛,性能高速运转,能耗尽全部带宽,可批量采集海量数据的网页,若几百台服务器安装商剑分布式网络蜘蛛,分块同时抓取整个WEB不同站点,短时期内可以抓取100亿网页!商剑分布式网络蜘蛛,是大型搜索...
WebSpider 2.7 汉化版网络蜘蛛原版是一个德文软件。你只要给出一个起始页面或者目录,它就可以帮助你将整个网站或者其中的部分下载到你的硬盘上并保留原始的目录结构以便离线浏览。与许多其它同类工具相比,它具有...
稳定的网络蜘蛛,可以并行抓取多个站点,BS架构控制系统,使用httpsqs 和淘宝的tair可以作为分布式爬虫基础,去重能力强,存储系统为mysql,可以用sphinx等做索引
[海蜘蛛路由操作系统].[Hi-Spider.Router].3.2.7.Hi-Spider.iso 使用老旧的PC重新利用!变废为宝!
昨天刚完善的最新的两套asp和php两个环境下分别都好用的搜索引来访记录模块,您可以自由植入自己网站系统的后台中,它将适时自动记录各大搜索引擎来访情况,也能让您了解哪些是恶意攻击,并记录所有IP地址和被访情况,...
网络爬虫,实现了一个简单但足够用的爬虫系统(转)
,蜘蛛蜘蛛、蜘蛛怪物和蜘蛛布斯逃离机器人和骷髅汽车。 ★ 城市机器人 Tron 和你酷炫的团队! ★ 色彩鲜艳、生动的高清图形! ★ 悬浮滑板冲浪! ★ 4 个角色:蜘蛛侠、蜘蛛网、蜘蛛怪物和蜘蛛靴 ★ 闪电般快速的...
八年级英语作文蜘蛛Spider
spider.rar蜘蛛牌_快来玩呀,欢迎下载
寻找能再win98上运行的蜘蛛纸牌(spider.exe),结果n多努力之后,终于搞定,于是在此共享。
用Java写的网络蜘蛛,可以抓取网站URL列表,并分词站内外列表。有清晰的注释,和大家一同学习
稳定的网络蜘蛛,可以并行抓取多个站点,BS架构控制系统,使用httpsqs 和淘宝的tair可以作为分布式爬虫基础,去重能力强,存储系统为mysql,可以用sphinx等做索引
爬虫的详细例子
如当前电脑已被红蜘蛛锁定,可按“Ctrl+Alt+Delete”选择“切换用户”,然后重新登录,期间会有10秒钟左右的红蜘蛛重启动过程,这个间隙时间可快速操作运行本kill_Red Spider.bat即可关闭红蜘蛛。 研究了一下红蜘蛛...