WEB服务器有一个很好的功能,叫做Http状态码。这个状态码用来与客户端进行数据交流。
解释:
一个错误的页面,当用户访问时,我们可以看到404页面,于是知道那是一个错误页面。但客户端、百度蜘蛛访问时,怎么判断它是错误页面呢?
这时WEB服务器会返回一个http状态码给客户端或者百度蜘蛛,告诉它们这个链接是错误的。代表错误链接的状态码是404。
同样道理,如果WEB服务器返回一个304状态码给百度蜘蛛,那么就代表这个页面没有更新过,百度蜘蛛可以不用爬取。
如果没有304,百度蜘蛛就会去爬取更新了。
如无特别说明,转载请注明来自网站优化网,谢谢
