几乎所有网站都会出现不再需要展现的网页,如何处理这样的网页也成为站长经常谈论的话题。为此,百度站长学院专访了负责死链识别...
一、Apache Apache根据配置文件中的配置来设置Etag值,默认的Apache的FileEtag设置为...
提起向百度提交数据,大家基本都会想到sitemap,最近又推出的ETag是什么东东?真的能有效果吗?其实在ETag推出之...
近日 ,Baiduspider针对移动抓取user agent(以下简称ua)进行了升级,与PC端的抓取ua做到版本统一...
当百度蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。请注意,这个定义和百度最近声明去除Referer...
上周百度站长平台接到某站长求助,表示误封禁了Baiduspider的IP,询问是否有办法获得Baiduspider的所有...