使用这个标签的网站,通常是因为网站数据量非常大,被搜索引擎过于频繁的抓取,会占用过大的资源,影响网站的访问。所以,希望搜索引擎不要天天过来,抓取过一次了,那么等7天后再来。一般的网站是不需要这个标签的。
那如果原来搜索引擎可能十多天才来抓取一次,那么我把revisit-after设置的短一些,比如3天,那搜索引擎是不是会提高对我网站的抓取频率,更利于SEO呢?答案是否定的。搜索引擎对网站的抓取频率最主要是取决于你自身网站的更新频率,只要你的网站经常更新、添加新的内容,那么搜索引擎的蜘蛛和爬虫也会常来更新你的网站,可以说这是决定搜索引擎更新你的网站最重要的、最根本的因素。此外,PR值、网站结构以及服务器的稳定性等都影响到搜索引擎的抓取,不是一个revisit-after元标签能够决定的。如果原来是10天来一次,用这个标签后,还是10天来一次。