禁止蜘蛛/爬虫:如何配置Robots.txt和网站地图(Sitemap.xml)

单页优化主要目标是提高搜索引擎收录网页的概率。但单页优化也可以禁止蜘蛛/爬虫来爬某些不想被收录的页面。

前段时间发现有些不应收录的页面也被收录,有点小震惊。为什么会震惊呢?因为,已经在robots.txt和noindex/nofollow元标签中明确告诉蜘蛛/爬虫不能爬了。

为什么设置失效了呢?深入检查后发现,网站地图(Sitemap.xml)包括了那些页面。

原以为,只要在robots.txt和noindex/nofollow元标签中阻止蜘蛛/爬虫,会是双保险。没想居然还是被收录了。所以,以后在做网站地图时,还是得多多检查,是否包括了那些不应收录的页面。

 

本文来源:伯乐在线

转载请注明原文来源和链接,否则视为侵权!

收藏 评论

相关文章

可能感兴趣的话题



直接登录
跳到底部
返回顶部