当前位置:首页 > 网站SEO联盟推广 > 网站SEO > 正文内容

巧用robots避免蜘蛛黑洞

admin6年前 (2014-10-23)网站SEO848

对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。


   比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况呢?


我们以北京某团购网站为例,看看该网站是如何利robots巧妙避免这种蜘蛛黑洞的:


对于普通的筛选结果页,该网站选择使用静态链接,如:http://bj.XXXXX.com/category/zizhucan/weigongcun
同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如:http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek


http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c


对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。


        robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。


做SEO很累,累了就来休闲趣事网http://www.sunhuahai.com/  看看笑话吧!


扫描二维码推送至手机访问。

版权声明:本文由学无止境-开拓创新-ipvb学习网发布,如需转载请注明出处。

分享给朋友:

相关文章

简单的增加外链的技巧,需要日积月累

  1、若是您经常泡论坛。把论坛的本性署名改成您网站的关头字链接。  2、现在良多多少大型站点都有网上收藏夹。好比Yahoo收藏夹。在百度搜刮网上收藏夹有N多  3、把网站提交给开放目次DMOZ收录网...

五点软文写作的几点要素

什么是软文?那么站长又如何知道软文写作的几点要素呢?下面说五点软文写作的几点要素,供新手站长来参考:       1、重视软文发布平台&nb...

百度2014年SEO技巧

  不管SEO技术怎么样,千万不能成为百度算法打击的对象,别到时候关键词没有做上去,网站还被k,那就得不偿失了,所以,我根据研究中心的课程总结了一些数据说明部分2014百度最新算法,让自己的快速进入百...

一月关键词排名优化经验分享

一月关键词排名优化经验分享

    最近做了一个网站,用一个月的时间,把公司的产品词(精准关键词)做到了首页第五位。今天是周六,白天继续优化网站,晚上听研究中心的老师讲课,傍晚总结一天的学习成果,一天过的挺丰富的。  案例:安徽...

SEO技巧,网站标题怎么定

  一个好的标题能够吸引大量的用户来点击,一个符合用户需求的标题,可以让我们的网站和其他网站形成差异化,用最短的时间快速实现排名。  比如说安徽恒铁路桥制砂机配件厂(www.hengtieluqiao...

案例】网站初期不被收录的原因找到了

一般情况下,再烂的网站,百度也不会一点都不收录的。如果网站上线很长时间了,百度一直没有收录,本案例的情况来说,有这几个原因。案例:北京华艺嘉禾装修公司这个网站在上线后的三周之内一直没有收录,知道今天早...