2018-08-27 15:11:27 未知
众所周知,蜘蛛只是一个机器人,它由程序代码组成,并且必须遵循其规则爬行网站,如果网站存在陷阱的话,会使蜘蛛爬行不顺畅,导致一系列问题。那么,哪些网站陷阱是蜘蛛蜘蛛爬行绊脚石呢?
陷阱一:网站地图不正确
网站地图是网站的一个非常有用的工具。一副完整和正确的网站地图对用户和蜘蛛都是有好处的,可以识别整个网站的架构,以便更好地浏览和爬行网站。因为有些网站站长不熟悉代码以及网站的架构,就随机选择一个权威性差的工具来创建了不完整或不正确的网站地图,结果让蜘蛛在爬行时陷入其中并最终迷路。
选择一个权威的工具制作网站地图,比如站长工具、百度站长平台工具等,如果你比较熟悉自己的网站,最好是能够手工制作,并亲自多次测试,以确保网站地图的正确性和完整性。
陷阱二:网站上死链的数量巨大
所谓的死链接是返回代码为404的错误页面链接,这样的链接通常是在网站更改后生成的,或者网站改变域名后,死链接的存在对用户体验和蜘蛛爬行非常不利。死链接会阻挡蜘蛛爬行,当蜘蛛反复遇到这些不应该出现的死链接时,就会产生对网站的不信任,并最终放弃爬行。
(1)提交死链接。利用百度站长平台的死链提交工具提交网站死链,详情请参阅参考百度站长工具。
(2)重定向或删除死链接,如果死链接的位置不重要,您可以重定向到主页,如果位置比较重要,数量也较多,可以选择删除死链接,可以使用工具删除。
陷阱三:URL包含太多的参数
虽然百度优化指南官方表示,百度搜索机器人也可以想谷歌机器人一样收录动态参数网站,但静态URL的网站总是比动态URL更有优势。
在选择网站制作程序之前,重要的是要考虑该程序是否支持静态url,并在以后的维护中注意URL是否真正的做到了静态化,尽量放弃包含参数的动态URL的做法。
陷阱四:网站锚文本太多
网站锚文本太多,导致内链链轮。相信每个人都知道外部链轮,但事实上,内部链接也可以产生链轮。很多网站站长为了提高关键词的排名,毫不犹豫地使用过多的锚文本,然后造成页面之间的链接轮回效应,最后使蜘蛛走进无底洞,无法走出。
清理过去带有交叉链接的锚文本,并且尽量做到需要时才添加锚文本,滥用锚文本只会让百度更一步不认可你的网站。
百度搜索引擎蜘蛛永远只是一个程序机器人,它的智能永远无法与我们相比,但我们仍然应该尊重它,为它提供一个爬行顺畅的站点环境,从而保证我们的网站能够持续健康发展。