后台-系统设置-扩展变量-手机广告位-内容页头部广告位 |
蜘蛛是怎样爬行你的网站
xingxing 4年前(2016-10-06 10:58:47) seo工具 ℃-
互联网由众多链接构成,蜘蛛就是顺着这些链接在爬行每一个页面、抓取页面信息。当某个页面不再有新链接的时候,它就返回,在这个过程当中,他不断的向服务器提供信息,站长在进行日志分析的时候,如果发现某一个页面被蜘蛛爬行并成功抓取数据,这个页面就很有可能被索引,所以提高网页的索引数据(收录量)对于一个网站的搜索引擎优化(SEO)是非常有利的。
然而蜘蛛为了提高其抓取效率,在抓取的过程一般会采用广度优先和深度优先策略。
深度优先是指蜘蛛会从起始页开始,一个链接一个链接跟踪下去,处理完这条线路之后再转入下一个起始页,继续跟踪链接。
其实不论采用哪种策略,只要有足够的时间,理论上蜘蛛都能够爬完整个互联网,但实际情况下,蜘蛛却不会这样做,这主要受到抓取瓶颈、存储、下载和提供搜索结果的效率方面的影响,让蜘蛛选择了只抓取重要的页面,判断页面是否重要的主要依据是“链接深度”。
标 签:
试试用"←"或"→"方向键快速翻页把 (^o^)/
后台-系统设置-扩展变量-手机广告位-内容页头部广告位 |
留言与评论(共有 0 条评论) |
- 搜索
-
- 热门图片
- 最近更新