互联网由众多链接构成，蜘蛛就是顺着这些链接在爬行每一个页面、抓取页面信息。当某个页面不再有新链接的时候，它就返回，在这个过程当中，他不断的向服务器提供信息，站长在进行日志分析的时候，如果发现某一个页面被蜘蛛爬行并成功抓取数据，这个页面就很有可能被索引，所以提高网页的索引数据(收录量)对于一个网站的搜索引擎优化(SEO)是非常有利的。

　　然而蜘蛛为了提高其抓取效率，在抓取的过程一般会采用广度优先和深度优先策略。

　　深度优先是指蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。

　　其实不论采用哪种策略，只要有足够的时间，理论上蜘蛛都能够爬完整个互联网，但实际情况下，蜘蛛却不会这样做，这主要受到抓取瓶颈、存储、下载和提供搜索结果的效率方面的影响，让蜘蛛选择了只抓取重要的页面，判断页面是否重要的主要依据是“链接深度”。