搜索引擎蜘蛛参考大全

文章目录[隐藏]

• 1百度蜘蛛

• 2谷歌蜘蛛

• 3360蜘蛛

• 4SOSO蜘蛛

• 5雅虎蜘蛛

• 6有道蜘蛛

• 7搜狗蜘蛛

• 8MSN蜘蛛

• 9必应蜘蛛

• 10一搜蜘蛛

• 11Alexa蜘蛛

• 12宜sou蜘蛛

• 13即刻蜘蛛

• 14一淘网蜘蛛

  1.百度蜘蛛

  Baiduspider（抓取页面蜘蛛）

  Baiduspider-image（抓取图片的蜘蛛）

  Baiduspider-mobile（抓取wap）

  Baiduspider-image（抓取图片）

  Baiduspider-video（抓取视频）

  Baiduspider-news（抓取新闻）。

  *注：以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。

  2.谷歌蜘蛛

  谷歌蜘蛛：Googlebot

  谷歌蜘蛛：compatible; Googlebot/2.1

  Googlebot-Mobile：抓取wap内容

  3.360蜘蛛

  360蜘蛛：360Spider

  4.SOSO蜘蛛

  SOSO蜘蛛：Sosospider

  5.雅虎蜘蛛

  雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo!

  名称中带“Slurp”和空格，名称有空格robots里名称可以使用“Slurp”或者“Yahoo”单词描述，不知道有效无效。

  6.有道蜘蛛

  有道蜘蛛：YoudaoBot，YodaoBot（两个名字都有，中文拼音少了个U字母读音差别很大嘎，这都会少？）

  7.搜狗蜘蛛

  搜狗蜘蛛：Sogou News Spider

  Sogou web spider

  Sogou inst spider

  Sogou spider2

  Sogou blog

  Sogou News Spider

  Sogou Orion spider

  （参考一些网站的robots文件，搜狗蜘蛛名称可以用Sogou概括，无法验证不知道有没有效）

  看看最权威的百度的robots.txt ，http://www.baidu.com/robots.txt 就为Sogou搜狗蜘蛛费了不少字节，占了一大块领地。

  “Sogou web spider；Sogou inst spider；Sogou spider2；Sogou blog；Sogou News Spider；Sogou Orion spider”目前6个，名称都带空格。

  线上常见"Sogou web spider/4.0" ；"Sogou News Spider/4.0" ；"Sogou inst spider/4.0"

  8.MSN蜘蛛

  MSN蜘蛛：msnbot，msnbot-media（只见到msnbot-media在狂爬……）

  9.必应蜘蛛

  必应蜘蛛：bingbot

  线上(compatible; bingbot/2.0;)

  10.一搜蜘蛛

  一搜蜘蛛：YisouSpider

  11.Alexa蜘蛛

  Alexa蜘蛛：ia_archiver

  12.宜sou蜘蛛

  宜sou蜘蛛：EasouSpider

  13.即刻蜘蛛

  即刻蜘蛛：JikeSpider

  14.一淘网蜘蛛

  一淘网蜘蛛：EtaoSpider

  "Mozilla/5.0 (compatible; EtaoSpider/1.0; http://省略/EtaoSpider)"

  根据上述蜘蛛中选择几个常用的允许抓取，其余的都可以通过robots屏蔽抓取。如果你暂时空间流量还足够使用，等流量紧张了就保留几个常用的屏蔽掉其它蜘蛛以节省流量。至于那些蜘蛛抓取对网站能带来有利用的价值，网站的管理者眼睛是雪亮的。

  另外还发现了如 YandexBot、AhrefsBot和ezooms.bot这些蜘蛛，据说这些蜘蛛国外，对中文网站用处很小。那不如就节省下资源。

  国内外真蜘蛛（IP+UA）8000+.zip

  屏蔽国外蜘蛛robots.txt.zip

  链接: http://pan.baidu.com/s/1qW4qNqG 密码: kjfj

  【版权与免责声明】如发现内容存在版权问题，烦请提供相关信息发邮件至1655730209@qq.com，我们将及时沟通与处理。本站内容除非来源注明深圳seo（www.xinxing327.com），否则均为网友转载，涉及言论、版权与本站无关。