作为一个网站的负责人,你是否有关注过IIS日志的信息详情?如果没有,我敢肯定你网站的不少带宽都被所谓的蜘蛛占去了,即使你的带宽很猛,不在乎那么点流量,但是从优化到极致来说,这都是远远不达标的。蜘蛛分为真假蜘蛛,一般大型搜索引擎的蜘蛛,如百度、谷歌的蜘蛛,假蜘蛛一般归总为垃圾搜索引擎和恶意抓取程序。其中百度蜘蛛的真假分析,你可以通过语法“ nslookup ip”,查看来源是否是百度的子站点,如果不是,那么就是伪装的百度蜘蛛。如果仔细分析,你会发现一些国内或国外的蜘蛛,例如 EasouSpider、AhrefsBot等,这些蜘蛛都是没有什么用的,如果你面向的市场是国内的,百度 BaiduSpider,谷歌 Googlebot,360 360Spider,soso Sosospider,搜狗Sogou+web+spider,保留这几个蜘蛛的抓取就足够了,其他的蜘蛛一律屏蔽掉就行了,还有把你的静态资源,如Image和JS、CSS的路径也屏蔽掉,这些资源都是不需要蜘蛛抓取的,因为没有展现的价值;具体如何加屏蔽呢?你可以手动新建一个robots.txt文件,放到网站根目录下,内容填写例如:User-Agent: AhrefsBot Disallow: / ,表示不允许AhrefsBot蜘蛛抓取任何页面,其他的屏蔽都可以类似这样填写;如果你不会填写内容,你也可以到百度站长平台上,直接生成robots.txt文件,地址为:http://zhanzhang.baidu.com/robots/index ,然后将文件更新到网站根目录即可;例如我之前查看日志发现了一些垃圾蜘蛛,直接才去屏蔽措施,这样屏蔽不必要的蜘蛛抓取,便可以轻松实现避免浪费带宽和流量,当然这对于遵循互联网协议的网络公司来说,是非常有效的办法,也不排除存在一些不遵循行业标准的恶意抓取程序,要禁止这些,只能是在确切证据证明下,直接对Ip进行屏蔽,才能行之有效了。 本文属深圳seo首发: http://www.xinxing327.com/113.html 原创不易,转载请注明出处。
百度搜索结果中显示站点LOGO技巧视频教程
又一部“像素大战”来袭,索尼对Emoji电影不死心 - emoji,表情,索尼电影
微信群内辱骂他人,被判侵犯名誉权赔偿千元 - 微信,朋友圈
AlphaGo们的邪恶用途:日本象棋选手被控请AI作弊 - alphago,人工智能,AI
马云又给你钱用,蚂蚁花呗双11最高可提额5.5万元
seo如何分析数据
38岁全球最年长圈养大熊猫在香港安乐死离世 - 大熊猫
SEO技巧:谈谈通过刷百度指数提升网站权重的技巧,百度指数怎么刷
深度解析百度蜘蛛3.0发布后SEO的操作技巧
SEO方案:实战分析企业网站优化建议书
SEO的春天了吗?与新媒体结合
SEO教程:最新网站TDK的写法技巧
网站底部你不可忽略的seo优化死角
SEO优化时妙不可言的图片属性
浅谈网站怎么实现百度秒收录
网站图片SEO优化的细节包括哪些?
深圳SEO:老域名正反面优化排名分析
SEO:站内站外形成链轮的深度分析
深圳SEO:上海森亿百度负面相关处理
深圳SEO:小星星SEO介绍
SEO优化:今天阐述一下老域名做排名的优势
深圳seo今天来阐述一下镜像网站对排名的影响
深圳SEO:做到以下5点网站不更新内容不发外链排名还是会稳定
深圳SEO:快速排名到底是真是假 ,今天小编就来发表一下自己观点