有客
我的个人博客

SEO知识-最新搜索引擎蜘蛛大全

作者:有客 日期:2021-03-31
       

  各大seo搜索引擎的蜘蛛会不断地访问抓取我们站点的内容,也会消耗一定的站点流量;有时候就需要屏蔽某些蜘蛛访问我们的站点,文章尾部会讲解决办法;了解各大搜索引擎蜘蛛爬虫,对我们进行网站seo优化起到很大作用;舍力收集了各大搜索引擎的蜘蛛爬虫UA,以便你需要时查阅。

  搜索引擎蜘蛛

  1、百度蜘蛛:BaiduSpider

  常见的Baiduspider和Baiduspider-image(抓取图片)

  百度公司还有其它几个蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap),都不常见

  百度蜘蛛爬虫UA:

  PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

  移动端:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

  图片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”

  2、谷歌蜘蛛:Googlebot

  有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的

  谷歌蜘蛛爬虫UA:“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

  图片:“Googlebot-Image/1.0”

  3、360蜘蛛:360Spider

  它是一个十分“勤奋抓爬”的蜘蛛

  360蜘蛛爬虫UA:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

  4、搜狗蜘蛛:Sogou News Spider

  搜狗公司还有其它几个蜘蛛:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider,冬镜在日志中只发现了常见的Sogou News Spider。(参考大神百度的robots文件,搜狗蜘蛛名称可以用Sogou概括,但有没有用就不知道了.)

  搜狗蜘蛛爬虫UA:“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”

  5、必应蜘蛛:bingbot

  必应蜘蛛爬虫UA:“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”

  6、SOSO蜘蛛:Sosospider

  腾讯已玩死,交给搜狗公司了

  soso蜘蛛爬虫UA:“Sosospider+(+http://help.soso.com/webspider.htm)”

  7、雅虎蜘蛛:Yahoo! Slurp China(雅虎中国)或Yahoo! Slurp(雅虎英文)

  雅虎蜘蛛爬虫UA:

  雅虎中国:“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”

  雅虎英文:“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)”

  8、MSN蜘蛛:msnbot,msnbot-media

  好像只见到msnbot-media在狂爬……

  MSN蜘蛛爬虫UA:

  *msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

  其它还有 一搜蜘蛛:YisouSpider、Alexa蜘蛛:ia_archiver、宜搜蜘蛛:EasouSpider、即刻蜘蛛:JikeSpider,以及还有YandexBot、AhrefsBot和ezooms.bot等这些蜘蛛,据说这几个国外的蜘蛛都不咋好

  搜索引擎蜘蛛名称

  其实常用的搜索引擎就那么几个,只要在robots.txt文件里把常用的搜索引擎蜘蛛放进来就行,其它的可以统统屏蔽。

上一篇:百度排名seo基础

下一篇:返回列表

百度排名seo基础

栏目:SEO教程 作者:有客 时间:2年前

国内最大的搜索引擎是百度,我们也习惯了百度.有客是如此,中国广大网民也是如此,很多很多人都靠百度的流量入口生存.作为一名站长、seo工作者,百度排名是重点关注...

油管上看到的网络seo教程是否有用

栏目:SEO教程 作者:有客 时间:2年前

有客最近看油管,有看到一些介绍seo优化的视频,有些说法确实是给有客一种醍醐灌顶的感觉,但是如果你全信了,你的站点或许距离K站就不远了.seo教程并不是所有视频或...

淘宝seo如何做

栏目:SEO教程 作者:有客 时间:2年前

有客建议想要做淘宝seo的朋友到有客网站来挖下关键词,这样可以更好的达到seo优化标题的效果。https://www.ykit.cn电商领域标题优化,重中之重。一个好的标题,让你的...

吸引人的标题优化方式

栏目:SEO教程 作者:有客 时间:2年前

一个好的标题,是自带流量的!那么如何写一个好的标题,很多网站站长只知道seo优化,却不知道如何通过标题来优化.有客seo工作室「QQ:806863232;微信:boydata」来教大家...

标题seo优化对网站优化影响大吗?

栏目:SEO教程 作者:有客 时间:2年前

有客网提醒广大站长,标题seo优化对于网站排名起到很重要的作用,不会优化标题,你的文章等于失败一半,〖昆山seo 有客QQ:806863232;微信:boydata 〗一个优秀的标题党,...

大数据时代,网络营销策略如何做

栏目:SEO教程 作者:有客 时间:2年前

网络营销推广中的营销是一个简单且深奥的词汇,层出不穷的营销书籍,有客也拜读过几本.然而网络变化实在是太快,各种营销套路风靡大江南北!〖有客网上海seo关键词优...

搜索引擎优化方法

栏目:SEO教程 作者:有客 时间:2年前

搜索引擎优化,绝大多数的网站站长都不知道如何做.让网站对搜索引擎更亲和,有助于收录速度与排名的提升.〖有客搜索引擎优化 QQ:806863232;微信:boydata 〗从网站建...

如何推广seo企业信息

栏目:SEO教程 作者:有客 时间:2年前

seo首页优化,各大seo公司都在做的事,有客seo顾问也在从事这一工作,说到企业seo关键词优化,那真是八仙过海各显神通.快速排名已经是各大企业都急需的了,【QQ:80686...

seo云优化一个新鲜的词汇

栏目:SEO教程 作者:有客 时间:2年前

昆山seo顾问【QQ:806863232;微信:boydata 】seo云优化一个多么新鲜的词汇,看似高大上.其实不然,这是大数据的一种运用方式,有客网做seo整站优化,往往都是先在自己的...

网页优化seo顾问常用方法

栏目:SEO教程 作者:有客 时间:2年前

网页优化seo关键词排名,多么玄而又玄的东西!这种雾里看花终隔一层的词汇,让多少人绞尽脑汁.有客网看到很多seo博客,写的各种搜索引擎优化方法.然后绝大部分时候,...

SEO关键
seo网站排名优化
TAG标签更多
友情链接
站点信息
苏ICP备13010293号-2
苏公网安备 32072402010023号  
模板作者:搜图云
Theme:搜图云-博客系列-子约