轻松两步,教你快速识别百度蜘蛛 (User-Agent)

34次阅读
没有评论

共计 1654 个字符,预计需要花费 5 分钟才能阅读完成。

经常听到开发者问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了!最近百度蜘蛛都不来了怎么办?还有很多站点想得到百度蜘蛛的 IP 段,想把 IP 加入白名单,但 IP 地址范围动态变化不固定,我们无法对外公布。

那么如何才能识别正确的百度蜘蛛呢? 今日干货带你轻松两步正确识别百度蜘蛛:

一、查看 UA 信息

如果 UA 信息不对,可以直接判断为非百度搜索的蜘蛛。目前 UA 分为移动、 PC 、和小程序三个应用场景,这三个渠道 UA 分别如下:

移动 UA:

Mozilla/5.0(Linux;u; 安卓 4.2.2;zh-cn;AppleWebKit/534.46(KHTML,like Gecko) 版本 /5.1 Mobile Safari/10600.6.3(兼容; 百度钉 /2.0;+http://www.baidu.com/search/spider.html)


Mozilla/5.0(iPhone;CPU iPhone OS 9_1 与 Mac OS X 一样)AppleWebKit/601.1.46(KHTML,与 Gecko 一样) 版本 /9.0 Mobile/13B143 Safari/601.1(兼容;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0(兼容; 百度蜘蛛 /2.0;+http://www.baidu.com/search/spider.html)


Mozilla/5.0(兼容; 百度蜘蛛渲染 /2.0;+http://www.baidu.com/search/spider.html)

小程序 UA:

Mozilla/5.0(iPhone;CPU iPhone OS 9_1 与 Mac OS X 一样)AppleWebKit/601.1.46(KHTML,与 Gecko 一样) 版本 /9.0 Mobile/13B143 Safari/601.1(兼容; 百度蜘蛛渲染 /2.0; 智能应用程序;+http://www.baidu.com/search/spider.html)

二、双向 DNS 解析认证

第一步 >DNS 反查 IP

开发者通过对日志中访问服务器的 IP 地址运行反向 DNS 查找,判断某只 spider 是否来自百度搜索引擎,Baiduspider 的 hostname 以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

根据平台不同验证方法不同,如 linux/windows/os 三种平台下的验证方法分别如下:

1). 在 linux 平台下,您可以使用 host ip 命令反解 ip 来判断是否来自 Baiduspider 的抓取。

2). 在 windows 平台或者 IBM OS/ 2 平台下,您可以使用 nslookup ip 命令反解 ip 来 判断是否来自 Baiduspider 的抓取。打开命令处理器 输入 nslookup xxx.xxx.xxx.xxx(IP 地址) 就能解析 ip,来判断是否来自 Baiduspider 的抓取。

3). 在 macos 平台下,您可以使用 dig 命令反解 ip 来判断是否来自 Baiduspider 的抓取。打开命令处理器输入 dig -x xxx.xxx.xxx.xxx(IP 地址) 就能解析 ip,来判断是否来自 Baiduspider 的抓取。

第二步:对域名运行正向 DNS 查找

对第一步中通过命令检索到的域名运行正向 DNS 查找,验证该域名与您日志中访问服务器的原始 IP 地址是否一致,IP 地址一致可确认 spider 来自百度搜索引擎,IP 地址不一致即为冒充。

示例 1:

> 主机 111.206.198.69

69.198.206.111. in-addr.arpa 域名指针 baiduspider-111-206-198-69.crawl.baidu.com 。

> 主机 baiduspider-111-206-198-69.crawl.baidu.com

baiduspider-111-206-198-69.crawl.baidu.com 地址为 111.206.198.69

常见问题
源码、模板插件上传安装提示错误怎么办?
1 、本站在打包 Wordpress 插件或者模板的时候,一般会将官方文档、官方申明、已经其他文件一起打包,因此,大部分插件模板在安装前需要解压缩。 2 、强烈推荐服务器使用 linux 系统,环境推荐 Nginx+php+mysql,别给我说你还是你还是使用的 windows 服务器
购买后无法下载或者提取码错误怎么办?
如果您已经成功付款但是网站没有弹出成功提示或者无法下载该资源,请联系客服 QQ:11210980 或者微信:jxxakf,由于骚扰信息过多,加好友时请说明原由!
小白建站不会安装搭建怎么办?
请与客服联系,沟通具体的技术支持。由于搭建环境、调试程序需要花费一些时间,可能会收取一些费用。
资源版本太旧,怎样催促站长更新?
直接微信或者 QQ 联系本站客服,提供最新版本号以及软件名称,客服会在第一时间更新,如果超过 2-3 年未更新的请先联系站长后再确认是否需要下载。
为什么打开链接看不到最新版本?
因为网盘默认是按名称排序,最新版本不一定会排在第一个,请打开链接后点击右上角的 「修改日期」,这时候更新列表就会按更新日期排序了。
购买资源后,不满意可以申请退款吗?
源码素材属于虚拟商品,具有可复制性,可传播性,一旦授予,不接受任何形式的退款、换货要求。请您在购买获取之前确认是否您所需要的资源。
全文结束
 0
有趣源码
版权声明:本站原创文章,由 有趣源码 于 2025-10-25 发表,共计 1654 字。
转载说明:除特殊说明外本站文章皆由 CC-4.0 协议发布,转载请注明出处。特别声明:本站所有资源或内容,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
评论 (没有评论) 注意:评论区不审核也不处理售后问题!如有售后问题请联系平台客服详细沟通!