比如微软的蜘蛛访问, 微软就提供了通用方法,

比如访问IP是157.55.39.15, 你只需要查询: msnbot-157-55-39-15.search.msn.com 解析的IP和当前访问一致,

就确保100%是微软官方IP不是假冒的蜘蛛,

百度和google的蜘蛛有提供这类判断方法吗

不是那种一大串固定IP段来判断那种, 这样肯定是不靠谱的 蜘蛛IP段会变动更新

百度以前也提供过。但是是骗人的。。。

不是用nslookup判断吗

百度有的，和你说的bing的蜘蛛一样反查再ping反查后的域名。

wawos 发表于 2025-4-13 11:18

不是那种一大串固定IP段来判断那种, 这样肯定是不靠谱的 蜘蛛IP段会变动更新 ...

百度不止公开的蜘蛛。还有非公开的。

不能通过nslookup判断。

很难呀，他官方公开的是有User-Agent 信息，可是有时候当你禁用了User-Agent信息 baidu 他还是会爬过来。