#PC搜索UA：
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
#移动搜索UA
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
图片搜索：Baiduspider-image
视频搜索：Baiduspider-video
新闻搜索：Baiduspider-news
百度搜藏：Baiduspider-favo
百度联盟：Baiduspider-cpro
2、 谷歌蜘蛛：Googlebot (很勤奋的蜘蛛) Googlebot-Image Google-Read-Aloud Googlebot-Video。IP段参考
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.5249.103 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
3、 360蜘蛛：360Spider (很勤奋的蜘蛛)。IP段参考
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)
4、 搜狗蜘蛛：SogouSpider, Sogou web spider。IP段参考
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07
5、 神马蜘蛛：YisouSpider （UC浏览器默认搜索sm.cn的蜘蛛）。IP段参考
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
6、 必应蜘蛛：bingbot BingPreview。IP段参考
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/*.*.*.* Safari/537.36
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/*.*.*.*?Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
7、 有道蜘蛛：YoudaoBot，YodaoBot。IP段参考
Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; )
8、 MSN蜘蛛：msnbot，msnbot-media。IP段参考
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
9、 雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo!。IP段参考
Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
10、 Yandex蜘蛛：YandexBot （俄罗斯搜索引擎）。IP段参考
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
11、 DNSPOD监控蜘蛛：DNSPod-Monitor。IP段参考
DNSPod-Monitor/2.0
12、 MJ12bot：MJ12bot （英国SEO分析页面蜘蛛）。IP段参考
Mozilla/5.0 (compatible; MJ12bot/v1.4.0; http://www.majestic12.co.uk/bot.php?+)
13、 SEMrush：SemrushBot （美国SEO综合分析网站的蜘蛛）。IP段参考
Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)
14、 头条蜘蛛：Bytespider （今日头条旗下：高频抓取 被很多站长封禁后 有所改善）。IP段参考
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)
15、 华为蜘蛛：AspiegelBot （ 华为旗下Aspiegel公司 疯狂高频爬行无节制 ）。IP段参考
HuaweiSymantecSpider/1.0+DSE-support@huaweisymantec.com+(compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR ; http://www.huaweisymantec.com/cn/IRL/spider)
