1 serpstatbot 爬蟲
UserAgent 信息為: serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; [email protected])
ip地址:5.9.55.228
這是一家國外的網(wǎng)絡爬蟲工具,會抓取我們網(wǎng)站的SEO信息。官方介紹說,如果不想被serpstatbot抓取,可以在根目錄下創(chuàng)建robots.txt 文件。在文件中填寫。
User-agent: serpstatbot Disallow: /
那么這個爬蟲就不會再訪問我們的網(wǎng)站了
官網(wǎng)為:https://serpstatbot.com/
2 bing 爬蟲
UserAgent 信息為: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/103.0.5060.134 Safari/537.36 或: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
ip地址:157.55.39.80,157.55.39.201
這個是Bing搜索的官方爬蟲
3 阿里云態(tài)勢感知
UserAgent信息為: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.6.2333.33 Safari/537.36 AliyunTaiShiGanZhi https://www.aliyun.com/product/sas
可以屏蔽訪問，通過屏蔽:47.110.180.0/224 屏蔽這個網(wǎng)段。
4 Google 爬蟲
UserAgent信息為: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.5304.110 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
ip地址為:66.249.77.63 ,66.249.77.34
5 百度爬蟲
UserAgent信息為: Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
ip地址為:116.179.32.109,220.181.108.91,116.179.37.*
百度的蜘蛛類型比較多，之間有差異，有小程序的、電腦端的、移動端的，還有渲染的；IP地址也很多，不過國內(nèi)基本上沒有人會屏蔽百度蜘蛛吧（大概都不會）
6 SeznamBot 爬蟲
UserAgent信息: Mozilla/5.0 (compatible; SeznamBot/3.2; +http://napoveda.seznam.cz/en/seznambot-intro/),Mozilla/5.0 (compatible; SeznamBot/4.0-RC1; +http://napoveda.seznam.cz/seznambot-intro/)
ip地址為:77.75.76.166,77.75.79.31
和serpostatbot一樣,屬于國外的爬蟲工具,可以屏蔽。
7 YisouSpider 爬蟲
UserAgent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
ip地址為: 101.67.49.72,39.173.105.172,60.188.10.170,101.67.49.191 ,112.13.112.104,112.13.112.139等信息。
這個是神馬搜索的爬蟲。
8 頭條爬蟲
今日頭條的爬蟲信息。
UserAgent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181;Bytespider;https://zhanzhang.toutiao.com/ 或者 Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)
ip地址為:110.249.202.37 ,111.225.148.58
9 PetalBot 爬蟲
這個是華為花瓣搜索爬蟲。
UserAgent: Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)
Ip地址為:114.119.159.226,114.119.153.191
10 YandexBot 爬蟲
這個是俄羅斯Yandex搜索引擎的爬蟲工具。
UserAgent: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
IP地址為:5.255.253.111
遵守:robots協(xié)議 要是不做外貿(mào)的話，可以屏蔽掉
11 AhrefsBot 爬蟲
國外營銷網(wǎng)站爬蟲。可以屏蔽掉
UserAgent: Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
IP地址為:51.222.253.2,51.222.253.6
遵守:robots協(xié)議 可以屏蔽掉
12 Expanse 掃描
Palo Alto Networks公司旗下的Expanse 會通過ip地址掃描我們的服務器
UserAgent: Expanse, a Palo Alto Networks company, searches across the global IPv4 space multiple times per day to identify customers' presences on the Internet. If you would like to be excluded from our scans, please send IP addresses/domains to: [email protected]
ip地址為:205.210.31.132,198.235.24.29
好像沒啥用，國內(nèi)用戶可以屏蔽掉
13 Sogou 爬蟲
UserAgent: Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
IP地址為:58.250.125.82
哎 已經(jīng)半死不活了，可以不用管它，也可以屏蔽掉
14 MJ12Bot 爬蟲
國外的SEO分析爬蟲,和SemrushBot類似。我們?nèi)绻幻鎸饪蛻簟Ｍ耆梢云帘巍?/p>
UserAgent: Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)
ip地址為:173.212.245.225
特別說明：
1.以上只是部分爬蟲, 還有很多這里沒有做太多展示。
2.上面的Ip地址僅供參考。因為ip地址可以變動。
