以下为国内常用蜘蛛。
Google Spider: 蜘蛛类型=>Googlebot: 爬行次数=228 最后爬行时间:03:30:06
蜘蛛类型=>Googlebot-Image: 爬行次数=0
蜘蛛类型=>Googlebot-Mobile: 爬行次数=0
蜘蛛类型=>Feedfetcher-Google: 爬行次数=0
Baidu Spider:
蜘蛛类型=>Baiduspider: 爬行次数=87 最后爬行时间:03:30:54
蜘蛛类型=>Baiduspider-image: 爬行次数=0
bingbot Spider:
蜘蛛类型=>bingbot: 爬行次数=253 最后爬行时间:03:31:26
蜘蛛类型=>msnbot-media: 爬行次数=0
Sogou Spider:
蜘蛛类型=>Sogou web spider: 爬行次数=560 最后爬行时间:03:22:26
Soso Spider:
蜘蛛类型=>Sosospider: 爬行次数=0
以下为垃圾蜘蛛,可屏蔽抓取。
Jike Spider: 蜘蛛类型=>JikeSpider: 爬行次数=0
Easou Spider:
蜘蛛类型=>EasouSpider: 爬行次数=0
YisouSpider:
蜘蛛类型=>YisouSpider: 爬行次数=174 最后爬行时间:03:28:27
YandexBot Spider:
蜘蛛类型=>YandexBot: 爬行次数=11 最后爬行时间:02:58:41
Mail.RU Spider:
蜘蛛类型=>Mail.RU_Bot: 爬行次数=1 最后爬行时间:01:27:44
AcoonBot Spider:
蜘蛛类型=>AcoonBot: 爬行次数=0
Exabot Spider:
蜘蛛类型=>Exabot: 爬行次数=0
spbot Spider:
蜘蛛类型=>spbot: 爬行次数=0
蜘蛛爬行分析图:
日期:2018-04-22
蜘蛛一共爬行1314次:
google:228次(17%) baidu:87次(6%) bing:253次(19%) sogou:560次(42%) soso:0次(0%) else:186次(16%)
日期:2018-04-22
蜘蛛一共爬行1314次:
不用了 已经找到方法了 🙂
@Licoy 好的,OK~~