设为首页收藏本站
开启辅助访问 站长论坛站长社区李金宗

李金宗

 找回密码
 立即注册
李金宗»内容列表 › 网络技术 › 优化 › 垃圾ai爬虫大全，需要的禁他UA吧！
返回列表 发新帖
查看: 64|回复: 0

垃圾ai爬虫大全，需要的禁他UA吧！

[复制链接]
cocojock

273

主题

24

回帖

21万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
212252
发表于 2024-12-24 10:46:17 | 显示全部楼层 |阅读模式


垃圾ai爬虫大全，需要的禁他UA吧！


  1. Amazonbot
  2. ClaudeBot
  3. PetalBot
  4. gptbot
  5. Ahrefs
  6. Semrush
  7. Imagesift
  8. Teoma
  9. ia_archiver
  10. twiceler
  11. MSNBot
  12. Scrubby
  13. Robozilla
  14. Gigabot
  15. yahoo-mmcrawler
  16. yahoo-blogs/v3.9
  17. psbot
  18. Scrapy
  19. SemrushBot
  20. AhrefsBot
  21. Applebot
  22. AspiegelBot
  23. DotBot
  24. DataForSeoBot
  25. java
  26. MJ12bot
  27. python
  28. seo
  29. Censys
复制代码


回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

站长论坛|站长论坛|李金宗博客 |网站地图

GMT+8, 2025-3-28 08:04 , Processed in 0.042447 second(s), 20 queries .

Powered by 李金宗 李金宗博客

© 2001-2017 © 李金宗博客内容均为会员发表,并不代表本站立场!

快速回复 返回顶部 返回列表