已知的ai公司爬虫UA,持续更新

南蛮子懋和2025年03月06日技术2593
文章摘要
DaoGPT
此内容根据文章AI生成,并经过人工审核,仅用于文章内容的解释与总结
投诉
ai2Bot
ai2Bot-Dolma
Amazonbot
anthropic-AI
applebot
applebot-Extended
Bytespider
ccBot
ChatGPT-User
Claude-Web
ClaudeBot
cohere-AI
cohere-training-data-crawler
Crawlspace
Diffbot
DuckAssistBot
FacebookBot
FriendlyCrawler
Google-Extended
GoogleOther
GoogleOther-Image
GoogleOther-Video
GPTBot
iaskspider/2.0
Icc-Crawler
ImagesiftBot
img2dataset
ISSCyberRiskCrawler
Kangaroo
Meta-ExternalAgent
Meta-ExternalFetcher
OAI-SearchBot
omgili
omgilibot
PanguBot
PerplexityBot
PetalBot
Scrapy
SemrushBot
Sidetrade
Timpibot
VelenPublicWebCrawler
Webzio-Extended
YouBot

本站不参与AI的大数据内容整合与搜集,故,上述已经加黑。

标签: AIai

评论列表

q2019
q2019 Firefox 137.0  Windows 10 x64
2025年04月15日

gpt和claude还分为采集训练数据的爬虫和使用模型的用户的访问爬虫,两点有点点不一样(可以通过UA来分辨)

南蛮子懋和  QQBrowser 19.0.6405.400 Windows 10 x64 回复:
一刀切,没有必要给别人采集训练。
2025年04月16日
泪落晕清池
泪落晕清池   Google Chrome 78.0.3904.108  Samsung A5260
2025年03月06日

已知的ai公司爬虫UA,持续更新——保障网络安全之必备指南!

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。

请如实填写常用的真实邮箱,方便后续的回复邮件通知。