主流AI爬虫User-Agent大盘点！朋友说OpenAI的 GPTBot抓的太凶。为了GEO效果，又不得不开放各种AI的爬虫。当然，应该也有伪装这些爬虫UA采集页面。常见的 AI Bot如下 OpenAI GPTBot 用于模型训练 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1

#AI爬虫 #User-Agent #GPTBot #OpenAI #Bytespider

相关新闻

Fu Sheng

6小时前

前年OpenAI拿到微软100亿美金的投资就已经惊为天人了，如今又加了个零成1000亿了... 这种恐怖的增长速度，或许真能让OpenAI超越传统巨头成为第一个突破10万亿美金市值的公司。大家觉得呢？

外汇交易员

6小时前

“木头姐”Cathie Wood称，美国的人工智能领域已经被“四大”公司所统治。OpenAI、Anthropic、马斯克的xAI和谷歌的Gemini正在争夺主导地位，而且竞争非常激烈。她指出，最终，目前的四名竞争者可能会缩小到两名。 🗒️Meta不在其列。

勃勃OC

9小时前

OpenAI 宣布与 Oracle 和软银合作建设 5 个新的 Stargate 站点，使规划产能在三年内接近 7 吉瓦、投资额达 4000 亿美元，并有望在 2025 年底提前完成 5000 亿美元、10 吉瓦的目标。

勃勃OC

9小时前

英伟达周一表示，将向 OpenAI 投资高达 1000 亿美元，以帮助这家 ChatGPT 开发商支持大规模的数据中心建设，这些数据中心将配备英伟达的芯片——而一些分析师认为，这笔交易引发了疑问：英伟达是否正在通过巨额投资来支撑市场，并迫使企业继续在其产品上花钱。伯恩斯坦研究公司分析师 Stacy Rasgon 在交易宣布后给投资者的一份报告中写道： “这一举动显然会加剧‘循环投资’的担忧。

Y11

15小时前

cloudflare和openai开源新模型的时候，不只是找大V付费宣传推广，还把cookbook以及对应sdk ，api用法，开源到了github... 而国内发布新模型，基本只是发一个完全用不了的精心制作的幻灯片，大V估计自己都完全没用过一次，就收钱瞎吹... 哎，真应该跟vercel、cloudflare学一学，多一些预算给开源界吧....

关联事件

OpenAI GPT-5发布引发用户不满，阿尔特曼回应质疑

OpenAI近日发布了备受期待的AI模型GPT-5，CEO Sam Altman称其在编码和写作等领域具备“博士级”能力。然而，用户对新模型的表现感到失望，认为其回答质量不如预期，甚至有评论称其“平淡、千篇一律”。在用户反馈的压力下，OpenAI被迫重新推出旧版本GPT-4o，以满足用户需求。Altman承认，突然弃用旧模型可能是错误的，同时也提到AI情感陪伴的潜在风险，强调商业公司在提供产品时应考虑用户的长期需求。此次发布的波折引发了广泛讨论，影响了OpenAI的声誉和用户信任。