8月8日，OpenAI在官网先容了新址品GPTBot，这是一种相聚爬虫，可大限制爬取相聚数据用于磨真金不怕火AI模子。（地址：https://platform.openai.com/docs/gptbot）

OpenAI暗示，将通过GPTBot执取海量数据，用于磨真金不怕火、优化将来模子。国际不少科技媒体指出，这个将来模子指的即是GPT-5。

事实上，OpenAI在本年7月18日提交了GPT-5商地点讯息，此时又放出全新相聚爬虫， 讲解GPT-5离咱们越来越近了。

GPTBot是OpenAI的相聚爬虫，不错通过以下用户代理和字符串来识别，代码如下。

User agent token: GPTBot

Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

OpenAI会对执取的数据进行过滤，举例，删除需要付费才调稽察、使用的数据，征集的个东谈主身份信息（PII）或违背法律划定的数据等，以保证执取的数据合乎安全法度。

若是用户的网站不念念被GPTBot执取数据，不错将GPTBot添加到站点的robots.txt中，代码如下：

User-agent: GPTBot

Disallow: /

用户也不错自界说GPTBot的看望权限，将其添加到网站的robots.txt中，代码如下：

User-agent: GPTBot

Allow: /directory-1/

Disallow: /directory-2/

相聚爬虫，是一种主要通过浏览相聚执取数据的器用，样貌包括数据挖掘，网页数据复制/拍照、网站镜像等样貌。

相聚爬虫是互联网和大数据期间最进犯器用之一，被誉为“黄金矿工”利用场景相配日常。

皇冠客服飞机：@seo3687

举例，谷歌、百度等搜索引擎通过相聚爬虫来采集和建筑网页索引，便捷用户不错通过关节字快速找到推断的网页。

也有买卖机构使用相聚爬虫及时采集竞争敌手的信息，如居品价钱、新址品发布、营销步履等，以进行阛阓分析和营销战略制定。

皇冠hg86a

天然相聚爬虫功能遒劲，但也存在数据质料不安靖、版权风险、难以爬取特定本色、爬取频率等弱点。

数据质料不安靖：相聚爬虫执取的数据可能包含大王人作歹、不实或质料低下的数据，举例，爬取了一个作歹网站的数据。因此，念念使用爬虫的数据需要进行清洗妥协决。

版权风险：相聚爬虫可能会滋扰数据秘密和版权，违背网站的使用公约带来法律风险。举例，作歹爬取了想法网站的付费本色。

难以爬取特定本色：关于一些需要用户输入或交互才调赢得的本色，举例，网站搜索着力、考证码、登录后才调稽察的本色等，相聚爬虫可能难以执取。

爬取频率：相聚爬虫执取的数据是静态的，不可及时反馈网页的变化需要如期从头执取。但频率过高会对想法网站的就业器酿成宏大压力影响其正燕就业，频率太低数据更新又不足时，需要制定一个合理的频率。

如今在大模子等AI本领加持下，上述常见的相聚爬虫弱点已得到克服，况兼更隆重数据版权、安全等问题。

当今，磨真金不怕火假话语模子的主要数据起首包括自稀有据集、开源数据集和相聚爬虫等。自稀有据集主要利用在特定业务场景的微调，举例，法律范围的使用着实的法律裁决、竹素、法律合同等数据，磨真金不怕火专用于法律的生成式AI居品。

开源数据集，这种数据是许多大型厂商开源的数据有的可用于买卖化，有的只可用于本领盘问，况兼数据可能存在老旧的情况。是以，相聚爬虫成为企业磨真金不怕火通用大模子的进犯数据起首。

举例，OpenAI的GPT-3模子使用了45TB的互联网文本进行磨真金不怕火，包括代码、演义、百科、新闻、博客等，而这些数据起首多数是通过相聚爬虫赢得。

是以，咱们随机刻会看到ChatGPT会生成不实的信息，即是因为在爬取时自己就执取了无理、不实的信息，在清洗、预磨真金不怕火、微调的进程中又没发现，才会出现这么的情况（随机也存在AI算法问题等）。

不外OpenAI照旧制定了严格的数据赢得、使用法度，幸免这种情况发生。

昨日旺角新兴大厦檐篷石屎批荡剥落坠落下方巴士站，幸未有击中途人。 香港文汇报记者刘友光 摄

本文起首：AIGC敞开社区足球推荐最准确网站，原文标题：《OpenAI新址品GPTBot：可爬取相聚数据，为GPT-5作念准备》