一项由路透社研究所进行的研究表明,截至 2023 年底,全球 10 个国家的热门新闻网站中,近一半 (48%) 屏蔽了 OpenAI 的爬虫(Crawler),而近四分之一 (24%) 屏蔽了谷歌的 AI 爬虫。该研究所分析了包括纽约时报、BuzzFeed 新闻、华尔街日报、华盛顿邮报、CNN 和 NPR 在内的 15 家覆盖面最广的网络新闻来源的 robots.txt 文件。这些新闻机构来自德国、印度、西班牙、英国和美国等国家,涵盖传统印刷媒体、电视广播公司和数字原生媒体等三种类型。
研究发现,截至 2023 年底,超过一半 (57%) 的传统印刷媒体网站,例如《纽约时报》,屏蔽了 OpenAI 的爬虫,相比之下,电视和广播公司为 48%,数字原生媒体为 31%。同样,32% 的印刷媒体网站屏蔽了谷歌的爬虫,而广播公司和数字原生媒体的比例分别为 19% 和 17%。
文明上网,理性发言,共同做网络文明传播者