8月30日消息,有媒体发布博文,报道多家主流媒体向苹果的数据抓取机器人 Applebot 说不,Applebot是苹果用于改进Siri、Spotlight Search等产品搜索功能的网络爬虫。媒体机构的此番举措可能出于对用户数据隐私、内容版权的担忧,或是对爬虫行为对服务器资源消耗的考虑。
报道称多家主流媒体都选择屏蔽苹果的 Applebot 抓取机器人,其中包括:
Craigslist
Tumblr
《纽约时报》
《金融时报》
《大西洋月刊》
Vox Media
USA Today
以及《WIRED》的母公司康泰纳仕(Condé Nast)
苹果 Applebot 最早于 2014 年 11 月被曝光,于 2015 年 5 月正式披露。
而苹果 Applebot-Extended 是 Applebot 的增强版,过去十年来苹果一直在抓取网站内容,用于改进 Siri 和 Spotlight 搜索等。
大部分主流出版商都使用 robots.txt 文本来阻止苹果抓取,在上周展开的两项研究中,约有 6% 至 7% 的高流量网站屏蔽了苹果公司的搜索工具 Applebot-Extended。
Ben Welsh 上周展开的后续研究显示,在测试的网站中,有 25% 屏蔽了苹果的 Applebot-Extended。
Welsh 的研究发现,OpenAI 的机器人被 53% 的新闻网站拦截,而谷歌的 Google-Extended 机器人被 43% 的网站拦截。
虽然网站可能并不关心苹果智能是否在搜索它们,但拦截率低的主要原因是,苹果的人工智能机器人相对知名度不高,没有引起公司的重视。
文明上网,理性发言,共同做网络文明传播者