亚马逊和Meta旗下AI访问占网站总流量的63%

AMZ123获悉，近日，数据和技术公司51Degrees最新数据显示，在截至2026年5月29日的一年里，其来自AI公司的机器人流量增长了62.5%。2026年5月，AI机器人已经占到网站访问会话的13%，高于一年前的8%。

与此同时，亚马逊和Meta旗下AI机器人成为目前最活跃的两类爬虫，占据了大部分AI机器人产生的网站访问量。

51Degrees对约30亿次网站访问进行了分析，这些数据来自电信、广告、媒体、零售、金融服务和科技等行业的网站。研究共识别出72种与AI相关的机器人，其中AmazonBot和Meta-External-Agent的访问量最为突出。

5月29日当天，AmazonBot产生了643万次网站访问会话，Meta-External-Agent则产生了423万次，两者合计约占这72种AI机器人访问会话的63%。

其中，AmazonBot在监测期内占所有网站访问量的4%以上，Meta-External-Agent则接近3%。

根据机器人流量分析平台Known Agents的数据，AmazonBot通常会进行“大范围、高频率”的抓取，每次访问获取的页面数量远高于普通搜索爬虫。这意味着，对于网站运营者而言，AI机器人带来的并不只是访问量变化，也可能意味着更大的服务器和带宽压力。

紧随其后的则是AhrefsBot和微软BingBot。5月29日，AhrefsBot产生217万次访问，BingBot产生162万次访问，分别占全部网站会话的2.3%和1.3%。

AhrefsBot主要用于支持Ahrefs营销情报平台和Yep搜索引擎，而BingBot则用于微软必应搜索引擎发现和抓取网页，以建立搜索结果索引。AmazonBot、Meta-External-Agent、AhrefsBot和BingBot四种机器人合计占72种AI机器人抓取会话的85%。

其他AI机器人虽然规模明显较小，但也已经形成一定访问量。Anthropic旗下ClaudeBot和OpenAI Search Bot在5月29日的AI机器人访问量排名分别为第七和第九，访问会话量约为28.8万次和12.9万次。需要注意的是，这项研究只统计了与AI相关的机器人，并没有纳入负责生成普通搜索结果的谷歌主要爬虫。

AI机器人流量快速增长，也让出版商对内容被抓取的问题更加关注。过去，网站内容主要通过搜索引擎获得曝光，而如今AI公司会抓取大量网页内容，再将这些信息用于训练模型或生成AI答案。

对于出版商来说，一方面，自己的内容可能因此获得新的传播渠道；另一方面，如果内容被大量抓取却没有带来相应收益，还可能增加服务器、带宽等运营成本。

目前，网站运营者主要可以通过robots.txt，也就是“机器人排除协议”，告诉自动化程序哪些网页或区域不应被抓取。不过，实际执行情况并不完全一致。Known Agents数据显示，出版商目前只通过robots.txt屏蔽了约21%的AI抓取机器人。

不同网站之间的差距也十分明显。Adweek、The San Diego Tribune和Arkansas Democrat Gazette目前对Known Agents追踪的AI机器人实现了100%的robots.txt覆盖；相比之下，W Magazine、Screenrant、Semafor、CBS News和Digital Spy的屏蔽覆盖率较低，仅有2%的机器人被列入其robots.txt限制范围。

Known Agents表示，AI抓取机器人和数据供应商有95.6%的时间会遵守robots.txt请求，因此目前的问题并不完全在于机器人拒绝执行规则，而在于出版商没有全面把相关机器人加入robots.txt文件。

不过，出版商也担心，即使直接限制某些AI机器人，AI公司仍可能通过第三方公司抓取网站内容，从而绕过部分限制。

作者✎  Summer/AMZ123
声明：此文章版权归AMZ123所有，未经允许不得转载，如需授权请联系: amz123happy

卖家之家点评

AI机器人流量占比已达13%，且高度集中于亚马逊和Meta两家巨头，说明头部平台正加速用AI抓取商品数据。跨境卖家应重视店铺页面的结构化数据优化，确保信息被AI准确抓取，以在AI搜索和推荐中抢占先机。

来源：跨境平台资讯
原文链接：https://www.amz123.com/t/YoECVg5x