Некоторые владельцы веб-ресурсов выражают недовольство из-за значительного числа ботов, особенно краулеров, работающих с ИИ, которые создают серьезную нагрузку на серверы. Согласно данным отчета Fastly, нагрузка от таких ботов может достигать 39 тысяч запросов в минуту. В 2025 году количество запросов от скраперов увеличилось на 87%, при этом основной поток идет от RAG-скраперов. На сегодняшний день ИИ-краулеры составляют около 80% всего трафика ИИ-ботов, в то время как фетчеры отвечают за серьезные всплески нагрузки, как, например, ClaudeBot от Anthropic, который отправил более миллиона запросов к iFixit.com за сутки. В ответ на это владельцы сайтов применяют различные методы защиты, включая капчи и ограничение по количеству запросов. Более креативные подходы, такие как система Anubis, создают дополнительные вычислительные задачи для краулеров, что нагружает их дата-центры. Тем не менее, критики утверждают, что эффективность таких мер сомнительна, а новые ИИ-краулеры нередко игнорируют директивы robots.txt. В условиях, когда боты генерируют более 50% нагрузки, веб-мастера вынуждены прибегать к деструктивным мерам, несмотря на потенциальный вред экологии веба.
