Некоторые владельцы сайтов выражают недовольство из-за увеличившегося количества ботов, которые создают значительную нагрузку на серверы. По данным отчёта Fastly, краулеры и скраперы могут генерировать до 39 тысяч запросов в минуту. В 2025 году нагрузка от скраперов увеличилась на 87%, при этом основная доля трафика приходится на RAG-скраперы. В настоящее время ИИ-краулеры составляют около 80% трафика ботов в интернете, а 20% — это фетчеры, которые могут вызывать серьёзные пиковые нагрузки. Например, ClaudeBot отправил миллион запросов к iFixit.com за сутки. Краулер Facebook, известный своей настойчивостью, даже изменяет user-agent после блокировок. Для защиты от краулеров применяются различные методы, включая капчи и фильтрацию по user-agent. В последние годы также стали популярны zip-бомбы, которые истощают ресурсы дата-центров. Несмотря на это, многие веб-мастеры продолжают сталкиваться с проблемами, связанными с деструктивным поведением ИИ-краулеров, игнорирующих директивы robots.txt. резким падением трафика