Интернет агентов
Чем больше пользуюсь Deep Research, тем больше понимаю, что на сайты будет расти нагрузка от электронных болванов вместо обычных людей.
Я делаю один запрос, GPT пробегает по десятку сайтов. И так каждый раз. А если и запрос за меня будет делать агент? Рост нагрузки в десятки раз? Облегчённые версии сайтов для ИИ?
Нагрузку добавляет и новое поколение краулеров, которые парсят интернет в автоматическом режиме.
Если раньше веб-страницу регулярно запрашивали только пара поисковиков, то сейчас это делают десятки компаний, которые набирают себе датасеты. И новички легко игнорируют robots.txt