Впервые в жизни открыл кусок кода, написанный месяц назад и подумал «какой же я гений что так всё написал» и тут же понял настолько сильно деградировал за прошедшие каникулы. #цитатыВеликихBZZ
Поисковые роботы берут столько ресурсов сайта сколько вы им дадите. То есть, пока дым не пойдёт. Нельзя забывать что на динамических сайтах, где есть какой-нибудь поиск или сложные выборки по фильтрам, идущие мимо кэша, нужно ставить в robots.txt что-то в духе Crawl-delay: 5 иначе всё упадёт как только гугл дорвётся до вашей гениальной страницы 404 с рандомной выборкой объектов без кэширования.
