Crawl delay — параметр в robots.txt, задающий интервал между запросами поискового робота к страницам сайта; используется для снижения нагрузки на сервер при сканировании крупных ресурсов.
📝 Объём: 189 символов
⏳ Вы на странице: 0 сек
Crawl delay — параметр в robots.txt, задающий интервал между запросами поискового робота к страницам сайта; используется для снижения нагрузки на сервер при сканировании крупных ресурсов.
Все самые интересные новости