Crawl delay 

Crawl delay — параметр в robots.txt, задающий интервал между запросами поискового робота к страницам сайта; используется для снижения нагрузки на сервер при сканировании крупных ресурсов.

📝 Объём: 189 символов ⏳ Вы на странице: 0 сек
Автор статьи
Автор статьи «Пульс сайтов»
Канал Пульс Сайтов

Все самые интересные новости