Robots.txt

Robots.txt — файл, который говорит поисковым роботам, какие страницы можно сканировать, а какие — нет. Например, закрыть от индексации технические страницы или дубли. Это простой, но важный инструмент контроля видимости сайта в поиске.