Crawling (обход/сканирование)

Crawling (обход/сканирование) — процесс, когда робот заходит на страницы сайта и читает их. Это не то же самое, что индексация: страницу можно обойти, но не проиндексировать (например, если стоит noindex).