Казалось бы ответ очевиден! Конечно да! А вот и не совсем верно, есть нюансы! Сейчас все расскажу.
Как быстро поисковый робот Яндекса индексирует новый сайт?
Были времена, когда ты только вывесил новый сайт, добавил его в вебмастер Яндекса и уже через пару часов можно наблюдать себя в поиске.
Шли годы и чтобы новый сайт попал в индекс после добавления достаточно было дождаться апдейта ПС (2-4 дня).
Шли годы (хотя наверное месяцы все-таки) и срок увеличился до 7-10 дней, без привязки к апдейтам.
И вот в настоящее время (2025 год), уже официально Яндекс пишет «Проверка началась …., она может занять до 21 дня».
Что будет, если мы НЕ будем закрывать сайт от индексации на время разработки?
Да жопа 🙂 Сайты мы делаем сейчас в основном на шаблонах, с предустановленными тестовыми данными и все это попадет в индекс, даже если мы вроде бы и метрику не ставили, и в вебмастер пока ничего не добавляли. Просто по скану купленных доменов, списка доменов на хостинговых площадках и т.п.
В результате на 1С Битрикс у вас будет магазин одежды, на WordPress просто «Название сайта» и куча лишних технических страниц, выводить которые потом себе дороже.
Когда нужно закрывать сайт на разработке от индексации?
В начале работ ВСЕГДА!
Обязательно закрываем в начале разработки сайт от индексации!
При этом обычного Disallow / в robots.txt вам не хватит, сейчас это оказывается просто рекомендация для ПС. Обязательно для всех страниц:
<meta name="robots" content="noindex, nofollow">Если вы ведете разработку на тестовом домене, на локальном ресурсе — то закрыли и забыли!
Если сайт совершенно новый и вы ведете разработку сразу на нем, то сначала закрываете! Но перед окончанием работ, лучше за 2 недели, когда уже идет «вылизывание» по верстке, дизайну и наполнению открыть сайт и добавить его в вебмастера. Метрику можно поставить позже. ПС нужно время на сканирование, индексацию и добавление в индекс.
Обязательно загрузите сразу sitemap.xml в кабинеты вебмастеров! Или еще лучше весь список страниц на переобход.
А то будете как я, жду уже 2 недели пока сайт в индексах появится. В результате у меня главная до сих пор закрыта в <noindex> в Яндексе, а в Google пока только 6 страниц добавлено из 140 ) Две недели — кошмар как долго для бизнеса.
Если эта информация оказалась вам полезной и интересной, то можно поблагодарить автора любой суммой либо по номеру телефона +79807480224 (Сбер, Тинькофф)
Еще больше интересной и полезной информации о SEO, сайтостроении, интернет-маркетинге читайте на моем канале 
@freelancervit.
