SEO продвижение

Казалось бы ответ очевиден! Конечно да! А вот и не совсем верно, есть нюансы! Сейчас все расскажу.

Как быстро поисковый робот Яндекса индексирует новый сайт?

Были времена, когда ты только вывесил новый сайт, добавил его в вебмастер Яндекса и уже через пару часов можно наблюдать себя в поиске.

Шли годы и чтобы новый сайт попал в индекс после добавления достаточно было дождаться апдейта ПС (2-4 дня).

Шли годы (хотя наверное месяцы все-таки) и срок увеличился до 7-10 дней, без привязки к апдейтам.

И вот в настоящее время (2025 год), уже официально Яндекс пишет "Проверка началась ...., она может занять до 21 дня".

Что будет, если мы НЕ будем закрывать сайт от индексации на время разработки?

Да жопа :) Сайты мы делаем сейчас в основном на шаблонах, с предустановленными тестовыми данными и все это попадет в индекс, даже если мы вроде бы и метрику не ставили, и в вебмастер пока ничего не добавляли. Просто по скану купленных доменов, списка доменов на хостинговых площадках и т.п.

В результате на 1С Битрикс у вас будет магазин одежды, на WordPress просто "Название сайта" и куча лишних технических страниц, выводить которые потом себе дороже.

Когда нужно закрывать сайт на разработке от индексации?

В начале работ ВСЕГДА!

Обязательно закрываем в начале разработки сайт от индексации!

При этом обычного Disallow / в robots.txt вам не хватит, сейчас это оказывается просто рекомендация для ПС. Обязательно для всех страниц:

<meta name="robots" content="noindex, nofollow">

Если вы ведете разработку на тестовом домене, на локальном ресурсе - то закрыли и забыли!

Если сайт совершенно новый и вы ведете разработку сразу на нем, то сначала закрываете! Но перед окончанием работ, лучше за 2 недели, когда уже идет "вылизывание" по верстке, дизайну и наполнению открыть сайт и добавить его в вебмастера. Метрику можно поставить позже. ПС нужно время на сканирование, индексацию и добавление в индекс.

Обязательно загрузите сразу sitemap.xml в кабинеты вебмастеров! Или еще лучше весь список страниц на переобход.

А то будете как я, жду уже 2 недели пока сайт в индексах появится. В результате у меня главная до сих пор закрыта в <noindex> в Яндексе, а в Google пока только 6 страниц добавлено из 140 ) Две недели - кошмар как долго для бизнеса.

[getDonate]

Уже давно первым шагом по технической SEO оптимизации сайта следует его подключение и прохождение верификации в кабинетах вебмастеров поисковых систем.

Для Яндекса этот кабинет - Яндекс.Вебмастер.

Я не буду описывать, какие шаги нужны для добавления сайта в этот сервис, это достаточно просто и заключается только в прохождении верификации (либо вам могут выдать не него доступ те, у кого он уже есть).

Наша с вами задача понять, а зачем он нам и что в нем интересного можно увидеть.

Итак..

Сначала общая сводка

Она с ходу показывает нам возможные ошибки в виде дашбордов.

И вроде все неплохо:

• Диагностика.Проблемы сайта. Проблем нет. Но обычно здесь только фатальные проблемы отображаются, типа "Сайт не отвечает в течение длительного времени".
• Дубли заголовков и описаний. Нет. Уже хорошо. Но это не дает информации ни о качестве заголовков ни об их количестве.
• Яндекс.Бизнес. Появляется здесь, если вебмастер с ним связан, а он ДОЛЖЕН быть связан, поэтому это плюс. Но минус то, что есть отзывы, на которые компания не ответила - признак плохой активности компании, ее лояльности к потенциальным клиентам и минус в "карму".
• Клики в поиске. Не знаю как изобразить пустоту - их тут нет. А это значит сайт "плоховатенько" в выдаче представлен. Но это речь про Яндекс.
• Динамика "ИКС". По факту это тот же старый ТИЦ, который был ранее, так как основу его составляют ссылки с других ресурсов. 120 - не плохо, но нужно добавить в этот список конкурентов и станет понятно куда расти. А пока - это просто информация о том, что есть "хорошие" ссылки.
• История обхода. Это уже ближе к тому, что нам интересно и дает больше информации о том, что вообще с сайтом происходит. Как видно из скрина 21 мая сайт ненадолго "падал" и по факту с мая месяца ничего нового на сайте не добавлялось (несколько новостей и пара статей). А динамика должна быть круче, чтобы поисковик "поселился" на сайте и быстро индексировал изменения.

Пройдемся по меню

Оптимизация сайта

Диагностика сайта. Заходим и видим, что Возможные проблемы - это отсутствие файла sitemap.xml

И ее действительно нет на сайте. Вот уж странно, ведь сайт на 1С Битрикс и карта сайта обычно включена по умолчанию. И странно, что Яндекс называет это Возможной проблемой, так как других источников списка страниц у него, кроме эпизодического обхода роботом нет - связка с Метрикой не подключена (об этом чуть позже), но и она не помогла бы, так как кликов нет совсем.

Решение. Срочно создаем карту сайта в админке 1С Битрикс, добавляем ее в robots.txt и в кабинеты вебмастеров (в Гугл значит ее тоже нет).

Советы по оптимизации. Показывают нам проблемы индексации сайта. И вот тут отсутствие карты уже выделено как положено красным!

Безопасность и нарушения. Обычно ничего не показывает, даже когда сайт под санкциями. Раньше здесь еще показывалось заражение вирусами, но я этого уже давно не видел.

Качество сайта

Можно пропустить, так как по факту это просто дубль отображения дашборда про ИКС.

Эффективность

Хороший раздел, но уже когда мы отслеживаем позиции сайта и по каким запросам вообще на сайт попадают посетители. Для технической оптимизации никакой полезной информации не несет.

Индексирование

Самый важный для нас раздел с точки зрения оценки технической оптимизации сайта.

Статистика обхода. Показывает когда и куда заходил робот Яндекса, что он увидел, какие страницы и какой ответ ему дали. Здесь мы должны убедиться, что те страницы, которые должны быть проиндексированы, отдают ответ 200, а те которые не должны - 301 или 404 (хотя их тут вообще быть не должно и это тоже информация для ТЗ специалисту на удаление таких страниц с сайта и переключение на прямые ссылки, которые будут отдавать 200). Этот раздел по факту повторяет дашборд про Историю обхода, просто больше информации.

Страницы в поиске. Отображает что у нас с индексом происходит, какие страницы попадают в выдачу, какие вылетают и по какой причине. Ну а дальше делать выводы и возвращать в поиск то, что должно быть там (обычно это малоценные страницы) и удалять из индекса то, что там быть не должно (обычно это дубли по мета-данным или содержимому страниц).

Структура сайта. Отображает то, как ваш сайт видит Яндекс. Со всеми вложенностями по URL. В моем случае пишет, что данные еще обновляются (думаю из-за отсутствия sitemap), поэтому скрин не прилагаю. Но задача SEO-шника сделать там, чтобы в этой структуре были все доступные для индексации разделы сайта и количество в них страниц из столбца "Загружено", соответствовало количеству страниц в столбце "В поиске" или было близко к нему. Это говорит о правильной настройке индексации сайта - все, что нужно и ничего лишнего.

Далее есть инструменты. Но о них в следующий раз. А сейчас еще про один пункт.

Обход по счетчикам. Связываем вебмастер и метрику, позволяя добавлять в вебмастер новые страницы, неизвестные вебмастеру, если пользователь перешел на них с подключенной на сайте метрикой (как еще один вариант сообщать поисковой системе о новых страницах на сайте). Связка делается через запрос "Привязать счетчик" и подтверждение в уведомлениях метрики, если они на разных аккаунтах, либо автоматом, если на одном. В моем случае счетчик не привязан и я отправил запрос на связку, указав его ID (взял на сайте в исходном коде страницы).

На этом первая часть закончена. Остальное про кабинет Яндекс.Вебмастер в следующем выпуске.

[getDonate]

Недавно на одном из проектов обнаружил большое количество переходов со страниц iframe-tasks.yandex.

Причем заходы непонятные, есть активные, а есть по 1 или 0 секунд, что ооочень нехорошо.

Стал искать информацию. Оказывается это бывший сервис Яндекс.Толока, который сейчас переродился в Яндекс.Задания. Сейчас в нем пользователи асессоры Яндекса выполняли задачи по обучению ИИ и указывали правильность в первую очередь соответствия страницы поисковым запросам и юзабилити.

Видимо в скором времени нужно ждать изменения позиций данных страниц по релевантным поисковым запроса, а в какую сторону - покажет время и заодно подскажет, нужно что-то менять для посетителя этой страницы или все хорошо.

Ждем результатов.

[getDonate]

Тенденция в поисковых системах одна - предоставить персональные результаты под конкретного пользователя. Для этого ПС собирают максимально информацию о пользователе, классифицируют ее, добавляют этого пользователя в разные группы по интересам и на основе этих данных, анализируя, что вызывало бОльший отклик у данной группы, показывают результаты.
Так что позиции не то, что для разных, но и для одного пользователя в течение небольшого времени по одному и тому же запросу могут сильно отличаться.

Чем это грозит SEO-шнику:

1. Сервисы по сбору позиций теперь ужасно врут. Мне "посчастливилось" наблюдать в ТОПВизор в результате 3-х съемов по одному ключу с разницей в 10 минут скачки позиций +-70 позиций. Так что список ключей с позициями из подобных систем стал неактуален. Смотреть можно только среднюю в вебмастере Яндекса, а вот по Гуглу эти результаты должны быть верны, "разлета" в значениях не наблюдал.
2. Текстовый контент продолжит уменьшать свое значение в коммерческих запросах, равно как и мета-данные. Будет играть значение только сам контент страницы (не только текст и в первую очередь не текст), точнее результат его просмотра пользователем. Нравится - добро пожаловать в ТОП, нет - идите дорабатывайте.
3. ИИ будет анализировать сайты (твой и конкурентов) и выдавать рекомендации на основе этого сравнения, технического анализа, цен и т.д. Вообщем всю "тяжелую" работу, которую делал специалист, ИИ будет делать быстрее и без права на "человеческую" ошибку.

А что вообще ждет SEO в 2025 году?

SEO-трафик на сайты интернет-магазинов будет продолжать уменьшаться. 2025-год еще более чем 2024 станет годом маркетплейсов. Сейчас маркетплейсы и по конкретным услугам появляются в больших количествах, они и этот трафик скоро приберут к рукам.

Для каких товаров или ниш SEO будет работать еще на 100%:

1. Индивидуальное производство
2. Дизайнерские вещи
3. Новые товары на рынке (тут как раз скорее продвижение по информационным запросам)
4. Оптовые продажи
5. Ну и пока еще сфера услуг

Что еще интересного ждет SEO

Перерождение. Да, да. SEO-продвижение уходит в маркетплейсы, так как все хотят быть на первых строчках в результатах поиска или категорий, и SEO - как результаты позиций в ПС будет интересовать все меньше, только комплекс - от посетителя до лида. Если ты привел в поискового трафика посетителя, будь добр доказать, что это не просто мусор или бот, а квалифицированный лид. Ну и вообще, в свете сказанного ранее про ИИ, сеошник должен будет эволюционировать в интернет-маркетолога, который умеет пользоваться результатами роботов и нейросетей.

Как-то так. Сам сейчас работаю над интерфейсами, которые будут внедрять рекомендации ИИ на сайт удаленно.

[getDonate]

Многие заказчики слышали, что им нужно SEO продвижение, потому что это самый дешевый трафик на сайт. Но забывают, или просто не слышат, что это не самый быстрый способ получения трафика и для того, чтобы SEO начало работать, нужно сначала достаточно хорошо потрудиться специалисту, а клиенты - терпеливо подождать. SEO-шники не скрывают, что 75% основных работ делаются в первые 2-3 месяца, а дальше это докрутка, тонкая настройка, корректировка стратегии. Но ждать готовы не все и есть две категории заказчиков из числа тех, кто не желает ждать.

Разочарование в SEO за 1 месяц

И не мало примеров в моей практике, когда заказчик оплачивает один месяц, ждем быстрого результата, не получает его, расстраивается и теряет веру в SEO и рассказывает потом всем, что SEO не работает. Клиент не получил желаемое, специалист денег, результата и кейса - вообщем все недовольны.

SEO можно поставить на паузу

Многие также думают, что SEO можно поставить на паузу. Можно, но когда все основные работы уже сделаны и речь идет о докрутке (улучшении показателей). А пока этого нет, то останавливая работы вы не просто топчетесь на месте не достигнув результата, или достигнув небольшого, но и делаете шаг назад. Для возобновления работ специалисту снова придется выполнять анализ текущих показателей сайта, анализировать, расширять и кластеризовать семантическое ядро. Это время и ваши деньги. Кроме этого, положительная динамика в результате работ сеошника имеет сейчас свойство затухать со временем. Это как строительство дома застройщиком, пока вы строите его и идут работы покупатели вам верят, работы приостановили на месяц-два - появились сомнения. Только в данном случае покупатель - это поисковые системы. Сайт развивается, улучшается, устраняются ошибки - хорошо, давайте его лучше ранжировать. Пошла стогнация, хм.. возможно он уже "неживой"?

Поэтому не заказчику можно останавливать SEO только в следующих случаях:

• разочарование в подрядчике, как специалисте (для этого можно провести экспертизу работ);
• предприятие закрылось и этот бизнес больше не нужен, не лежит к нему душа или с компаньонами разлад;
• денег нет от слова "совсем", семью бы прокормить, здесь советовать себе дороже, выбор каждого как себя вести, может и бизнес не тот.

Быстрого результата не будет. SEO - не начнет работать через неделю даже просто в силу технических причин. Задержки в индексации поисковыми системами, анализ контента страницы перед занесением ее в индекс ПС - последнее время это занимает до 2-х недель. Также необходимо время на внесение изменений и проведение технических работ по сайту, анализ ситуации перед внесением этих изменений и после попадания обновленных или новых страниц в индекс и т.д.

По нашему опыту при правильной первичной оптимизации сайта, а это первый шаг на пути к покорению верхних позиций в результатах выдачи ПС, рост позиций начинается в период 3-5 недель после начала нами работ по сайту, а в среднем 28 дней. В зависимости от ниши, региона и конкуренции устойчивые позиции появляются через 3-6 месяцев. Это не быстро, но и эффект от проведенных работ держится до полугода.