Robots.txt — это текстовый файл, который содержит указания и параметры индексирования вашего сайта для поисковых роботов.
При очередном обходе сайта робот поисковой системы каждый раз загружает себе файл robots.txt. Если при последнем обращении к файлу, страница или раздел сайта запрещены, робот не будет их индексировать и со временем удалит из поискового индекса.
Файл robots.txt должен располагаться в корне сайта, быть не более 500Кб и доступен для индексации поисковым роботом. Обычно ссылку на файл загружают в кабинеты вебмастеров.
Внутри файла можно указать наборы директив для разных поисковых роботов, ссылку на sitemap.xml и другие параметры. Более подробно о структуре и содержимом сайта можно знакомиться в .
Главное, что нужно запомнить и понять: в данном файле вы разрешаете или запрещаете показ типов страниц, состава каталога или части URL, и можете указать какие типы файлов подлежат (или не подлежат) индексации. Обязательно разрешайте индексацию скриптов JS и стилевых таблиц CSS «фронта», даже если каталог, в котором они размещены, запрещен к индексации. Так поисковая система не только прочитает, но и увидит ваш сайт.