Robots.txt — это технический текстовый файл, который лежит в «корне» вашего сайта. Если сайт — это большой офисный центр, то robots.txt — это инструкция для курьеров (поисковых роботов Google или Яндекса) на входе.
В этом файле вы прописываете, в какие «кабинеты» роботам заходить можно, а в какие — нельзя.
Зачем он нужен вашему сайту?
-
- Ограничивает обход лишних страниц: помогает запретить роботам сканировать служебные разделы, например корзину, фильтры, поиск по сайту или технические страницы.
-
- Экономит время робота: поисковики не тратят краулинговый бюджет на «мусорные» страницы и быстрее обходят важные статьи, категории и товары.
-
- Помогает работать с дублями: например, когда одинаковые страницы создаются из-за параметров сортировки или фильтрации.
-
- Показывает карту сайта: в файле обычно указывают ссылку на Sitemap, чтобы робот быстрее находил важные страницы сайта.
Важно помнить: robots.txt управляет обходом страниц, но не является надёжным способом скрыть страницу из поиска. Если страницу нужно именно убрать из индекса, чаще используют
noindex, закрытие по паролю, 404/410 или другие технические решения. Ошибка в robots.txt может случайно закрыть от обхода важные разделы сайта, поэтому работать с ним нужно аккуратно.
