Robots.txt, sitemap.xml и индексация: базовый техконтур сайта без лишнего мусора

Техническая SEO-база редко впечатляет команду визуально, но именно она создаёт ощущение, что сайт для поисковика собран аккуратно. Когда robots, sitemap и индексация живут вразнобой, даже хороший контент и сильные страницы начинают работать слабее, чем могли бы.

В проектах с relaunch это особенно чувствительно: старые URL, скрытые разделы, архивы, служебные страницы и новые маршруты начинают смешиваться в одну серую зону. Поэтому в перезапуске сайта мы всегда проверяем техконтур сразу после сборки, а не когда начинаются странные исключения в Search Console.

Что должен делать robots.txt

Он не управляет индексом напрямую, а помогает показать, куда роботу лучше не ходить. Именно поэтому в `robots.txt` важно блокировать служебные или нерелевантные маршруты, но не использовать его как способ скрыть все проблемы сразу. Если страница уже отдана роботу, её судьбу всё равно решают другие сигналы.

Что должен делать sitemap.xml

Карта сайта нужна не для того, чтобы перечислить всё, что существует технически, а для того, чтобы показать роботу приоритетный публичный контур. Если в sitemap попадают архивы, дубли, редиректы или скрытые страницы, сайт начинает посылать лишний шум. Эту часть полезно держать в связке с материалом как обновить сайт без потери SEO.

Как проверять индексацию после релиза

Сразу после запуска имеет смысл проверять не только доступность URL, но и логику всего контура: какие страницы индексируемые, где стоит noindex, нет ли конфликтов между canonical и redirect, все ли важные страницы попали в sitemap и не блокируются ли они случайно robots. Для этого удобно идти от статьи canonical, redirect и noindex, чтобы не упустить противоречия между сигналами.

Что делать дальше

Если у сайта накопилась длинная история правок, сначала соберите короткую карту: публичные страницы, служебные страницы, архивы, редиректы и приоритетные URL. После этого намного легче привести robots и sitemap к одной логике, а затем уже разбирать более тонкие вещи вроде schema для коммерческого сайта.