Проверка robots.txt для сайта с партнёрскими ссылками

Загрузит robots.txt, найдёт ошибки и покажет, открыт ли адрес для Яндекса и Google. Как закрыть /go/-ссылки и метки.

    Файл загружает сервер aff-hr.ru — только robots.txt указанного сайта, без сохранения. Разбор и проверка адресов идут в вашем браузере.

    Проверка загружает robots.txt сайта, находит ошибки и показывает, открыт ли конкретный адрес для робота Яндекса или Google и какое правило сработало. Можно вставить текст файла вручную — например, чтобы проверить правила для партнёрских ссылок до загрузки на сайт.

    Как пользоваться

    1. Введите адрес сайта и нажмите «Загрузить» — или вставьте текст файла вручную.
    2. Посмотрите сводку: группы User-agent, правила, Sitemap и замечания.
    3. Проверьте адрес — например, /go/partner/ — и выберите робота.

    robots.txt на сайте с партнёрскими ссылками

    На сайтах, которые зарабатывают на CPA, партнёрские ссылки часто делают через свой редирект: /go/название/ ведёт на ссылку сети. Роботу незачем ходить по таким адресам — он тратит на них обход и попадает на чужие сайты. Обычно их закрывают так:

    ПравилоЧто делает
    Disallow: /go/закрывает от обхода все редиректы на партнёрские ссылки
    Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_termтолько для Яндекса: адреса с UTM-метками считаются одной страницей, а не дублями
    Disallow: /*?s=закрывает страницы поиска по сайту
    Sitemap: https://сайт/sitemap_index.xmlполный адрес карты сайта

    Сами ссылки на /go/ в тексте помечают атрибутом rel=»sponsored nofollow» — это сигнал поисковикам, что ссылка рекламная. Про монетизацию сайта и размещение партнёрских ссылок — в статье «Монетизация сайта».

    Частые ошибки

    В файлеЧто не так
    Disallow: / в группе *закрыт весь сайт — часто остаётся после разработки
    правила до первой строки User-agentроботы их не применят
    Host и Crawl-delayЯндекс их больше не учитывает, Google не поддерживает
    Sitemap без https://адрес карты указывают полностью
    вместо файла отдаётся HTML-страницароботы не найдут правил

    robots.txt не убирает страницу из поиска. Он запрещает обход, но страница может попасть в выдачу по внешним ссылкам. Чтобы убрать её из индекса, нужен мета-тег noindex — и такую страницу нельзя закрывать в robots.txt, иначе робот тег не увидит.

    Частые вопросы

    Нужно ли закрывать партнёрские ссылки в robots.txt?

    Если они идут через свой редирект вроде /go/, — да: так робот не тратит обход на чужие сайты. Ссылки в тексте дополнительно помечают rel=»sponsored».

    Как проверить, закрыта ли страница?

    Загрузите файл, введите путь страницы и выберите робота: инструмент покажет сработавшее правило и номер строки.

    Нужна ли директива Host?

    Нет. Главное зеркало задаётся 301-редиректом и в Яндекс Вебмастере.

    Сохраняет ли сервис файл?

    Нет. Сервер aff-hr.ru загружает только robots.txt указанного сайта и сразу отдаёт его в браузер, разбор идёт у вас.