Проверка загружает robots.txt сайта, находит ошибки и показывает, открыт ли конкретный адрес для робота Яндекса или Google и какое правило сработало. Можно вставить текст файла вручную — например, чтобы проверить правила для партнёрских ссылок до загрузки на сайт.
Как пользоваться
- Введите адрес сайта и нажмите «Загрузить» — или вставьте текст файла вручную.
- Посмотрите сводку: группы User-agent, правила, Sitemap и замечания.
- Проверьте адрес — например, /go/partner/ — и выберите робота.
robots.txt на сайте с партнёрскими ссылками
На сайтах, которые зарабатывают на CPA, партнёрские ссылки часто делают через свой редирект: /go/название/ ведёт на ссылку сети. Роботу незачем ходить по таким адресам — он тратит на них обход и попадает на чужие сайты. Обычно их закрывают так:
| Правило | Что делает |
|---|---|
Disallow: /go/ | закрывает от обхода все редиректы на партнёрские ссылки |
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term | только для Яндекса: адреса с UTM-метками считаются одной страницей, а не дублями |
Disallow: /*?s= | закрывает страницы поиска по сайту |
Sitemap: https://сайт/sitemap_index.xml | полный адрес карты сайта |
Сами ссылки на /go/ в тексте помечают атрибутом rel=»sponsored nofollow» — это сигнал поисковикам, что ссылка рекламная. Про монетизацию сайта и размещение партнёрских ссылок — в статье «Монетизация сайта».
Частые ошибки
| В файле | Что не так |
|---|---|
Disallow: / в группе * | закрыт весь сайт — часто остаётся после разработки |
| правила до первой строки User-agent | роботы их не применят |
| Host и Crawl-delay | Яндекс их больше не учитывает, Google не поддерживает |
| Sitemap без https:// | адрес карты указывают полностью |
| вместо файла отдаётся HTML-страница | роботы не найдут правил |
robots.txt не убирает страницу из поиска. Он запрещает обход, но страница может попасть в выдачу по внешним ссылкам. Чтобы убрать её из индекса, нужен мета-тег noindex — и такую страницу нельзя закрывать в robots.txt, иначе робот тег не увидит.
Частые вопросы
Нужно ли закрывать партнёрские ссылки в robots.txt?
Если они идут через свой редирект вроде /go/, — да: так робот не тратит обход на чужие сайты. Ссылки в тексте дополнительно помечают rel=»sponsored».
Как проверить, закрыта ли страница?
Загрузите файл, введите путь страницы и выберите робота: инструмент покажет сработавшее правило и номер строки.
Нужна ли директива Host?
Нет. Главное зеркало задаётся 301-редиректом и в Яндекс Вебмастере.
Сохраняет ли сервис файл?
Нет. Сервер aff-hr.ru загружает только robots.txt указанного сайта и сразу отдаёт его в браузер, разбор идёт у вас.