Ошибка в robots.txt — Найдено несколько правил вида ‘User-agent: *’
Прислал Яндекс.Вебмастер предупреждение об ошибке, что найдено несколько правил юзер-эджент.
Смотрю robots.txt, а там красуется запись:#WP Import Export Rule
User-agent: *
Disallow: /wp-content/uploads/wp-import-export-lite/
Вспоминаю, что несколько дней назад работали с плагином WP Import Export. Который и добавил эту запись в robots.txt.
Смотрите нашу статью Правильный Robots.txt для WordPress
Решение проблемы — удалить эту запись.
Выводы:
- Некоторые плагины могут изменять файл robots.txt
- Смотреть оповещения Яндекс.Вебмастера — полезно.
- Быстро поднятое не считается упавшим. Исправились быстро.