Ошибка в robots.txt — Найдено несколько правил вида ‘User-agent: *’
Решение — удалить лишнее правило 'User-agent: *'
robots.txt
Настройка индексирования интернет-магазина
Многие вебмастера, работая над оптимизацией интернет-магазинов для индексирующих роботов, задаются одними и теми же вопросами. В этом посте сотрудник Яндекса отвечает на наиболее частые.
Правильный Robots.txt для WordPress
Оригинал статьи в блоге Дениса Биштейнова Ниже привожу короткий и расширенный вариант. Короткий не включает отдельные блоки для Google и Яндекса. Расширенный уже менее актуален, т.к. теперь нет принципиальных особенностей между двумя крупными поисковиками: обеим системам нужно индексировать файлы скриптов…