Ошибка в robots.txt — Найдено несколько правил вида ‘User-agent: *’
Решение — удалить лишнее правило ‘User-agent: *’
Решение — удалить лишнее правило ‘User-agent: *’
Многие вебмастера, работая над оптимизацией интернет-магазинов для индексирующих роботов, задаются одними и теми же вопросами. В этом посте сотрудник Яндекса отвечает на наиболее частые.
Оригинал статьи в блоге Дениса Биштейнова https://seogio.ru/robots-txt-dlya-wordpress/ Ниже привожу короткий и расширенный вариант. Короткий не включает отдельные блоки для Google и Яндекса. Расширенный уже менее актуален, т.к. теперь нет принципиальных особенностей между двумя крупными поисковиками: обеим системам нужно индексировать файлы скриптов и изображений, обе не поддерживают директиву Host. Тем не менее, если в этом мире снова…