Файл robots.txt — список инструкций для поисковых систем, какие страницы можно добавлять в индекс, а какие нельзя. Для WooCommerce также нужно добавить несколько инструкций, закрывающих страницы фильтра, сортировки и другие.
Решение — удалить лишнее правило ‘User-agent: *’
Многие вебмастера, работая над оптимизацией интернет-магазинов для индексирующих роботов, задаются одними и теми же вопросами. В этом посте сотрудник Яндекса отвечает на наиболее частые.
Короткий и расширенный вариант robots.txt. Короткий не включает отдельные блоки для Google и Яндекса.