Правильный robots.txt для WooCommerce

Файл robots.txt — список инструкций для поисковых систем, какие страницы можно добавлять в индекс, а какие нельзя. Для WooCommerce также нужно добавить несколько инструкций, закрывающих страницы фильтра, сортировки и другие.

Не забудьте поменять site.ru на свой адрес сайта.

User-agent: *               # общие правила для роботов, кроме Яндекса и Google, 
                            # т.к. для них правила ниже
Disallow: /cgi-bin          # папка на хостинге
Disallow: /?                # все параметры запроса на главной
Disallow: *?s=              # поиск
Disallow: *&s=              # поиск
Disallow: /search/          # поиск
Disallow: /author/          # архив автора
Disallow: /users/           # архив авторов
Disallow: */trackback       # трекбеки, уведомления в комментариях о появлении 
                            # открытой ссылки на статью
Disallow: */feed            # все фиды
Disallow: */rss             # rss фид
Disallow: */embed           # все встраивания
Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если   
                            # не используете,правило можно удалить)
Disallow: /xmlrpc.php       # файл WordPress API
Disallow: *utm*=            # ссылки с utm-метками
Disallow: *openstat=        # ссылки с метками openstat
Allow: */uploads            # открываем папку с файлами uploads
Disallow: /*attachment*     

Disallow: /cart             # для WooCommerce
Disallow: /checkout         # для WooCommerce

Disallow: *?orderby=*       # для WooCommerce
Disallow: *?filter*         # для WooCommerce
Disallow: *?min_price=*     # для WooCommerce
Disallow: *?add-to-cart*    # для WooCommerce
Clean-param: add-to-cart    # для WooCommerce

# Укажите один или несколько файлов Sitemap
Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap.xml.gz