robots.txt — это текстовый файл в корне сайта, который сообщает поисковым роботам, какие страницы и разделы можно индексировать, а какие — нет. С его помощью владелец сайта может скрыть служебные файлы, дубликаты или закрытые разделы от попадания в поисковую выдачу. Поисковики, такие как Яндекс и Google, читают этот файл при первом посещении сайта. Правильно настроенный robots.txt помогает избежать ошибок в индексации и улучшает SEO.
Идеальный robots.txt для WordPress
User-agent: * # Создаем секцию правил для роботов. * значит для всех
# роботов. Чтобы указать секцию правил для отдельного
# робота, вместо * укажите его имя: GoogleBot, Yandex.
Disallow: /cgi-bin # Стандартная папка на хостинге.
Disallow: /wp-admin/ # Закрываем админку.
Allow: /wp-admin/admin-ajax.php # Откроем аякс.
Disallow: /? # Все параметры запроса на главной.
Disallow: *?s= # Поиск.
Disallow: *&s= # Поиск.
Disallow: /search # Поиск.
Disallow: /author/ # Архив автора.
Disallow: */embed$ # Все встраивания.
Disallow: */xmlrpc.php # Файл WordPress API
Disallow: *utm*= # Ссылки с utm-метками
Disallow: *openstat= # Ссылки с метками openstat
# Один или несколько ссылок на карту сайта (файл Sitemap). Это независимая
# директива и дублировать её для каждого User-agent не нужно. Так например
# Google XML Sitemap создает 2 карты сайта:
Sitemap: http://example.com/sitemap.xml
Sitemap: http://example.com/sitemap.xml.gz
Не забудьте поменять `example.com` на ваш сайт.
Я работаю в интернете с 2010 года. Первая специализация — SEO, продвинул и оптимизировал более 200 проектов. С 2017 года увлечен программированием.