Настройка robots.txt с плагином Yoast's Seo

Я искал достойное решение robots.txt для своих сайтов WordPress, и после некоторых поисков я нашел плагин SEO Yoast, который обеспечивает полное решение для SEO, включая индексацию. Я установил его, чтобы не индексировать следующие страницы: результаты поиска, страницы входа и регистрации, все страницы администратора, архивы на основе даты и архивы тегов.

Однако, когда я смотрел на источник этих страниц, я не мог найти тег мета-роботов, кроме как на странице входа / регистрации. Есть ли другой способ сказать поисковым системам, что индексировать, кроме роботов мета и robots.txt? Если нет, то где указатель на эти страницы не индексируется?

заранее спасибо

Написание файла robots.txt – это простой процесс. Выполните следующие простые шаги:

Откройте «Блокнот», Microsoft Word или любой текстовый редактор и сохраните файл как «роботы», все в нижнем регистре, убедившись, что .txt выбрать в качестве расширения типа файла (в Word выберите «Обычный текст»).

Затем добавьте в файл следующие две строки текста:

User-agent: * Disallow: 

«Пользовательский агент» – это еще одно слово для роботов или пауков поисковых систем. Звездочка (*) означает, что эта строка применяется ко всем паукам. Здесь нет файла или папки, перечисленных в строке Disallow, что подразумевает доступ к каждой директории на вашем сайте. Это основной текстовый файл роботов.

Блокировка пауков поисковых систем со всего вашего сайта также является одним из параметров robots.txt. Для этого добавьте эти две строки в файл:

 User-agent: * Disallow: / 

Если вы хотите заблокировать пауков из определенных областей вашего сайта, ваш файл robots.txt может выглядеть примерно так:

 User-agent: * Disallow: /database/ Disallow: /scripts/ 

Вышеуказанные три строки сообщают всем роботам, что им не разрешено ничего доступного в каталогах баз данных и сценариев или подкаталогах. Имейте в виду, что для каждой строки Disallow можно использовать только один файл или папку. Вы можете добавить столько строк Disallow, сколько вам нужно. Источник: thesearchguru

Если у вас нет физического robots.txt, WP создаст его «на лету». Плагин, вероятно, разместит там свои инструкции.

Это основной файл robots.txt для WordPress, который говорит хорошим ботам не индексировать материал вне вашего контента.

Помните, что многие боты и сканеры не заботятся о файле robots.txt и делают все, что захотят.

 User-agent: * Disallow: /feed/ Disallow: /trackback/ Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /xmlrpc.php Disallow: /wp-