Articles of роботов robots.txt

Скрыть страницы из Google и посетителей

У меня есть сайт wordpress, где у меня мало страниц специального типа. Я загружаю содержимое этих страниц с загрузкой jquery. Но я не хочу, чтобы эти страницы были непосредственно видны. Поэтому, если пользователь перейдет на http://www.domain.com/work/project-name, он не будет виден. Или, по крайней мере, поисковые роботы не индексировали бы эти страницы, которые находятся под / […]

Robots.txt с WordPress и Joomla на одном сервере

У меня такая конфигурация в корне сервера (хостинг): root -> блог WordPress DirectoryJ -> сайт Joomla DirectoryWP -> Еще один блог WordPress Я не знаю, как обращаться с robots.txt. В Joomla 3.4 есть новый файл robots.txt, и он говорит, что я должен переместить его в root. Я сделал. У WordPress есть собственный виртуальный файл robots.txt, […]

Robots.txt не обновляется

Когда я пытаюсь выполнить поиск в Google в моем веб-адресе, это выглядит как мета-описание «Описание этого результата недоступно из-за этого сайта robots.txt – узнайте больше». На веб-сайте я попытался отредактировать файл robots.txt (загрузил плагин WP Robot), и хотя я изменил его на User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Файл robots.txt по- прежнему отображается как User-agent: […]

Вопрос о файле robots.txt на сайте WordPress

Я не знаю почему, но Google начал индексировать некоторые страницы, которых у нас нет на нашем сервере. В основном страницы с строкой запроса ?tag=22&page=30 . Кстати, у нас нет «тега», и в результате число 404 страниц увеличилось на Google Search Console. ?tag=22&page=30 ?tag=27&page=530 ?tag=27&page=600 ?tag=309&page=81 Как я могу закрыть / запретить доступ к этим файлам? […]

Как перенаправить файл Physical Robots.txt без FTP

Мне было интересно, может ли кто-нибудь помочь мне устранить эту проблему с robots.txt, с которой я сталкиваюсь. Проблема в том, что у меня нет доступа к ftp, клиент этого не допустит. Поэтому я пытаюсь выяснить, как я могу переопределить и обновить физический файл robots.txt через плагин. Или, если это возможно, другие средства. Я пробовал три […]

Старый файл robots.txt не изменяется, не может обновляться до текущего файла robots.txt

Пока мой сайт WordPress был в производстве, я создал файл robots.txt, чтобы запретить все. Когда сайт был готов, я удалил файл robots.txt через cpanel и никогда не думал об этом. Недавно я понял, что веб-сайт не появился в результатах поиска Google, после дальнейшего расследования я понял, что старый файл robots.txt все еще существует (хотя я […]

Настройка robots.txt с плагином Yoast's Seo

Я искал достойное решение robots.txt для своих сайтов WordPress, и после некоторых поисков я нашел плагин SEO Yoast, который обеспечивает полное решение для SEO, включая индексацию. Я установил его, чтобы не индексировать следующие страницы: результаты поиска, страницы входа и регистрации, все страницы администратора, архивы на основе даты и архивы тегов. Однако, когда я смотрел на […]

автоматическая сгенерированная проблема robots.txt

У меня есть видимость сайта в настройках конфиденциальности, позволяющая поисковым системам видеть мой сайт, но по какой-то причине, когда я перехожу в автоматически созданный файл robots.txt, который он показывает User-agent: * Disallow: видимость перехода на сайт просто добавляет / удаляет конечную косую черту, т.е. «Disallow: /» У меня есть 2 связанных плагина "все в одном […]

Попытка обновления robots.txt

Я установил и активировал плагин WP Robots txt. Затем я перешел на wp-admin/options-reading.php Я вставил новый контент robotst.txt и сохранил его. Но я не вижу новый контент в mysite.com/robots.txt Любая помощь? Я также установил плагины SEO, может быть, это связано?

В чем смысл User-agent и Disallow в файле robots.txt в wordpress

В чем смысл User-agent и Disallow в файле robots.txt в WordPress. Я немного смущен этим.