Intereting Posts
Сортировка сообщений по настраиваемому значению поля в массиве Предоставляет ли расширение несколько Nav_Menu_Walkers разрешение вложенных меню? Как проверить пользовательские правила перезаписи / постоянные ссылки? Показывать номер публикации, опубликованной каждый день Как разрешить пустой заголовок для вложений? Неправильный путь для тематических активов Проблема с сериализованными массивами в пользовательской мета Использование wp_filesystem в плагинах для хранения настроек Как удалить меню «Обновления» в панели администратора WordPress? Имеет ли WP, php или текущую структуру (woofoo / genesis и т. Д.). Предложить способ запланировать изменения цвета текста / bg? Пользовательский тип и функции отправки Получить последнюю версию автора, автора-ссылку и дату Как создать многомерный массив с несколькими циклами Тема с неправильным обновлением Добавление последних сообщений в меню

В чем смысл User-agent и Disallow в файле robots.txt в wordpress

В чем смысл User-agent и Disallow в файле robots.txt в WordPress. Я немного смущен этим.

Агент пользователя

Это веб-роботы (также известные как Web Wanderers, Crawlers или Spiders), это программы, которые автоматически перемещаются по Сети. Поисковые системы, такие как Google, используют их для индексации веб-контента, спамеры используют их для сканирования адресов электронной почты, и у них есть много других применений.

запрещать

Он сообщает роботам, что он не должен посещать страницы или каталог сайта, которые не допускаются этим тегом.

Подробнее здесь