Предсталяем!!! >>

Мощный SEO плагин Clearfy

Как создать правильный файл robots.txt для WordPress

8 комментария к записи “Как создать правильный файл robots.txt для WordPress
  1. Степан:

    Пишите, как советует автор и любой плохой человек увидит какая у вас.

    CMS. А ЭТО РИСКОВАННО.
    Все ли я верно говорю?
    Вопрос оставляю открытым!

    1. admin:

      На самом деле определить движок сайта может практически каждый и не нужно быть гуру или лезть в код, есть куча сервисов.
      Поверьте тот кто захочет поковырять сайт определит Вашу CMS и без robots.txt
      Так что не согласен!

  2. Юрий:

    Добрый день,у многих блогеров немного отличаются файлы но я скомпоновал файл от всех и получился большой файл может я что то лишнее напихал может поправите?

    User-agent: *
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /xmlrpc.php
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-content/languages
    Disallow: /category/*/*
    Disallow: */comment-page-*
    Disallow: */comments
    Disallow: /*/?replytocom=*
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: /tag/
    Disallow: /feed/
    Disallow: */*/feed/*/
    Disallow: */feed$
    Disallow: */*/feed$
    Disallow: /?feed=
    Disallow: /*?*
    Disallow: /?s=
    Sitemap: _http://мой сайт/sitemap.xml.gz
    Sitemap: _http://мой сайт/sitemap.xml

    User-agent: Yandex
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /xmlrpc.php
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-content/languages
    Disallow: /category/*/*
    Disallow: */comment-page-*
    Disallow: */comments
    Disallow: /*/?replytocom=*
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: /tag/
    Disallow: /feed/
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: */*/feed
    Disallow: /?feed=
    Disallow: /*?*
    Disallow: /?s=
    Host: мой сайт

    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/
    User-agent: YandexImages
    Allow: /wp-content/uploads

    Мне не понятно если запретить комментарии то они не будут индексироваться?

    1. admin:

      Комментарии будут индексироваться, не будут попадать в индекс дубли страниц которые они создают.
      Вот например ваш комментарий создал дубль этой страницы с адресом _http://wp-home.info/raskrutka-sajta/fajl-robots-txt-dlya-wordpress.html#comments1506
      И он в индексацию не попадает.
      Насчет проверки robots.txt , я же показал как проверять в Яндексе. Смотрите чтоб основные страницы были открыты, остальное нужно закрывать.
      Чтоб хорошо проверить нужно время, а у меня сейчас его катастрофически не хватает.

  3. orenkomp.ru:

    Есть папка на сервере templates, и в ней файлы .htm Я создал файл чатес и в нем прописал Options All -Indexes все норм просмотреть не возможно папку но и сайт тогда не подгружает шаблон.. Как сделать так что бы в папку templates по прямой ссылке нельзя было зайти, а сайт при этом нормально работал и подгружал шаблон?

    1. admin:

      Попробуй такой оператор, только остальное убери
      deny from all

      или еще проще моя старая статья http://infomaster.su/stati/kak-zakryt-papku-ot-prosmotra.html

  4. Игорь:

    Подскажите нужно ли блокировать строчки wp-comment или */comments?

    1. admin:

      Да нужно, ведь каждый комментарий создает дополнительный дубль страницы.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *