Всем привет! Сегодня у нас 18 день эксперимента. Сегодня я решил написать пост о файле robots.txt. Я расскажу Вам что это за файл и для чего он создается. Если Вам интересен этот пост, тогда продолжим. Но я рекомендую Вам продолжить чтение этого поста, потому что robots.txt должен быть у каждого нормального WordPress блога.

Для тех, кто еще не знает что такое robots.txt объясняю. ROBOTS.txt — это текстовый файл, в котором содержаться инструкции для поисковых систем. Он указывает куда роботу ходить можно, а куда — нельзя.

В нем можно закрывать от индексации определенные страницы, указывать о том, что на Вашем сайте есть sitemap (если у Вас еще нет sitemap, то прочитайте этот пост и Вы узнаете как ее сделать).

Вот наш файл robots.txt и я буду рассказывать Вам о том, что значит каждая строчка.

User-agent: YandexBlog
#указывает для какого робота пишется то, что будет описано под словами UserAgent
Disallow:
#указывает, что не нужно ничего запрещать (YandexBlog умный, поэтому в админку и прочие ненужные разделы он не ходит)

User-Agent: *
#указывает, что обращается ко всем остальным роботам поисковых систем

Allow: /wp-content/uploads/
#разрешает индексировать /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
#все, что написано после Disallow запрещается к индексации

Host: ваш сайт.ru
#здесь указывается правильное зеркало Вашего сайта
Sitemap: http://ваш сайт.ru/sitemap.xml
#здесь указывается путь к Вашей карте сайта

Я скину сюда текст файла robots.txt, а Вы его подгоните под свой сайт (ваш сайт.ru нужно заменить на свой домен)

User-agent: YandexBlog
Disallow:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Host: ваш сайт.ru
Sitemap: http://ваш сайт.ru/sitemap.xml

После того, как Вы подгоните по свой блог robots.txt, закиньте его на хостинг так, чтобы он был доступен по адресу http://вашсайт.ru/robots.txt

Внимание! Этот robots.txt будет работать только для блогов, которые сделаны на WordPress.

Не забывайте, что 15 сентября заканчивается наш эксперимент и до того времени Ваш сайт должен приносить Вам доход $500 в месяц (можно и больше).

Продолжайте:

• Наполнять свой сайт контентом
• Наращивать пузомерки (особенно тИЦ)
• Оставлять осмысленные(!) комментарии в dofollow блогах
• Ищем новые RSS каналы и добавляем туда свой фид
• Ищем новые рейтинги блогов и добавлем туда свой
• Ищем новые каталоги сайтов, выбираем рубрику (если тематика Вашего блога «Недвижимость», то рубрика «Авто» его не даст ему никакого толку), добавлем туда свой блог

Если Вы также, как и я создавали специально для эксперимента с нуля блог, то Вы можете поучаствовать в акции «Бесплатный обзор каждому желающему» для того, чтобы я смог оценить его контент, дизайн, а также другие факторы, которые может увидеть любой посетитель, который придет на Ваш блог. Также Вы можете принять участие в конкурсе.

Все подробности ЗДЕСЬ

Спасибо вам, что читаете мой блог. Без вас у меня не было бы такого вдохновения писать посты!

Читайте также:

1. Cтавлю цель: достигнуть заработка $500 в месяц за 180 дней
2. День 12: Зажигаем фид на нашем сайте
3. День 15: Получаем трафик и подписчиков с RSS каналов
4. День 10: Делаем в Интернете первые шаги сайтом
5. Настраиваем себя на продуктивную работу
6. День 17: Продолжаем набирать ссылочную массу
7. День 1: Установка денвер, установка WordPress, настройки WordPress

Понравилась статья? Получай новые посты на E-Mail или подпишись на RSS этого блога!

© Дмитрий Лебедь