Если вы до сих пор ( а на дворе-то уже 2012-й) не имеете понятия о том, что такое файл «robots.txt» в корневом каталоге вашего сайта. Или вы не знаете для чего он нужен. Или знаете для чего он, но не можете понять что и как там писать, тогда это полудетское видео от поисковой системы Яндекс именно для вас, читатель. Смотрите и слушайте, что вещает Яндекс (выше).
Для более сознательной аудитории: предлагаем вам обратиться к соответствующим разделам справки для вебмастеров:
- http://help.yandex.ru/webmaster/?id=996567 — полное описание;
- http://help.yandex.ru/webmaster/?id=996709 — описание онлайн анализатора «robots.txt» сервиса Яндекс.Вебмастер.
