Файл robots.txt используется вебмастерами для запрета индексации всего того, что не имеет непосредственно отношения к контенту: файлы движка, дубли и прочее. Неправильно составленный роботс.тхт может серьезно усложнить жизнь вашему проекту и по статистике является одной из самых часто встречающихся ошибок во внутренней оптимизации сайтов. Рассмотри...