Сайт был создан для тестирования кириллических ссылок в Joomla. А так же для проверки истинности гипотезы о том, что поисковики уважают русские ключевые слова в урлах. А раз вы попали сюда из поисковика, значит что-то в этом есть :-).
robots.txt - это обычный текстовый файл, который расположен вместе с файлами вашего вебсайта. Он предназначен для того, чтобы инструктировать поисковых роботов о том что они не должны индексировать на сайте. Если у вас нет возможности использовать файл robots.txt (например у вас недостаточно прав), тогда для вас может оказаться полезным руководство по метатэгам.