Многие начинающие вебмастера самостоятельно не составляют Robots.txt. Они поступают следующим образом: вводят в адресной строке браузера url-проекта/robots.txt (url-проекта – адрес схожего по тематике и структуре сайта), копируют содержимое Robots.txt чужого сайта и используют этот код в своем Robots.txt. Конечно, этот метод имеет право на жизнь, но все же лучше составить его самостоятельно или на крайний случай обратиться за помощью к специалисту.

Отдельно стоит отметить, что помимо всего прочего в файле Robots.txt стоит обязательно прописать две директивы для поисковой системы Яндекс. В частности, необходимо указать хост, то есть адрес вашего ресурса. Это нужно для тех случаев, когда вы склеиваете несколько доменов, и вам необходимо указать поисковику, какой именно домен является главным. Кроме хоста следует указать путь к карте сайта. Благодаря этому ваш сайт будет гораздо лучше индексироваться поисковыми системами.