адрес Tag

В первую очередь стоит отметить, что файл Robots.txt представляет собой четкую инструкцию для поисковых систем, какие именно команды стоит им выполнять. Кроме того, именно в этом текстовом документе указывается, что конкретно индексировать, а что индексировать не стоит.