| Перед индексацией сайта поисковые системы обязательно проверяют наличие файла robots.txt в корне сайта (www.my-domen.ru/robots.txt), который дает указания по индексации той или иной страницы вашего сайта поисковым паукам, т.е. можно ли ее индексировать или нет.
Читать подробнее . . . |