Добро пожаловать
на наш сайт
Добро пожаловать
на наш сайт
 О АИТ 'ОРИОН'WEB ДизайнWeb программирование PHPКАРТА САЙТА
Продвижение сайтов в Интернет ( SEO )WAP сайтыКаталог по WEB дизайнуФОРУМПоиск по сайту

О нас
Академия Интернет Технологий 'ОРИОН'
О нас
Новости и проекты
Новости и проекты
История развития
История развития
 
орион
орион
оптимизация 1
оптимизация
оптимизация 2
оптимизация
оптимизация 3
оптимизация
оптимизация 4
оптимизация
оптимизация 5
оптимизация
оптимизация 6
оптимизация
оптимизация 7
оптимизация
оптимизация 8
оптимизация
оптимизация 9
оптимизация
оптимизация 10
оптимизация
орион

 


Особенности оптимизации


О насОсобенности оптимизации



Robots.txt

Перед индексацией сайта поисковые системы обязательно проверяют наличие файла robots.txt в корне сайта (www.my-domen.ru/robots.txt), который дает указания по индексации той или иной страницы вашего сайта поисковым паукам, т.е. можно ли ее индексировать или нет. Файл имеет особый формат, и состоит из записей, а каждая запись имеет два поля в которых строки с названием клиентского приложения (user-agent), и одной или нескольких строк, начинающихся с директивы Disallow:


<Поле> ":" <значение>

Важный момент! Файл robots.txt должен быть в текстовом формате Unix. Для этого вы можете использовать файл- менеджер FAR. При пересылке файла с вашего ПК в каталог сайта - но конвертирует robots.txt формата Windows в формат Unix.

Теперь более подробно рассмотрим структуру файла robots.txt:

Первое поле «User-agent» содержит названия поисковых роботов (их названия можно посмотреть в логах вашего web-server-а) или если вы хотите сообщить указания всем поисковым роботам, то можно использовать символ «*». Пример конкретного поисковика:


User-agent: googlebot

Второе поле Disallow – это поле описывает какие страницы можно индексировать, а какие не нет. Если вы хотите запретить индексацию страницу secret.html, то надо написать следующее «Disallow: secret.html», как же можно запретить для индексирования целые каталоги, к примеру, каталог script, то в это поле надо внести «Disallow: /script/». Если не указывать расширение файла и не ставить закрывающий слеш (Disallow: /map), то поисковые машины не будет индексировать и «map.html» и каталог «/map/». Если поле Disallow оставить пустым, то это означает что можно индексировать все странички и директории.

Для каждого поля User-agent должно быть как минимум одно поле Disallow, иначе robots.txt будет считаться не правильным.

В файле robots.txt есть возможность использования комментариев, они начинаются с символа «#». Лучше комментарии начинать с новой строки, потому что некоторые роботы могут не правильно понять данный файл. Так же не рекомендуется начинать строку с пробела т.к. робот может пропустить целую строку. Пример файла robots.txt вы можете скачать здесь >>

О насОсобенности оптимизации

оптимизация
оптимизацияСтатья
оптимизация
оптимизацияИскусство веб дизайна
оптимизация
оптимизация<HTML> от «а» до «я»
оптимизация
оптимизацияШаблоны и язык PHP.
оптимизация
оптимизацияPHP и PostgreSQL
.
оптимизация
оптимизацияРабота с данными
.
оптимизация
оптимизацияНастройка сервера Apache для работы с wap протокоты с wap протоколом
оптимизация
оптимизацияНастройка сервера MS IIS для работы с wap протокоты с wap протоколом
оптимизация
оптимизацияТехнология WAP
оптимизация
оптимизацияЯзык WAP
оптимизация
оптимизацияОсобенности построения
оптимизация
оптимизацияПример построения WAP-ресурса
оптимизация
оптимизацияРеклама в интернет
оптимизация
оптимизацияКритерии выбора Интернет-рекламных носителейых носителей
оптимизация
оптимизацияRobots.txt
оптимизация
оптимизацияОбщие сведения об основных поисковых системаховых системах
оптимизация
оптимизацияРегистрации в поисковых системах
оптимизация
   оптимизация