ѕолный глоссарий интернет-маркетинга
 
 
 

 раулер

 
 
“еги:
SEO
ѕродвижение в интернете

„то такое краулер?

 раулер (бот, паук, automaticindexer, ant, webspider, webscutter, поисковый робот) – специальна€ поискова€ программа, котора€ €вл€етс€ частью†поисковой системы(яндекс,†Google†и др.), и предназначенна€ д눆индексировани€веб-сайтов.†

ѕринцип работы поискового робота заключаетс€ в том, что он посто€нно «бродит» по известным ему†сайтам (те, которые проиндексированы), проходит по внутренним и внешним ссылкам и заносит новую информацию себе в базу. —ам по себе краулер представл€ет из себ€ аналогию веб-браузера, поэтому переход поискового робота от одной страницы к другой осуществл€етс€ по ссылкам, которые есть в теле веб-страницы.

ѕоисковый робот таким образом находит новые сайты, новые страницы и заносит себе в индекс, а также он фиксирует обновлени€ на ранее известных ему страницах. „то интересно, поисковый бот способен определить частоту обновлений информации на вашей странице. Ќапример, если у вас новостной сайт обновл€етс€ ежедневно, то поисковые боты будут посещать ваш сайт чаще, а если у вас бизнес страничка с описанием услуг компании, где†контент не мен€етс€ годами, то и поисковый робот к вам будет ходить тоже раз в год.

≈сли вы только что создали†сайт, вы должны об€зательно дать знать о себе поисковым роботам. Ёто делаетс€ в специальной форме поисковых систем в панели веб-мастера яндекс и Google. “акже, размещение ссылок в†социальных сет€х†и хороших новостных порталах, поможет быстрее проиндексировать ваш сайт. “олько не стоит злоупотребл€ть — покупать ссылки на ваш сайт в огромном количестве с сомнительных ресурсов. “акой способ уже не работает, и можно попасть по фильтры поисковых систем (например, ћинусинск яндекса).

¬иды поисковых роботов

” каждой поисковой системы не один  раулер, а целое множество ботов, где каждый заточен под определЄнные задачи и посещает ваш сайт с разной периодичностью в разное врем€.

ѕоисковые роботы яндекса

ѕоисковые роботы Google

” Google есть свои поисковые роботы.

¬ажно отметить, что сайт можно найти через поиск (яндекс, Google) не сразу же после того как его проиндексирует поисковый бот. —начала всЄ записываетс€ в базу данных, а потом уже происходит апдейт (обновление базы).†

Ќа грубом примере это выгл€дит так:†

—егодн€ 1 окт€бр€ и в выдаче поисковых систем представлены веб-документы, которые были проиндексированы до 15 августа. ≈сли поисковик Ђзахотелї, то он может сделать уже на следующий день новый апдейт, и в поисковой выдаче по€в€тс€ обновлени€, которые сделаны с 15 августа до 22 окт€бр€, а если Ђзахочетї, то апдейт будет через мес€ц вообще. Ёто так работает яндекс. Google же проводит обновлени€ практически ежедневно.

ѕоисковые роботы также искажают данные в†веб-аналитике†в таких системах как†яндекс.ћетрика†и†Google Analytics. “ам поисковые роботы понимаютс€ как обычные посетители. ќднако поисковых роботов можно отфильтровать, если сделать определЄнные настройки в системах веб-аналитики.

 
 
ѕоказать все термины (663)
 
–усский:
ј Ѕ ¬ ƒ « »   Ћ ћ Ќ ќ ѕ ÷ Ў ў Ё ё я
 
English:
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
 
“есты - проверьте свои знани€!