Читать книгу Основы SEO. Введение в поисковую оптимизацию онлайн

6 страница из 42

Чтобы ускорить процесс, по всему миру расположены центры обработки данных, которые позволяют быстро получать доступ к большому количеству информации.

И работа SCO заключается в том, чтобы понять, что делает веб-сайт релевантным для поискового запроса.

В прошлом поисковые системы смотрели только контент на вашей странице или какие ключевые слова, использовались наиболее часто.

Сейчас поисковые системы стали намного умнее.

И сегодня существуют сотни факторов, влияющих на релевантность результатов поиска.

В свое время был создан стандарт исключения роботов, который устанавливает стандарты того, как поисковые системы должны индексировать или не индексировать контент.

И используя стандарт исключения роботов, веб-мастера могут указывать поисковым системам, какой контент они хотят сканировать и какой контент они хотят, чтобы поисковые системы оставили в покое.

Вы можете заблокировать просмотр роботом всего сайта или только определенных страниц.

По умолчанию вся публичная информация сканируется и публикуется.