Читать книгу Основы SEO. Введение в поисковую оптимизацию онлайн

4 страница из 42

Всемирная паутина была создана на основе концепции гипертекста, чтобы облегчить обмен и обновление информации исследователей CERN.

В 1991 году был создан и размещен в сети первый веб-сайт.

В нем содержалось объяснение того, что такое Всемирная паутина, и как можно настроить веб-сервер и пользоваться браузером.

В 1993 году был создан первый робот-паук. Этот бот назывался World Wide Web Wanderer и был предназначен для измерения роста сети.

Вскоре бот был обновлен для сбора активных URL-адресов и сохранения их в базе данных WANDEX.

Но робот вскоре стал скорее проблемой, чем решением.

Он сканировал веб-сайты и обращался к страницам сотни раз в день, создавая большую задержку на серверах и иногда вызывая сбои веб-сайтов.

Это создало большое недоверие к роботам среди веб-мастеров и широкой публики.

Поэтому был создан робот ALIWEB.

ALIWEB расшифровывался как Archie-подобная индексация Интернета, и он сканировал метаинформацию страниц.

И ALIWEB разрешил владельцам предоставлять свой сайт для включения в поисковый индекс вместе с описанием веб-страниц.