Как устроена поисковая система?
Поисковые роботы
Компьютерные роботы это простые программы, которые автоматизируют повторяющиеся задания со скоростью, превышающей человеческие возможности. Термин «bot», сокращение от «robot», в интернете обычно используется для описания чего-либо, что программно «общается» с пользователем или собирает данные.
Поисковые системы используют «пауков», которые ищут информацию в сети. Это программные комплексы, которые просматривают страницы в сети, как обычные пользователи. В дополнение к чтению содержания страниц для индексирования, пауки также записывают ссылки, для дальнейшего сканнирования.
Поисковые системы состоят из 3 основных частей. Поисковые пауки следуют ссылкам по сети, чтобы запрашивать страницы, которые еще не индексированы, или не были обновлены после последнего индексирования. Эти страницы листаются и добавляются в индекс поисковой машины. Если вы ищете что-либо, используя поисковую систему, вы на самом деле ищите не в сети, а в немного устаревшем индексе, который предоставляет собой информацию, скачанную из сети роботами поисковой системы.
Третья часть поискового устройства это поисковой интерфейс и программный комплекс, отвечающий за определение релевантности поискового запроса пользователя к содержимому индекса поисковой системы. Обычно, на каждый запрос пользователя поисковая система выполняет все или большинство следующих действий:
Получают введенный пользователем запрос, проверяя подходящий продвинутый синтаксис, и проверяют запрос на наличие ошибок, чтобы порекомендовать более популярные или правильные варианты написания.Проверяют, соответствует ли запрос другим вертикальным поисковым базам данных (как например, поиск новостей или продукции) и показывают соответствующие ссылки на предметы запроса около обычных результатов поиска.Собирают список соответствующих страниц для согласованных результатов поиска. Эти результаты выстраиваются в соответствии релевантности содержания страницы запросу пользователя, использованию данных и ссылкам данных цитирования.Запрашивают список релевантных рекламных объявлений для размещения около результатов поиска. Типы поисковых запросов Андрей Бродер, автор «Таксономии сетевого поиска» отмечает, что большинство видов поиска можно разделить на 3 категории: