Актуальность создания поисковых систем, поддерживающих более совершенные, более качественные методы поиска, объясняется тем, что распределенность и неструктурированность, противоречивость и недостоверность информации в Интернет препятствуют быстрому и качественному поиску.
В данном докладе затрагиваются два основных вопроса:
Поисковая машина состоит из баз данных (БД) и программного обеспечения (ПО) для их обработки. ПО, в свою очередь, делится на две части: анализатор содержимого Web-страниц и классификатор - определитель рейтинга, осуществляющий сортировку ссылок, найденных по запросу пользователя.
Метапоисковые системы предоставляют интерфейс единого доступа к нескольким крупномасштабным поисковым системам и реализуют свои алгоритмы и методы обработки результатов работы других поисковых систем. Как правило, это надстройки над поисковыми машинами, которые не имеют собственной БД и при поиске по запросу пользователя формируют, в свою очередь, запросы для нескольких внешних поисковых машин, а затем анализируют полученные результаты и выдают список ссылок в порядке, определяемом соотношением рейтингов ответа сразу по нескольким поисковым машинам. Проще говоря, такая машина ведет опрос нескольких поисковых систем, а затем отбирает ссылки, следуя собственному алгоритму.
Традиционно выделяют три основных преимущества метапоисковых систем [1]: повышение качества поиска, повышение полноты охвата и новые возможности поиска. Идеального критерия для оценки качества поиска в Интернет не существует, поскольку он в большой степени субъективен. Однако три фактора мы привести можем: точность, полнота и пространственно-временной контекст. Еще более субъективным понятием является релевантность - соответствие документа потребностям пользователя. С точки зрения повышения полноты охвата, применение метапоисковых систем (использующих результаты нескольких независимых крупномасштабных систем) очевидным образом повышает вероятность обнаружения нужных документов.
Заметим, что в информатике давно сформировалось направление, ориентированное на моделирование и решение задач, связанных с обработкой символьной информации, логикой и естественным языком. Методы и приемы этого направления, получившего название искусственный интеллект, находят применение при создании метапоисковых систем.
Далее мы остановимся более подробно на особенностях одной из отечественных исследовательских метапоисковых систем AIM (Artificial Intelligence for Metasearches) [2].
Крупномасштабные поисковые системы не имеют возможности тратить большое количество своих ресурсов на обработку каждого отдельного запроса из-за их огромного количества. Метапоисковые системы, как правило, обладают возможностью оперировать бульшими ресурсами, повышая качество поиска по каждому конкретному пользовательскому запросу. В системе AIM [2] предлагается двухслойная структура представления информации, состоящая из онтологической модели представления знаний и гипертекстовой модели. Таким образом, при выполнении запросов пользователя можно учитывать информацию о контексте пользователя. В этот контекст может входить как явно указанные пользователем предпочтения, так и информация, полученная на основе его предыдущего поведения (запросов, просмотренных документов).
Архитектура метапоисковой системы AIM близка к традиционной [1, 3], но базируется на методе "анализ-синтез", имея структуру классического компилятора, решающего основные задачи - анализ, работа с промежуточным представлением и синтез. В результате схема работы метапоисковой системы может быть описана следующими тремя шагами:
Основным результатом данного исследования является практическое подтверждение тезиса о возрастающей роли метапоисковых систем как инструмента профессионального поиска в Интернет. Возможно и необходимо использовать в таких системах подходы и методы искусственного интеллекта.
1. Некрестьянов И., Пантелеева Н. Системы текстового поиска для Веб // Программирование. 2002. № 28(4). С. 207-225.
2. Одинцов И.О., Холчева А.В. Применение методов искусственного интеллекта в задаче поиска информации в Интернет // Электронные библиотеки: Перспективные методы и технологии, электронные коллекции: Труды Первой Всероссийской научной конференции. Санкт-Петербург, 19-22 октября 1999 г. - СПб.: Изд-во СПбГУ, 1999.
3. Одинцов И.О. Профессиональное программирование. Системный подход. - СПб.: БХВ-Петербург, 2002. 512 с.
[Аннотация на английском языке]
|
Опубликовано: Холчева А.В. Метапоисковые системы как исследовательский инструмент информационной среды Интернет // Технологии информационного общества - Интернет и современное общество: труды V Всероссийской объединенной конференции. СПб., 25 - 29 ноября 2002 г. СПб.: Изд-во С.-Петерб. ун-та, 2002. С. 130-131. Ориг. URL — http://imsconference2002.spbu.ru/02-r2f34.html |