Алексей Кутовенко - Профессиональный поиск в Интернете
Отрадно, что такая тенденция не прошла мимо. Рунета. Поисковая система. Яндекс не так давно научилась работать с данными в семантических форматах. Правда, их поддержка пока ограничивается только поиском в блогах. Для индексации профилей и выявления социальных связей используется формат FOAF. Более того, Яндекс разработал собственное расширение FOAF, позволяющее точнее описывать персональные данные пользователей своих социальных сервисов. Добавлять FOAF-разметку к веб-страницам предлагают самим пользователям блогов. Конкретные рекомендации можно найти в справке по прикладному программному интерфейсу (API) поиска в блогах Яндекса.
Постепенный рост объема данных в семантических форматах выявил потребность в своеобразных «точках доступа» – сервисах, аккумулирующих сведения о свободно доступных данных в семантических форматах, к которым могли бы обращаться как приложения-агенты, так и пользователи-люди. В «обычном» вебе эту роль играют поисковые системы и каталоги. Аналогичным путем пошла эволюция и в современном семантическом вебе. Такие поисковые системы иногда даже называют «семантическими приложениями второго поколения». Этим подчеркивается значительное улучшение удобства работы с информацией в новых форматах, в том числе для широких кругов пользователей. Данная глава посвящена лучшим и наиболее показательным представителям семейства поисковиков для семантического веба.
Требования к представленным в этой главе поисковым машинам были следующие. Все предлагаемые сервисы должны быть общедоступными. Поисковики обязательно должны были уметь работать с документами в основных форматах семантического веба. Поскольку такие ресурсы претендуют на роль универсальных точек доступа к семантическим данным, поисковики должны обладать удобным пользовательским интерфейсом, предназначенным для пользователя-человека, а также предусматривать возможность подключения к поисковику внешних приложений – программ-агентов, ориентированных на автоматические сбор и систематизацию данных.
Семантическая разметка веб-документов предлагает широкие возможности по составлению сложных запросов, во многом отличающиеся от привычных опций «обычных» интернет-поисковиков. Эффективные поисковики должны обладать соответствующими инструментами составления сложных запросов, а также различными вспомогательными средствами последующего уточнения запросов и фильтрации результатов.
Swoogle
Ведущие роли в разработке инструментов для поиска в семантической сети играют исследовательские проекты различных научных и учебных заведений. Сейчас это настоящие локомотивы семантического веба. Выбор и возможности академических проектов пока заметно превосходят общедоступные предложения коммерческих разработчиков. Обзор поисковиков для Web 3 0 начнем рассказом о сервисе Swoogle, разработанном специалистами университета. Мэриленда (США).
Swoogle индексирует документы в форматах N-Triples, RDF/XML и N3 (RDF). Обрабатываются как полностью составленные с помощью этих языков документы, так и «обычные» веб-страницы, содержащие фрагменты семантического кода. Индексная база у Swoogle собственная, построенная на информации из открытых сетевых источников, и на сегодняшний день содержит сведения примерно о трех миллионах документов, о миллиарде отдельных высказываний-триплетов, а также десяти тысячах онтологий. Это достаточно серьезные цифры.
Воспользоваться поисковиком может любой желающий. На сервисе предусмотрена бесплатная регистрация. Без регистрации по запросу демонстрируется только первая сотня результатов. По всей видимости, это призвано несколько снизить нагрузку на серверы проекта, поскольку основное преимущество обладателей аккаунта – получение именно полных результатов поиска. Это немаловажно, поскольку Swoogle поддерживает подключение программ-агентов. Данные им выдаются в формате RDF.
Предназначенный для просмотра человеком интерфейс Swoogle весьма прост и лишен каких-либо излишеств. Доступно несколько специфических режимов поиска. Наиболее строгим является режим Ontology. При поиске в этом режиме в результаты попадают только документы, содержащие определения свойств семантических объектов. Пожалуй, наиболее удобным при личном обращении пользователя к ресурсу является режим Document, в котором поиск ведется среди всех проиндексированных документов. Третий режим – Term – предлагает поиск отдельных триплетов. Он выдает максимальное количество результатов, однако удобен скорее для машинной обработки. Swoogle обладает собственным языком составления сложных запросов, который состоит из собственных операторов, а также поддерживает синтаксис запросов Apache Lucene. Перечень операторов Swoogle можно найти в приложении А. По умолчанию поисковый оператор и его значение разделяются двоеточием. Поддерживается поиск по фразе с использованием кавычек.
Страница выдачи Swoogle максимально проста (рис. 10.1). В списке предоставляются только ссылки на ресурсы и краткие комментарии. Каких-либо дополнительных инструментов просмотра или фильтров не предусмотрено. Компенсацией может служить достаточно высокая скорость работы сервиса.
Рис. 10.1. Страница выдачи поисковой системы Swoogle
VisiNav
VisiNav – это еще один университетский проект поиска в семантическом вебе. У данного сервиса ирландские корни. Принадлежит он институту Digital Enterprise Research Institute (DERI). Размер индексной базы заявлен в объеме примерно двух миллионов документов и тринадцати с половиной миллионов высказываний-триплетов. Собирается база собственными роботами VisiNav. Главный недостаток VisiNav – редкое обновление базы.
Начинается поиск указанием ключевого слова, после чего система выводит начальный набор объектов, подходящих под условия запроса. Данные в VisiNav представлены в виде объектов-ссылок, которые обладают атрибутами и связями с другими объектами. Щелчками на связях или перетаскиванием объектов (такие ссылки подчеркиваются красным) можно уточнять свой запрос. Поскольку семантическая разметка довольно подробна, одним движением мыши можно найти, например, всех партнеров или подрядчиков какой-либо фирмы. Разработчики старались сделать этот процесс наглядным, однако это обусловило и некоторые требования к браузерам. Пользователи Firefox и Opera последних версий могут не опасаться ошибок, а вот в отношении браузеров Internet Explorer и Chrome их отсутствие не гарантировано.
Поисковик предлагает несколько режимов просмотра результатов поиска. В режиме List найденные ссылки выводятся в виде простейшего списка. Отметим возможность экспорта результата в RSS-канал. В режиме просмотра Detail экран делится на две области. Справа выводятся теги и текстовые выдержки, а слева – свойства и ссылки. Заметим, что набор данных при этом на панелях одинаковый, это просто два варианта просмотра найденного. Система умеет находить тематические изображения и выводить их в виде миниатюр. Здесь также доступен экспорт данных в семантический формат RDF.
Кроме этих режимов, VisiNav предлагает еще два варианта просмотра списка выдачи, причем они у конкурентов не повторяются. Режим Timeline выстраивает все найденные ресурсы на интерактивной «линии времени», что позволяет отследить развитие той или иной темы. Интересно, что при щелчках на объектах, располагающихся на линии времени, вызываются не исходные ресурсы, а окошки с конкретными текстовыми выдержками. При желании результаты поиска можно сразу же загрузить в формате iCal. В режиме Table результаты выводятся в виде таблицы. Ее колонки – теги семантической разметки, строки – найденные ресурсы. Такой режим просмотра, как и любая таблица, хорош для сравнения похожих значений у различных объектов. Результаты также можно загрузить в виде CSV-файла.
К сожалению, система VisiNav плохо работает с запросами, набранными кириллицей, хотя в результатах поиска попадаются и русскоязычные ресурсы.
Watson
Проект Watson разработан в Великобритании. Заметную долю в его финансировании занимают гранты. Евросоюза. Особенность данного поисковика – ориентация на достижение максимального качества поиска за счет отбора включаемых в индекс ресурсов. Особое внимание в данном проекте уделяется установлению смысловых отношений различных онтологий: поиску дублирующихся записей, работе с различными версиями, обработке значений похожих онтологий и другим приемам анализа.
Поскольку количество данных в семантических форматах в Сети растет, все более заметным становится разница в качестве таких ресурсов. Если рассмотренные ранее поисковики стремятся охватить как можно больше документов, то целью Watson являются в первую очередь наиболее качественно представленные ресурсы. Это проявляется в наличии системы рейтингов, которые выставляются системой тем или иным ресурсам в ходе анализа проиндексированных источников данных. Предполагается, что это позволит улучшить релевантность поиска. Нельзя не отметить, что подобный подход вполне соответствует классическим теоретическим подходам к созданию семантического веба. Пусть это еще не знаменитая кнопка «Да ну?» Бернеса-Ли, но определенно шаг в нужном направлении.
