М. Абрамзон - Яндекс для всех

Яндекс. Бар — это уже совсем иной продукт. Удобство его использования почувствует в первую очередь тот, кто много и часто пользуется Яндексом. А все потому, что в этот плагин, работающий и на MS IE, и на FireFox, включено большинство служб Яндекса, а также обеспечен доступ к вашим личным ресурсам (почте, ленте, денежным средствам).

Есть на Яндексе и другие сервисы и службы — игры и общение, соревнования по поиску и фотоальбомы. Сервисы постоянно развиваются, а количество их увеличивается. Но "нельзя объять необъятное", говорил незабвенный Козьма Прутков. Рне отвлекаясь на новинки, разберем, чем же является Яндекс сегодня.

Рлья Сегалович — директор "Яндекса" РїРѕ технологиям Рё разработке, РѕРґРёРЅ РёР· основателей компании.

Поисковыми технологиями Рлья начал заниматься РІ 1990 РіРѕРґСѓ — РІ компании "Аркадия", РіРґРµ СЂСѓРєРѕРІРѕРґРёР» РіСЂСѓРїРїРѕР№ программного обеспечения. Р’ период СЃ 1993 РїРѕ 2Рћ00 РіРѕРґ, Рлья работал РІ компании CompTek International, РіРґРµ возглавлял отдел поисковых систем. РџСЂРё непосредственной поддержке созданы Национальный РєРѕСЂРїСѓСЃ СЂСѓСЃСЃРєРѕРіРѕ языка (Ruscorpora) Рё Р РѕСЃСЃРёР№СЃРєРёР№ семинар РїРѕ оценке методов информационного РїРѕРёСЃРєР° (Р РћРњРРџ). Рлья Сегалович имеет высшее образование РІ области геофизики. Вместе СЃРѕ своей женой Марией Рлья поддерживает благотворительную студию "Дети Марии" (социальная помощь детям-сиротам Рё детям-инвалидам).

Глава 1

Поиск (Найдется всё!)

Главная задача информационно-поисковой системы — это поиск информации, релевантной информационным потребностям пользователя. Слово релевантность означает соответствие между желаемой и действительно получаемой информацией. Релевантность можно еще представить как меру близости между реально полученными документами и тем, что следовало бы получить из системы.

1.1. Что такое "поисковая машина"

Каждому РёР· нас РІ определенный момент времени бывает необходима информация, отсутствующая среди записей, заметок Рё данных РЅР° нашем компьютере. Где РІ таком случае РІС‹ будете ее искать? РћРґРЅРёРј РёР· наиболее простых Рё удобных СЃРїРѕСЃРѕР±РѕРІ РїРѕРёСЃРєР° является Рнтернет (далее также "Сеть"). Здесь есть РІСЃРµ — техническая Рё экономическая информация, справочники Рё научные издания, расписания транспорта Рё онлайновые магазины, РєРЅРёРіРё Рё РєСѓСЂСЃС‹ валют. Р’СЃРµ можно найти, РЅРµ отрываясь РѕС‚ стула. РќРѕ Сѓ этой хорошей стороны Рнтернета есть Рё обратная сторона — количество информации РІ Сети растет даже РЅРµ РїРѕ часам, Р° РїРѕ минутам Рё секундам. Найти нужную информацию обычным серфингом уже невозможно. Простой Рё удобный протокол HTTP, используемый для серфинга, удобен для навигации Рё просмотра страниц, РЅРѕ совершенно РЅРµ предназначен для РїРѕРёСЃРєР°.

Первым шагом РЅР° пути систематизации информации, размещаемой РІ Рнтернете, стало создание каталогов сайтов, РІ которых ссылки РЅР° ресурсы группировались РїРѕ тематическому признаку. Так построено большинство современных каталогов, РЅРѕ началом всему стал проект Yahoo! открытый РІ 1994 РіРѕРґСѓ. Вторым шагом после создания каталога стал РїРѕРёСЃРє РїРѕ размещенным РІ нем ссылкам. Понятно, что это был РїРѕРёСЃРє РЅРµ РїРѕ всем ресурсам Рнтернета, Р° лишь РїРѕ тем, которые присутствовали РІ каталоге. Даже сегодня, спустя десятилетия после появления первых каталогов, РІ РЅРёС… присутствует лишь малая толика интернет-ресурсов. Р’ РѕРґРЅРѕРј РёР· самых крупных каталогов — DMOZ (Open Directory Project) находятся ссылки РЅР° 4 миллиона сайтов, распределенных РїРѕ 590 000 категорий, Р° РІ базе Яндекса размещена информация свыше чем Рѕ 2 278 900 000 документов. Показатели для РїРѕРёСЃРєР° несравнимые.

Поэтому РЅРµ удивительно, что почти одновременно СЃ появлением каталогов, появились Рё поисковые машины. Первой РёР· РЅРёС… стал проект WebCrawler, появившийся РІ 1994 РіРѕРґСѓ. Следом Р·Р° РЅРёРј открылись поисковые системы Lycos Рё AltaVista, Р° РІ 1997 РіРѕРґСѓ Сергей Брин Рё Ларри Пейдж создали Google. Р’ том же РіРѕРґСѓ была официально анонсирована Рё поисковая система Яндекс, ставшая самой популярной РІ русскоязычной части Рнтернета.

1.1.1. Компоненты поисковых машин

Рнформация РІ Сети РЅРµ только пополняется, РЅРѕ Рё постоянно изменяется, РЅРѕ РѕР± этих изменениях никто РЅРёРєРѕРјСѓ РЅРµ сообщает. Отсутствует единая система занесения информации, одновременно доступная для всех пользователей Рнтернета. Поэтому СЃ целью структурирования информации, предоставления пользователям удобных средств РїРѕРёСЃРєР° данных Рё были созданы поисковые машины.

Поисковые системы бывают разных видов. Одни из них выполняют поиск информации на основе того, что в них заложили люди. Это могут быть каталоги, куда сведения о сайтах, их краткое описание либо обзоры заносят редакторы. Поиск в них ведется среди этих описаний.