Журнал «Компьютерра» №38 - Журнал Компьютерра - Страница 11

Главные идеи разработки близки описанным выше для распознавания речи - нечеткое распознавание, отказ от жестких «лингвистических» шаблонов, превращение распознавателя фраз в поисковую машину по возможному контексту.

В общем, поддерживать связный диалог с роботом уже вполне возможно - в узких предметных областях. Когда к таким речевым агентам присоединится настоящее распознавание звуковой речи, в общении человека и компьютера произойдет революция. И те, кто ее возглавит, станут богаче если не Гейтса, то уж Брина с Пейджем точно.

После того как лопнул пузырь доткомов, казалось, что интернет-бизнес больше никогда не наберет такого же хода. Тем не менее в 2003-04 годах начался новый бурный рост, но уже не на дрожжах обещаний и надежд, а на солидном основании больших заработков на рекламе. И потребности пользователей, и инновации в Интернете теперь - настоящие.

Новые короли Интернета - поисковики. Зарабатывая большие деньги на контекстной рекламе, они стали единственным входом во всемирную сеть для полумиллиарда пользователей. Однако, на мой взгляд, сами поисковые машины сейчас находятся в удручающе застывшем состоянии: релевантность поиска не растет или даже падает, пользовательский интерфейс остается на уровне 1999 года - бесконечная лента результатов поиска, где в одну кучу свалены форумы, сайты, товарные предложения, новости и, конечно, поисковый спам: бесконечные входные страницы, липовые сайты, фальшивые каталоги, платные бессмысленные ссылки… Развитие поисковиков идет экстенсивно - по пути превращения в порталы с мультисервисной моделью, новостями, товарами, богатым контентом, почтой, электронными деньгами.

Пользователям, как мне кажется, очень нужна новая парадигма поисковой машины.

Наиболее перспективные идеи в это области таковы:

Структурирование результатов поиска. Чтобы облегчить выбор среди найденного, результаты нужно разбивать по темам и типам документов. Для этого необходимо вводить распознавание тематик и структуры данных при индексации веб-страниц. Хороший пример такого структурированного поиска - портал A9.com, созданный при участии Amazon.

Специализированные поисковики. В очень многих областях интересов вместо общего поисковика лучше использовать специализированный поиск по разным сущностям (тем или иным предметным областям, товарам, блогам, сообществам, новостям). Результаты должны объединяться и структурироваться.

Коллективный поиск. Для структуризации и организации результатов поиска можно привлекать на помощь сообщества пользователей. Такие проекты уже существуют и получают инвестиции.

Мобильный поиск. Не будем забывать о приходе в Интернет мобильных пользователей, которых в разы больше, чем нынешних интернетчиков, - им рано или поздно потребуется голосовое общение с поисковой машиной (а значит, диалог с нею на естественном языке).

Те, кто первыми предложат новые виды поиска и интерфейсы поисковых машин, станут новыми Деллами и Бринами. Впрочем, сейчас в отрасли интернет-поиска начинается великая битва слона с китом - Google с Microsoft[См. по этому поводу обсуждение в «КТ» # 606. - Л.Л.-М.]. Но не думаю, что через пять-семь лет победителями будут сегодняшние поисковики - скорее, ими станут новички (как не известен был Google семь лет назад). Сейчас в США и Европе в год появляются несколько десятков громких стартапов, в той или иной форме реализующих вышеперечисленные идеи поиска.

Недавно начал бурно развиваться еще один новый вид проектов в Интернете - сервисы, создаваемые «поверх» поисковых порталов (и их сервисов), крупных магазинов, блогов за счет объединения различных типов данных. Несколько примеров: поиск людей (коллег, одноклассников) с одновременным показом их местонахождения на картах Google; разбор криминальных сводок с сайта полиции города с отметкой происшествий на тех же картах Google, что позволяет понять, насколько криминализован твой район; соединение данных об автомобильных пробках от Yahoo! с картами Google; поиск по Amazon и объединение на той же странице данных других магазинов для сравнения цен, и т. д.

Пока этот вид бизнеса довольно рискованный, ибо зависит от доброй воли всех владельцев данных. Скажем, Google категорически против метапоисковых сервисов, использующих его результаты поиска (он даже блокирует их, если создается большой трафик), но не очень возражает против использования своих карт. Есть уже случаи блокирования со стороны Yahoo! и Google доступа с таких гибридных сайтов, замешивающих их данные. Но надо учесть, что обычно с грандами Интернета трудно договориться заранее. А вот постфактум - можно. Если ты сделал гибридный сайт, никого не спрашивая, и доказал, что можешь привлечь большую аудиторию, а главное - можешь показать, где в твоей схеме деньги для Google или MSN, то договариваться гораздо проще. Стало быть, риск есть, но выигрыш может быть громадным и быстрым - гибридные сайты зачастую привлекают миллионы посетителей моментально и без всякой раскрутки.

Машинный перевод - больная тема вот уже полвека. Несмотря на значительные вложения и затрату чудовищного количества человеко-лет в США, Европе и России, прорыва нет. Состояние отрасли всякий может увидеть на примере работы российского «ПРОМТа». В последние годы «ПРОМТ», несомненно, лучшая в мире система перевода. Но то, что эта лучшая в мире система дает на выходе, часто напоминает не очень хороший подстрочник. Сейчас компьютерные переводчики можно использовать только для выбора текста на нужную тему, для быстрого ознакомления с документацией на товар или изделие, для пролистывания сайта конкурента в Китае или Японии (ценно хотя бы то, что вместо кракозябров на экране появляется привычная латиница или кириллица). Я считаю, что традиционные «словарные» системы автоматического перевода уже восемь-десять лет находятся в идейном тупике, и из технологии перевода, основанного на словарях, выжато все возможное.

Однако задача перевода вдруг обрела второе дыхание. Автоматические переводчики теперь нужны не только профессионалам-переводчикам, аналитикам спецслужб и библиотекарям, и это дает надежду на прорыв. Появилась новая аудитория - пользователи Интернета и мобильных устройств, которым требуется языковая прозрачность информационного пространства. Тут же возник и новый подход к решению задачи автоматического перевода - использующий, при помощи поисковых машин, «человеческие» образцы перевода. Это развитие довольно давней идеи статистического перевода, применяемой к гигантским индексам поисковиков - хранилищам текстов с удобным поиском и сравнением образцов.

Идея поискового перевода внешне проста: поисковик, индексирующий гигантский объем данных, всегда может вычленить из него параллельные тексты (или хотя бы фразы) - образцы перевода, сделанные людьми (даже если в Сети эти образцы лежат далеко друг от друга и внешне не связаны). Сделать это можно по «похожести» - так же как поисковик определяет дубли веб-страниц на одном языке.

Ну а сделать из образцов параллельных текстов гибкие шаблоны перевода - задача лингвистически сложная, но вполне решаемая. Вот и Google уже создает свой переводчик и даже получает за него призы[Об этой и других новых идеях в области машинного перевода см. «КТ» #608- Л. Л.-М]. Я уверен, что вскоре этим займутся и другие поисковики, например MSN. Впрочем, не факт, что преуспеют здесь именно поисковики. Скорее, их ресурсы будут текстовой базой для систем перевода, созданных разработчиками, имеющими опыт в прикладной лингвистике.