Последнее изобретение человечества - Баррат Джеймс - Страница 48

Звучит безумно? Журнал New Scientist предположил, что система LIDA Университета Мемфиса, аналогичная OpenCog (мы уже говорили о ней в главе 11), демонстрирует признаки рудиментарного сознания. В самом общем плане принцип, известный как Теория глобального рабочего пространства, на котором построена LIDA, утверждает, что у человека ощущения, поступающие от органов чувств, просачиваются в подсознание и остаются там до тех пор, пока не станут достаточно важными, чтобы сообщить о них всему мозгу. Это и есть сознание, и его можно измерить при помощи простых заданий на осознанность, таких как нажатие кнопки при вспыхивании зеленой лампочки. Хотя кнопка у LIDA была «виртуальной», результаты тестов оказались вполне сравнимы с человеческими.

С подобными технологиями подход Гертцеля «поживем — увидим» представляется мне рискованным. Он намекает на создание того, что я уже описывал, — сильного машинного интеллекта, аналогичного, но не эквивалентного человеческому и куда менее понятного. Такой подход грозит серьезными и неприятными сюрпризами — как если бы УЧИ мог однажды просто появиться перед нами, застав нас недостаточно готовыми к «нормальным» авариям и, разумеется, без надежной защиты в лице формального дружественного ИИ. Как говорится: «Если достаточно долго идти по лесу, встретишь голодного медведя».

Елиезер Юдковски испытывает такие же опасения. И так же, как Гертцель, не считает, что сложность программного обеспечения может оказаться непреодолимым препятствием.

«УЧИ — проблема, решение которой заключено в мозгу, — сказал он мне. — Человеческий мозг способен сделать это — это не может быть настолько сложно. Естественный отбор глуп. Если естественный отбор смог решить проблему УЧИ, значит, она не может быть такой уж сложной в абсолютном смысле. Эволюция с легкостью выдала на-гора УЧИ, она просто случайно перебирала все подряд и сохраняла удачные варианты. Она проделала пошаговый путь без всякого представления о том, что ждет впереди».

Оптимизм Юдковски в отношении создания УЧИ отталкивается от мысли, что интеллект человеческого уровня был однажды создан природой в виде человека. Около 5 млн лет назад на земле жил общий предок человека и шимпанзе. Сегодня человеческий мозг вчетверо крупнее мозга шимпанзе. Получается, что примерно за 5 млн лет «глупый» естественный отбор вчетверо увеличил размер мозга и создал существо, которое намного умнее всех остальных.

«Умный» человек видит цель и стремится к ней. По идее, создать интеллект человеческого уровня он должен намного быстрее, чем это сделал естественный отбор.

Но опять же, предостерегает Юдковски, возникнет гигантская, буквально галактическая проблема, если кто-то создаст УЧИ прежде, чем он или кто-то другой придумает дружественный ИИ или способ надежно контролировать УЧИ. Если УЧИ возникнет в результате пошагового конструирования после удачного сочетания направленных усилий и случайностей, как предполагает Гертцель, то разве нам не следует ожидать интеллектуального взрыва? Если УЧИ сознает себя и способен к самосовершенствованию, как мы его определили, разве он не будет стремиться к удовлетворению базовых потребностей, которые могут оказаться несовместимыми с нашим существованием (мы говорили об этом в главах 5 и 6)? Иными словами, разве не следует ожидать, что вышедший из-под контроля УЧИ может убить нас всех?

«УЧИ — это тикающий часовой механизм, — сказал Юдковски. — Это крайний срок, к которому мы непременно должны построить дружественный ИИ, что труднее. Нам необходим дружественный ИИ. За возможным исключением нанотехно- логий, бесконтрольно выпущенных в мир, в целом каталоге катастроф не найдется ничего, что могло бы сравниться с УЧИ».

Разумеется, между теоретиками ИИ, такими как Юдковски, и его производителями, такими как Гертцель, возникают противоречия. Если Юдковски утверждает, что создание УЧИ — катастрофическая ошибка, если этот УЧИ не будет доказанно дружественным, то Гертцель хочет получить УЧИ как можно скорее, прежде чем автоматизированная инфраструктура облегчит ИСИ захват власти. Гертцелю приходили по электронной почте письма, хотя и не от Юдковски или его коллег, в которых его предупреждали, что если он будет продолжать развитие небезопасного УЧИ, то «будет виновен в холокосте».

Но вот парадокс. Если Гертцель откажется от работы над УЧИ и посвятит свою жизнь пропаганде отказа от подобных намерений, это никак и ни на что не повлияет. Другие компании, правительства и университеты будут и дальше гнуть свою линию. По этой самой причине Виндж, Курцвейл, Омохундро и другие считают, что отказ от разработки УЧИ невозможен. Более того, на свете много отчаянных и опасных стран — возьмите хотя бы Северную Корею и Иран, — а организованная преступность России и финансируемые государством преступники Китая запускают в Сеть все новые и новые вирусы и производят кибер- атаки, так что отказ от разработки УЧИ означал бы попросту сдачу будущего безумцам и гангстерам.

Оборонительной стратегией, которая помогла бы обеспечить выживание человечества, может оказаться деятельность, которую уже начал Омохундро: разработка научных основ понимания и управления системами, обладающими самосознанием и способностью к самосовершенствованию, то есть УЧИ и ИСИ. А учитывая сложности создания противоядия, такого как дружественный ИИ, прежде создания УЧИ, развитие этой науки должно идти параллельно работам над УЧИ. Тогда к появлению УЧИ система контроля над ним будет готова. К несчастью для всех нас, разработчики УЧИ получили огромную фору; к тому же, как говорит Виндж, ветер глобальной экономики надувает их паруса.

Если проблема с программным обеспечением окажется неразрешимо сложной, то в колчане разработчика УЧИ останется еще по крайней мере пара стрел. Во-первых, не исключено, что проблему можно будет решить при помощи более быстрых компьютеров, а во-вторых, структуру мозга можно воспроизвести методом обратного проектирования.

Превращение системы ИИ в УЧИ методом грубой силы означает повышение функциональности аппаратной части ИИ, в первую очередь ее скорости. Интеллект и творческие возможности повышаются, если работают во много раз быстрее. Чтобы понять, как это происходит, представьте себе человека, способного сжать тысячу минут размышлений в одну минуту. В некоторых очень важных вопросах он оказывается во много раз умнее человека с тем же IQ, но думающего с обычной скоростью. Но обязательно ли интеллект должен начинаться на человеческом уровне, чтобы скорость имела значение? К примеру, если ускорить работу собачьего мозга в тысячу раз, что получится: шимпанзеподобное поведение или просто очень умная собака? Нам известно, что при четырехкратном увеличении размеров мозга, от шимпанзе до человека, человек получил по крайней мере одну суперспособность — речь. Более крупный мозг развивался постепенно, намного медленнее, чем та скорость, с которой обычно возрастает скорость процессоров.

В целом неясно, может ли скорость процессора компенсировать отсутствие разумных программ и проложить путь к УЧИ и далее, к интеллектуальному взрыву. Но согласитесь, это не кажется невозможным.

А теперь обратимся к так называемому «обратному проектированию» мозга и выясним, почему этот метод может оказаться безотказным средством решения проблемы сложности программного обеспечения. Мы уже рассмотрели кратко противоположный подход — создание когнитивной архитектуры, которая стремится в общих чертах моделировать мозг в таких областях, как восприятие и навигация. Создатели этих когнитивных систем опираются на то, как работает мозг или, скорее, — и это важно — на то, как исследователь представляет себе работу мозга. Такие системы часто называют de novo, или «с начала», поскольку их авторы не отталкиваются от реального мозга, а начинают «с нуля».

Проблема в том, что системы, вдохновленные когнитивными моделями, в конечном итоге могут недотянуть до человеческих возможностей. Да, конечно, есть перспективные результаты в работе с естественным языком, зрением, системами «вопрос-ответ» и роботами, но при этом почти любой аспект методологии и принципов, которые должны продвинуть исследователей в направлении УЧИ, вызывает горячие споры. Сколько исследователей, столько и мнений. Новые узкие области исследований и смелые универсальные теории вырастают как грибы на почве любого успеха, как индивидуального, так и коллективного. Проходит немного времени, и они исчезают без следа. Как сказал Гертцель, не существует общепринятой теории разума и общепринятых представлений о том, как можно воспроизвести разум вычислительными методами. К тому же существуют такие функции человеческого сознания, для моделирования которых нынешние программные методики, судя по всему, годятся плохо; среди них общее обучение, объяснение, осмысление и контролирующее внимание.