На краю пропасти. Экзистенциальный риск и будущее человечества - Орд Тоби - Страница 68

Я не знаю, кто прав, но стоит изучить этот случай подробнее. В Архив национальной безопасности уже подали запрос по закону о свободном доступе к информации, но ответ на него может занять много лет. На мой взгляд, это предполагаемое происшествие стоит воспринимать всерьез, но, пока не появится подтверждения, не следует включать его в размышления об опасных ситуациях.

Приложение D

Неожиданные эффекты сочетания рисков

Мы увидели целый ряд неочевидных эффектов, которые возникают, когда мы объединяем отдельные экзистенциальные риски, чтобы оценить общий экзистенциальный риск. Эти эффекты становятся тем сильнее и тем причудливее, чем выше общий риск. Поскольку общий риск – это совокупный экзистенциальный риск для всего нашего будущего, он вполне может быть достаточно высок для возникновения значимых эффектов.

Во-первых, общий риск все меньше представляет собой простую сумму рисков. Не вдаваясь в арифметические тонкости, допустим, что мы сталкиваемся с четырьмя 50 %-ными рисками. Поскольку общий риск не может превышать 100 %, логика подсказывает, что риски должны в значительной мере накладываться друг на друга и при сочетании давать меньший процент, чем их сумма. Например, если бы они были независимыми, общий риск составил бы не 200 %, а 93,75 % (= 15/16).

Во-вторых, при устранении все большего числа рисков может существенно возрастать предельная отдача. Например, если мы устраним один из четырех независимых 50 %-ных рисков, общий риск снизится всего до 87,5 %. Но при устранении каждого следующего риска общий риск будет снижаться все быстрее: до 75 %, затем до 50 %, затем до 0 % – абсолютный эффект с каждым разом будет все сильнее. Можно смотреть на это и иначе: при устранении каждого из рисков наши шансы на выживание удваиваются, и абсолютный эффект от этого становится тем сильнее, тем выше наши шансы на выживание. Аналогичным образом, если работать над всеми четырьмя рисками параллельно и снизить каждый риск наполовину (с 50 до 25 %), общий риск снизится всего с 93,75 примерно до 68 %. Но если снизить их наполовину еще раз, в абсолютном выражении общий риск снизится сильнее, примерно до 41 %. Эти примеры показывают, что риски так сильно накладываются друг на друга, что катастрофа приобретает предопределенный характер, причем общий риск остается высоким, когда мы пытаемся его предотвратить. Но наша работа также помогает сократить наложение, благодаря чему дальнейшие действия становятся более полезными.

В-третьих, может оказаться, что работать надо в первую очередь с крупнейшими рисками. Мы увидели, что в случае, когда мы сталкиваемся с независимыми 10 %-ным и 20 %-ным рисками, устранение 10 %-ного риска снижает общий риск на 8 %, а устранение 20 %-ного риска – на 18 % (см. с. 208–209). Следовательно, снижение большего риска важнее не в 2 раза, а в 2,25 раза.

Для точного расчета относительной важности независимых рисков наивное соотношение вероятностей необходимо умножить на дополнительный фактор: отношение вероятности того, что первая катастрофа не произойдет, к вероятности того, что не произойдет вторая катастрофа[660]. Когда риски невелики, вероятность того, что каждая из катастроф не произойдет, близки к единице, поэтому и отношение тоже должно быть близким к единице, что почти не меняет дело. Но когда риск высок, отношение тоже вырастает, и это принципиальная разница[661].

Допустим, мы сталкивались бы с 10 %-ным риском и 90 %-ным риском. В таком случае наивное отношение составляло бы 9:1 и корректировка – тоже 9:1, поэтому устранение 90 %-ного риска было бы в 81 раз важнее, чем устранение 10 %-ного риска (см. Рис. Г.1). Пожалуй, легче всего понять это, если учесть, что 90 %-ный риск в 9 раз вероятнее, а мир, где он устранен, имеет в 9 раз больше шансов устоять перед остальными рисками.

Такую корректировку можно также проводить в других похожих случаях. Снижение 90 %-ного риска наполовину в 81 раз важнее снижения наполовину 10 %-ного риска, и это же справедливо при их снижении в любое другое количество раз. Даже снижение риска на фиксированную абсолютную величину, например на один процентный пункт, важнее для более крупного риска. Снижение 90 %-ного риска до 89 % в 9 раз важнее, чем снижение 10 %-ного риска до 9 %[662].

Рисунок d.1. Независимые 10 %-ный и 90 %-ный риски дают общий риск в 91 %. Устранение 10 %-ного риска снизит общий риск (вся залитая область на рисунке) всего на один процентный пункт до 90 %, в то время как устранение 90 %-ного риска снизит его на 81 процентный пункт до 10 %.

Все три описанных эффекта наблюдаются вне зависимости от того, наступают риски в одно или в разное время[663]. Следовательно, если в нашем будущем много риска, устранение рисков может становиться все более важным с каждым последующим столетием. Многие силы в общем случае приводят к убыванию отдачи от работы (например, тот факт, что мы можем начать с рисков, работать с которыми проще). Но если нам не повезет и риска будет много, то общая предельная отдача от борьбы с экзистенциальным риском, возможно, будет возрастать. И, вероятно, особенно важно будет работать с крупнейшими рисками.

Приложение Е

Ценность защиты человечества

Насколько ценно защищать человечество? Хотя дать точный ответ на этот вопрос не получится, один подход к нему представляется мне весьма полезным.

Начнем с намеренно примитивной модели экзистенциального риска. В этой модели делаются три допущения: о распределении риска во времени, о способах снизить этот риск и о ценности будущего. Для начала допустим, что уровень экзистенциального риска не меняется от века к веку, но остается неизвестным, и обозначим его r (постоянный уровень риска). Следовательно, когда мы вступаем в новый век, сохраняется вероятность r, что до следующего века мы не доживем. Далее допустим, что своими действиями мы можем снизить вероятность экзистенциальной катастрофы в текущем веке с r до некоторого меньшего числа. И наконец допустим, что каждый век до катастрофы обладает одинаковой ценностью v, то есть ценность будущего пропорциональна его продолжительности до катастрофы. (Это значит, что ценность будущего не дисконтируется, не считая вероятности того, сколько мы проживем до катастрофы, и не учитывая, что мы делаем предположения о популяционной этике[664].) При таких допущениях ожидаемая ценность (ОЦ) будущего рассчитывается по формуле:

Это просто ценность одного века, деленная на вековой риск. Так, если вековой риск составляет 1 к 10, то ожидаемая ценность будет в десять раз больше ценности одного века.

Отсюда вытекает неожиданное следствие: что ценность устранения всего экзистенциального риска в текущем веке не зависит от того, насколько высок этот риск. Чтобы увидеть это, представьте, что вековой экзистенциальный риск составляет всего одну часть на миллион. Хотя вероятность того, что мы станем жертвами риска нашего века, ничтожна, будущее, которое мы потеряем, если это все-таки случится, сообразно огромно (в среднем миллион веков). В примитивной модели эти эффекты всегда уравновешивают друг друга. Ожидаемая ценность экзистенциального нериска в текущем веке рассчитывается по формуле:

Следовательно, ожидаемая ценность устранения всего риска в столетии просто равна ценности столетия жизни для человечества[665].