!podcast-player

В 1939 году Эйнштейн пишет Рузвельту:¹

> Есть причины считать, что в большой массе урана возможен запуск цепной ядерной реакции... и можно предположить, хоть и с меньшей степенью уверенности, что это позволит создавать чрезвычайно мощные бомбы нового типа.

Всего через несколько лет эти бомбы были созданы. Спустя десять с небольшим лет их число достигло такого уровня, что впервые в истории маленькая группа людей, принимающих решения, могла полностью уничтожить цивилизацию.

Человечество вступило в новую эру. Теперь, помимо природных экзистенциальных рисков,² мы встретились с риском самоуничтожения.

Учитывая этот новый контекст, что должно быть главным приоритетом нашей цивилизации? Совершенствование технологий? Помощь малоимущим слоям населения? Изменение политической системы?

Вот вариант, о котором говорят не так часто: нашим главным приоритетом должно быть выживание.

Пока цивилизация продолжает существовать, у нас есть шанс решить все остальные проблемы и прийти к гораздо лучшему будущему. Но если мы вымрем, то это будет конец.

Почему об этом мало говорят? Вот одна из причин: многие люди ещё не почувствовали, что мир значительно изменился, и поэтому не считают, что наше будущее находится под угрозой.

Исследователь в области социальных наук Спенсер Гринберг провел опрос среди американцев, чтобы узнать, как они оценивают шансы вымирания человечества в течение 50 лет. Результаты показали, что многие считают шансы крайне низкими: более 30% полагают, что они меньше, чем 1 на 10 миллионов.³

Сначала мы тоже считали, что подобные риски крайне малы, но, изучив этот вопрос, мы стали думать иначе. Далее мы увидим, что исследователи, изучающие эти вопросы, считают, что реальный риск вымирания в 1000+ раз выше оценки из опроса и скорее всего лишь продолжает расти.

Эти опасения положили начало новому движению по защите цивилизации, к которому присоединились Стивен Хокинг, Макс Тегмарк и новые институты, основанные исследователями из Кембриджа, Массачусетского технологического института, Оксфорда и других мест.

В остальной части этой статьи мы расскажем о самых больших рисках для цивилизации, в том числе о потенциально более серьёзных рисках, чем ядерная война или изменение климата. Затем мы приведём доводы в пользу того, что снижение этих рисков может быть самым важным делом вашей жизни, и объясним, что конкретно вы можете для этого сделать. Если вы захотите использовать свою карьеру для работы над этими проблемами, мы также можем предоставить вам индивидуальную поддержку.

Время чтения: 25 минут

Какова вероятность того, что вас убьет астероид? Обзор экзистенциальных угроз естественного происхождения

Шанс вымирания размером в 1 на 10 миллионов в ближайшие 50 лет — оценка, которую дают многие люди — не соответствует реальности. Природные экзистенциальные угрозы можно довольно точно оценить по историческим данным, и их шансы гораздо выше.

Столкновение Земли с километровым астероидом может привести к уничтожению цивилизации. На основе исторических данных и наблюдений за небесными телами, астрономы оценивают риск столкновения такого астероида с Землёй как 1 из 5000 в столетие.⁴ Это выше, чем шансы большинства людей попасть в авиакатастрофу (где-то 1 на 5 миллионов за рейс), и уже примерно в 1000 раз выше, чем шанс в 1 на 10 миллионов, который дали некоторые люди в качестве своей оценки.⁵

Некоторые утверждают, что хотя столкновение с километровым объектом было бы катастрофой, такого размера недостаточно, чтобы привести к вымиранию человечества, поэтому указанная оценка риска скорее всего завышена. Но с другой стороны, существуют и другие природные риски, такие как супервулканы.⁶

Тем не менее, естественные риски всё ещё довольно малы в абсолютных числах. В статье Тоби Орда, которая выйдет в ближайшее время, подсчитано, что если сложить все естественные риски вместе, то полученные шансы вымирания человечества вряд ли превысят 1/300 за столетие.⁷

К сожалению, как мы сейчас покажем, естественные риски ничтожны по сравнению с антропогенными. Именно поэтому риск вымирания стал особенно острой проблемой.

История прогресса, вплоть до начала самой опасной эпохи в истории человечества

Если посмотреть на историю человечества в масштабе тысячелетий, то суть будет примерно такой: долгое время почти все были бедными, а затем, в 18-м веке, всё изменилось.⁸

Это было вызвано промышленной революцией — быть может, самым важным событием в истории.

Росло не только богатство. Следующий график показывает, что в масштабе истории продолжительность жизни, энергопотребление и демократия быстро выросли, в то время как процент живущих в бедности резко сократился.⁹

Уровни грамотности и образования также значительно выросли:

Насколько мы знаем, с повышением уровня богатства люди также становятся счастливее.

В книге "Лучшее в нас" Стивен Пинкер утверждает, что уровень насилия снижается.^{10 11}

Личных свобод стало больше, в то время как расизма, сексизма и гомофобии стало меньше.

Многие люди считают, что мир становится хуже,¹² и в этом есть своя правда — в современной цивилизации существуют ужасные вещи вроде промышленного животноводства. Но, как видно из приведённых данных, многие важные показатели прогресса значительно улучшились.

Так или иначе, что бы вы ни думали про прошлое, если смотреть в будущее, то улучшение технологий, политической организации, а также повышение свободы общества сможет дать нашим потомкам возможность решить наши текущие проблемы и жить намного лучше.¹³ Можно будет покончить с бедностью, предотвратить изменение климата, облегчить многие страдания — и этот список лишь продолжается.

Но обратите также внимание на фиолетовую линию на втором графике: военный потенциал. Эти данные были взяты из оценок глобальной военной мощи историка Иэна Морриса. Как видите, эта линия тоже резко стремится вверх.

Проблема заключается в следующем: развитие технологий может таить в себе как огромные выгоды, так и огромные риски.

Когда мы открываем новые технологии, в большинстве случаев они приносят огромную пользу. Но есть также шанс, что какая-нибудь новая технология будет обладать настолько высоким разрушительным потенциалом, что мы не сможем обеспечить достаточно безопасные условия для её использования.

И поэтому, хотя нынешнее поколение живет в самый благополучный период в истории человечества, он, возможно, также является самым опасным.

Первой разрушительной технологией такого рода стало ядерное оружие.

История ядерного оружия: череда крайне опасных ситуаций

Сегодня мы все думаем о ядерной программе Северной Кореи, но нынешние события — лишь одна глава в длинной истории крайне опасных ситуаций.

Только во время Кубинского ракетного кризиса мы несколько раз были близки к ядерной войне.¹⁴ В одном из случаев американцы решили, что если один из их самолетов-шпионов будет сбит, то они немедленно начнут вторжение на Кубу без дополнительного заседания Военного совета. На следующий день самолет-шпион был сбит. Кеннеди всё равно созвал совет и принял решение не вводить войска.

Вторжение на Кубу вполне могло привести к ядерной войне: позже выяснилось, что Кастро выступал за ядерный ответ, даже если "это привело бы к полному уничтожению Кубы". Некоторые из командиров пусковых установок на Кубе также имели независимые полномочия наносить удары по американским силам тактическим ядерным оружием в случае вторжения.

В другом инциденте российская атомная подводная лодка пыталась тайком провезти материалы на Кубу, когда её обнаружил американский флот. Флот начал сбрасывать фиктивные глубинные бомбы, чтобы заставить подводную лодку всплыть. Русский капитан подумал, что это настоящие глубинные бомбы и что, пока не было радиосвязи, началась третья мировая война. Он приказал нанести ядерный удар по американскому флоту одной из ядерных торпед.

К счастью, для такого приказа было необходимо согласие от других старших офицеров. Один их них, Василий Архипов, был против и таким образом предотвратил войну.

Сопоставив все эти события вместе, Кеннеди позже говорил, что вероятность ядерной войны была "между 33-мя и 50-ю процентами".¹⁵

Подобных опасных столкновений с Россией было немало, даже после холодной войны: на Википедии есть релевантный список. И это лишь те, о которых нам известно.

Сегодня эксперты по ядерным вопросам обеспокоены напряжённостью между Индией и Пакистаном (обе страны обладают ядерным оружием) не меньше, чем Северной Кореей.¹⁶

Главная проблема заключается в том, что несколько стран располагают крупными ядерными арсеналами и могут применить их в считанные минуты. Это означает, что ложная тревога или иная ошибка может быстро перерасти в полномасштабную ядерную войну, особенно в период напряженных международных отношений.

Приведёт ли ядерная война к гибели цивилизации? Первоначально считалось, что ядерный взрыв может быть настолько горячим, что воспламенит атмосферу и сделает Землю непригодной для жизни. Но учёные посчитали, что вероятность такого исхода достаточно мала. Это позволило нам провести "безопасные" испытания ядерного оружия, и теперь мы знаем, что такого не случится.

В 1980-х годах люди опасались, что пепел от горящих зданий погрузит Землю в очень долгую зиму, которая сделает невозможным выращивание сельскохозяйственных культур в течение десятилетий.¹⁷ Современные климатические модели предполагают, что сильная ядерная зима, в результате которой все умрут, очень маловероятна (хотя из-за неопределённости моделей мы не можем полностью доверять этим оценкам.¹⁸ )

Однако даже "умеренная" ядерная зима всё равно может привести к массовому голоду.¹⁹ По этой и другим причинам ядерная война была бы чрезвычайно дестабилизирующей для мира, и неизвестно, сможет ли цивилизация восстановиться после неё.

Какова вероятность того, что ядерная война навсегда уничтожит цивилизацию? Это очень трудно оценить, но, скорее всего, вероятность такого события в ближайшие сто лет как минимум превышает 0,3%. Если это так, то риски от ядерного оружия будут выше, чем все природные риски, вместе взятые. (Подробнее о ядерных рисках.)

Вот почему 1950-е годы стали началом новой эры для человечества. Впервые в истории у маленькой группы людей, принимающих решения, появилась возможность разрушить весь мир. Теперь самой большой угрозой для собственного выживания являемся мы сами, и это делает наше время самым опасным в истории человечества.

И ядерное оружие — не единственный способ, при помощи которого мы можем уничтожить цивилизацию.

Насколько велики риски, связанные с изменением климата?

В 2015 году президент Обама заявил в своем обращении к Конгрессу, что "ни одна проблема не представляет столь большой угрозы для будущих поколений, как изменение климата".

Безусловно, изменение климата представляет собой серьёзный риск для цивилизации.

Наиболее вероятный результат — 2-4 градуса потепления.²⁰ Это плохо, но такие изменения не ставят под угрозу выживание нашего вида.

Однако некоторые оценки дают 10% вероятность потепления свыше 6 градусов и примерно 1% шанс потепления на 9 градусов.

Таким образом, получается, что вероятность масштабной климатической катастрофы в результате выбросов CO2 примерно равна вероятности ядерной войны.

Но, как мы утверждаем в нашем обзоре проблемы изменения климата, даже потепление на 13 градусов вряд ли само по себе приведёт к вымиранию человечества. Поэтому исследователи, изучающие эти вопросы, считают, что ядерная война с большей вероятностью может привести к вымиранию напрямую (из-за возможности ядерной зимы), и поэтому мы считаем, что ядерное оружие представляет собой ещё более серьёзный риск, чем изменение климата.

Тем не менее, изменение климата является серьёзной проблемой, и его дестабилизирующие последствия могут усугубить другие риски, в том числе риск ядерного конфликта, что лишь повышает наши оценки рисков данной проблемы.

Какие новые технологии могут быть столь же опасными, как ядерное оружие?

Изобретение ядерного оружия привело к возникновению антиядерного движения всего десятилетие спустя, а вскоре после этого движение защитников окружающей среды взялось за борьбу с изменением климата.

Менее очевидный вывод заключается в том, что новые технологии будут создавать новые катастрофические риски. Поэтому нам необходимо движение, которое занимается защитой цивилизации в целом.

Предсказывать будущее технологий сложно, но поскольку цивилизация у нас всего одна, нам нужно делать всё, что в наших силах. Вот несколько кандидатов на роль следующей технологии, потенциально столь же опасной, как ядерное оружие.

В 1918-1919 годах от испанского гриппа умерло более 3% населения Земли.²¹ Если бы такая пандемия вспыхнула сегодня, то её было бы ещё труднее сдерживать из-за скоростного глобального транспорта.

Однако больше тревоги вызывает то, что скоро может появиться возможность генетически сконструировать вирус, который будет таким же заразным, как испанский грипп, но при этом более смертоносным, и который сможет годами распространяться незамеченным.

Это было бы оружие с разрушительной мощью ядерного, но чьё применение гораздо труднее предотвратить. Ядерное оружие требует огромных заводов и редких материалов для производства, что делает его относительно легким для контроля. Искусственные вирусы же можно потенциально создать в лаборатории с парой докторов биологических наук. Более того, в 2006 году The Guardian смогли заказать по почте сегменты вымершего вируса оспы.²² Некоторые террористические группировки уже заявляли о своём интересе к подобному оружию неизбирательного действия. (Подробнее о рисках пандемий.)

Ещё одна новая технология с огромной потенциальной мощью — искусственный интеллект.

Причина, по которой на планете стали главными люди, а не шимпанзе, кроется исключительно в интеллекте. Размеры и мощь наших мозгов обеспечили нам поразительный контроль над миром, хотя физически мы намного слабее шимпанзе.

Что же произойдёт, если однажды мы создадим нечто гораздо более разумное, чем мы сами?

В 2017 году 350 исследователей, публиковавших свои рецензируемые статьи на тему ИИ на ведущих конференциях, были опрошены о том, когда, по их мнению, будет разработан компьютер с интеллектом человеческого уровня: то есть машина, способная выполнять все рабочие задачи лучше, чем человек.

Медианной оценкой была 50% вероятность того, что мы разработаем высокоуровневый машинный интеллект (ВМИ) в течение 45 лет, и 75% — что это произойдёт к концу века.²³

Такие вероятности сложно оценивать, и исследователи давали очень разные ответы в зависимости от конкретных формулировок вопроса.²⁴ Тем не менее, есть причины полагать, что существует как минимум существенная вероятность создания трансформационного машинного интеллекта в ближайшие сто лет. Более того, из высокой степени неопределённости следует, что это может случиться раньше, чем мы полагаем.

Какие риски может представлять такая технология? Первопроходцы в области вычислительной техники, такие как Алан Тьюринг и Марвин Мински, высказывали опасения по поводу рисков, связанных с мощными компьютерными системами,²⁵ и эти риски до сих пор актуальны. Мы говорим не о "злых" компьютерах, а скорее о том, что мощная ИИ-система может быть использована какой-то группой людей для установления контроля над миром или как-то иначе задействована в плохих целях. Если бы СССР разработал ядерное оружие на 10 лет раньше, чем США, то СССР мог бы стать доминирующей мировой державой. Мощные компьютерные технологии могут представлять аналогичные риски.

Другая проблема заключается в том, что запуск такой системы может привести к непредвиденным последствиям, поскольку сложно предсказать действия чего-то более умного, чем мы сами. Достаточно мощной системой также может быть сложно управлять, и поэтому её запуск может оказаться труднообратимым. Подобные сценарии были описаны оксфордским профессором Ником Бостромом в книге "Искусственный интеллект" и пионером ИИ Стюартом Расселом.

Большинство экспертов считают, что развитие ИИ приведёт к чрезвычайно положительным результатам, но при этом также не забывают о рисках. В вышеупомянутом опросе эксперты в области ИИ оценили, что разработка высокоуровневого машинного интеллекта с 10% шансом может привести к "плохому исходу" и с 5% шансом к "чрезвычайно плохому исходу", такому как вымирание человечества.²⁶ Причём нам, вероятно, следует ожидать излишней оптимистичности от этой группы людей, поскольку они зарабатывают на жизнь благодаря этой технологии.

Сопоставив все полученные оценки, мы получим, что при 75% шансе создания высокоуровневого машинного интеллекта в течение следующих ста лет, вероятность крупной катастрофы, связанной с ИИ, составляет 5% от этих 75%, то есть в итоге около 4%. (Подробнее о рисках, связанных с искусственным интеллектом.)

Люди выражали беспокойство и по поводу других новых технологий, таких как некоторые формы геоинженерии и атомного производства, но поскольку они вряд ли будут разработаны в ближайшее время, их в целом считают менее опасными по сравнению с технологиями, о которых мы говорили. Более длинный список экзистенциальных рисков можно посмотреть здесь.

Что вызывает больше беспокойств, так это риски, о которых мы ещё даже не знаем. Если бы вы спросили людей в 1900-м году, что представляет наибольшую угрозу для цивилизации, они вряд ли бы упомянули атомное оружие, генную инженерию или искусственный интеллект, потому что ничто из этого ещё не было изобретено. Вполне возможно, что мы находимся в аналогичной ситуации, если говорить о следующем веке. Грядущие "неизвестные неизвестные" могут представлять больше опасности, чем уже известные нам риски.

Каждый раз, когда мы открываем новую технологию, это немного похоже на ставку против одного числа в рулетке. В большинстве случаев мы выигрываем, и технология в целом имеет хорошие последствия. Но каждый раз есть небольшой шанс, что технология будет обладать настолько большим разрушительным потенциалом, что мы не сможем с ней совладать, и тогда мы потеряем всё.

Каков суммарный риск вымирания человечества, если учесть все эти факторы?

По оценкам многих экспертов, изучающих эти вопросы, суммарная вероятность вымирания человечества в следующем столетии составляет от 1 до 20%.

Например, согласно неофициальному опросу, проведенному в 2008 году на конференции по катастрофическим рискам, эксперты сочли вполне вероятной катастрофу, в результате которой погибнет более миллиарда человек, а также оценили вероятность вымирания человечества до 2100 года в 19%.²⁷

Эти цифры примерно в миллион раз превышают оценки большинства людей.

В нашем подкасте с Уиллом Макаскиллом мы обсуждаем, почему он оценивает риск вымирания в этом веке примерно в 1%.

В своей книге "На краю пропасти. Экзистенциальный риск и будущее человечества" Тоби Орд предполагает, что общий экзистенциальный риск в этом веке составляет 1/6, что равноценно броску игральной кости. Послушать наш подкаст с Тоби можно тут.

Какие выводы стоит делать из этих оценок? По всей видимости, исследователи работают над этими вопросами только лишь потому, что считают их очень важными, поэтому мы должны ожидать, что их оценки будут высокими (см. "систематическая ошибка отбора"). Но значит ли это, что мы можем полностью игнорировать их опасения?

С учётом всего этого, какова наша собственная оценка? Это очень сложный вопрос, но нам кажется, что нельзя с уверенностью игнорировать эти риски. В целом, мы полагаем, что общий риск, скорее всего, превышает 3%.

Почему участие в защите будущего может быть самым важным делом вашей жизни

Насколько приоритетной должна быть работа по снижению этих рисков по сравнению с другими вопросами, такими как глобальная бедность, борьба с раком или улучшение политической системы?

В рамках проекта "80 000 часов" мы проводим исследования, цель которых — помогать людям с поиском работы, которая приносит пользу обществу. Для этого мы стараемся находить наиболее актуальные проблемы в мире, над которыми необходимо работать. Мы оцениваем различные глобальные проблемы, используя нашу модель, которая сравнивает их по следующим критериям:

• Масштаб — сколько людей затрагивает эта проблема

• Недооценённость — сколько людей уже работают над ней

• Разрешимость — насколько легко продвинуться в её решении

Мы считаем, что если придерживаться этой модели, то защита будущего становится самым главным приоритетом общества. Поэтому если вы хотите принести много пользы миру при помощи своей работы, в первую очередь стоит сфокусироваться на этой области.

В следующих нескольких разделах мы рассмотрим этот вопрос с точки зрения масштаба, недооценённости и разрешимости, в значительной степени опираясь на "Existential Risk Prevention as a Global Priority" Ника Бострома и неопубликованную работу Тоби Орда, а также на наши собственные исследования.

Давайте начнём с масштаба проблемы. Мы утверждали, что вероятность вымирания в следующем столетии составляет более 3%. Насколько это серьёзно?

В первую очередь посмотрим на количество людей, которые могут погибнуть в результате такой катастрофы. Население планеты в середине этого века будет составлять примерно 10 миллиардов человек, поэтому 3% шанс полного вымирания даёт математическое ожидание примерно в 300 миллионов смертей. Судя по всему, это больше смертей, чем можно ожидать за ближайшие сто лет от "болезней бедности" вроде малярии.²⁸

Помимо гибели цивилизации, многие из рассмотренных нами рисков также могут привести к катастрофе "средней" тяжести, и это может быть намного более вероятным. Опрос, о котором мы говорили ранее, показал более 10% шанса катастрофы, из-за которой в следующем веке может погибнуть более 1 миллиарда людей. Это даёт нам математическое ожидание как минимум ещё в 100 миллионов смертей, а также намного больше страданий среди тех, кто выживет.

Таким образом, даже если мы сосредоточимся только на последствиях для ныне живущего поколения, то эти катастрофические риски являются одной из самых серьёзных проблем, стоящих перед человечеством.

Но в этом случае масштабы проблемы будут очень сильно недооценены, потому что если нашей цивилизации придёт конец, то мы полностью потеряем и наше будущее.

Большинство людей хотят оставить лучший мир для своих внуков, и многие также считают, что нам нужно в какой-то мере заботиться и о будущих поколениях в целом. В будущем может быть намного больше людей, довольных своей жизнью, чем всех людей, живущих сейчас, и нам нужно в какой-то степени учитывать их интересы. Есть шанс, что человеческая цивилизация просуществует миллионы лет, поэтому если учитывать последствия рисков для всех будущих поколений, то ставки увеличиваются в миллионы раз — как для хороших исходов, так и для плохих. Карл Саган писал о цене ядерной войны в журнале Foreign Affairs:

> Ядерная война ставит под угрозу жизни всех наших потомков на протяжении всего времени потенциального существования человечества. Даже если наше население перестанет расти, а средняя продолжительность жизни будет порядка 100 лет, то в условиях типичного периода времени, необходимого для цикла биологической эволюции успешного вида (примерно 10 миллионов лет), речь идёт о 500 триллионах человек, которые ещё не родились. С учётом этого, исход полного вымирания будет в миллион раз хуже, чем более скромные ядерные войны, которые убивают "всего лишь" сотни миллионов людей. Есть также много других возможных способов измерять потенциальные потери, включая культуру и науку, эволюционную историю планеты и значимость жизней всех наших предков, сделавших вклад в будущее своих потомков. Вымирание сотрёт всё, что построило человечество.

Мы рады, что римляне не позволили человечеству исчезнуть, ведь благодаря этому существует вся современная цивилизация. Мы считаем, что на нас лежит аналогичная ответственность за людей будущего, если предполагать, что их жизни скорее будут хорошими (а мы думаем, что будут). Было бы необдуманно и несправедливо подвергать их жизни опасности лишь для того, чтобы сделать себе получше в краткосрочной перспективе.

Дело не только в том, что в будущем может быть больше людей. Как отмечал и Саган, вне зависимости от того, что именно вы цените, в будущем этого может быть гораздо больше. Цивилизация будущего может построить мир без нужды, добиться потрясающих интеллектуальных успехов или создать величайшие произведения искусства. Мы можем построить намного более справедливое и нравственное общество. И в принципе ничто не мешает нашей цивилизации достичь других планет, которых в нашей галактике около 100 миллиардов.²⁹ Если мы позволим человечеству погибнуть, то все эти возможности будут навсегда перечёркнуты.

Мы не уверены, что это замечательное будущее действительно наступит, но это лишь ещё одна причина сохранить цивилизацию: ведь тогда у нас будет шанс узнать, как всё обернётся. Пожалуй, худшее, что мы можем сделать — это не передать эстафету следующему поколению.

Таким образом, пара процентов риска уничтожения цивилизации — это, по всей видимости, самая серьёзная проблема человечества на данный момент. Поражает также то, насколько этими рисками пренебрегают.

Почему эти риски являются одними из самых недооценённых глобальных проблем

Вот сколько денег ежегодно тратится на некоторые из важных целей:³⁰

Как видите, мы тратим огромное количество ресурсов на разработку ещё более мощных технологий. Мы также тратим много средств на предметы роскоши в попытке улучшить свои жизни (что, быть может, не так уж и хорошо работает).

На снижение катастрофических рисков, связанных с изменением климата, тратится гораздо меньше средств. Только лишь в США расходы на социальное обеспечение в разы превышают расходы на борьбу с изменением климата во всём мире.

Но на проблему изменения климата всё равно выделяются огромные суммы денег по сравнению с некоторыми другими рисками, о которых мы говорили. По нашим приблизительным оценкам, на предотвращение экстремальных глобальных пандемий тратится в 300 раз меньше средств, хотя масштаб риска выглядит примерно таким же.

Исследованиям в области безопасности ИИ уделяется меньше всего внимания, и на них выделяется ещё примерно в 100 раз меньше средств, чем на предотвращение пандемий: около 10 миллионов долларов в год.

Аналогичную картину можно увидеть, если вместо выделенных денег посмотреть на количество людей, работающих над этими рисками, но для денег проще получить цифры.

Если говорить о внимании научного сообщества к различным вопросам, то и там можно увидеть похожую картину (хотя некоторым отдельным рискам уделяется значительное внимание — например, изменению климата):

Насколько мы знаем, если посмотреть на распределение внимания в политике, то всё будет примерно так же, как и с финансированием. Подавляющее количество политического внимания уделяется конкретным вопросам, нацеленным на краткосрочную помощь ныне живущим поколениям, поскольку именно это приносит голоса. Катастрофические риски получают намного меньше внимания: из них в первую очередь говорят об изменении климата, в то время как о проблемах вроде пандемий и искусственного интеллекта упоминают реже всего.

Такое распределение ресурсов, а также научного и политического внимания, напрямую следует из текущих экономических предпосылок. Именно поэтому работа над этими рисками — это отличная возможность для тех, кто хочет сделать мир лучше.

Во-первых, ответственность за эти риски не лежит на каком-либо одном государстве. Предположим, США инвестируют значительные средства в предотвращение изменения климата. Это будет выгодно всему миру, но в США проживает только около 5% населения планеты, и граждане США получат только 5% выгоды от этих расходов. Поэтому США будет значительно занижать свои инвестиции в эту область относительно её реальной значимости для всего мира. И то же самое можно сказать обо всех других странах.

Эту проблему можно было бы решить, если все скоординируются — в случае, если каждая страна согласится внести свой соответствующий вклад в уменьшение климатических изменений, все страны выиграют и смогут избежать наихудших последствий.

К сожалению, с точки зрения каждой отдельной страны будет лучше, если все другие страны сократят свои выбросы, а её собственная экономика останется нетронутой. Поэтому у каждой страны есть стимул не соблюдать климатические соглашения, и именно поэтому в этом вопросе достигнуто так мало прогресса (это называется "дилемма заключённого").

Более того, в таком её описании проблема всё равно будет сильно преуменьшена. Больше всего пользы от снижения катастрофических рисков получают будущие поколения. У них нет возможности отстаивать свои интересы — будь то экономически или политически.

Если бы будущие поколения могли голосовать на наших выборах, подавляющее большинство из них голосовало бы за принятие законов, повышающих безопасность человечества. А если бы будущие поколения могли присылать деньги в прошлое, они были бы готовы заплатить нам огромные суммы денег за снижение этих рисков. (Технически говоря, снижение этих рисков является глобальным общественным благом на уровне поколений, что логичным образом делает его одним из самых недооценённых способов приносить пользу миру.)

Наша нынешняя система плохо справляется с защитой будущих поколений. Мы знаем людей, которые разговаривали с высокопоставленными лицами в правительстве Великобритании, и многие из этих чиновников хотят что-то сделать с этими рисками, но, по их словам, давление новостных и избирательных циклов мешает уделять должное внимание этим вопросам. В большинстве стран нет государственных учреждений, в прямые обязанности которых входит снижение этих рисков.

Это удручающая ситуация, но она также таит в себе возможности. Для людей, которые действительно хотят сделать мир лучше, такой недостаток внимания означает, что есть много способов принести огромную пользу обществу.

Что можно сделать с этими рисками?

Мы рассмотрели масштабы и недооценённость этих вопросов, но что насчёт третьего критерия — разрешимости?

Эти проблемные области являются более сложными, чем привычные области вроде глобального здравоохранения. Измерять, как наши действия влияют на здоровье (по крайней мере в краткосрочной перспективе) намного проще, и за десятки лет было получено много данных о том, что лучше всего работает. Поэтому работа по снижению катастрофических рисков выглядит хуже в плане разрешимости.

Однако мы всё равно можем многое сделать, и с учётом гигантских масштабов и недооценённости этих рисков, они по-прежнему выглядят самыми важными из всех проблем.

Мы обрисуем некоторые способы снижения этих рисков, разделив их на три широкие категории:

1. Усилия, направленные на снижение конкретных рисков

Один из подходов заключается в непосредственной работе над каким-то из рисков. Существует множество конкретных предложений по борьбе с каждым из них, например:

1. Многие эксперты считают, что повышение эффективности эпидемиологического надзора снизит риски пандемий. Сюда могут входить технологические улучшения или более хорошие способы сбора и обработки уже существующих данных, чтобы мы могли быстрее замечать вспышки новых пандемий. А чем быстрее будет замечена новая пандемия, тем проще будет с ней справиться.

2. Существует множество способов повлиять на изменение климата: например, помощь в разработке более эффективных солнечных батарей или введение углеродного налога.

3. Если говорить про ИИ, то можно заниматься исследованиями "проблемы контроля" в информатике, чтобы снизить вероятность непреднамеренного вреда от мощных систем ИИ. В недавней статье, "Concrete problems in AI safety", описано несколько конкретных тем для исследований, но на данный момент лишь около 20 человек во всём мире исследует подобные вопросы на постоянной основе.

4. В области ядерной безопасности многие эксперты считают, что для использования ядерного оружия в качестве сдерживающего фактора будет достаточно гораздо меньшего количества боеголовок. Но уменьшение запасов боеголовок также снизит риски случайных аварий, а также вероятность того, что ядерная война, если она случится, уничтожит цивилизацию.

Подробнее о том, что вы можете сделать для борьбы с каждым из рисков, мы рассказываем в наших обзорах проблем:

1. Безопасность в области ИИ

2. Предотвращение пандемий

3. Ядерная безопасность

4. Изменение климата

В этой категории мы не говорим о природных рисках, потому что они намного менее вероятны, и потому что человечество уже многое делает для борьбы с некоторыми из них. Повышение уровней богатства и технологического развития делает нас более устойчивыми к природным рискам, а на эти цели и так уже тратится огромное количество наших ресурсов.

2. Общие усилия по снижению рисков

Вместо того чтобы пробовать снизить каждый риск по отдельности, мы можем попытаться сделать так, чтобы цивилизация в целом лучше с ними справлялась. Общие усилия помогают снизить все риски сразу — даже те, о которых мы ещё не думали.

Например, есть лица, принимающие ключевые решения, — обычно работающие в правительствах, — которым придётся работать с этими рисками по мере их возникновения. Если мы могли бы улучшить процессы принятия решений этими людьми и учреждениями, то это бы сделало общество более устойчивым в целом, а также решило бы многие другие проблемы.

Недавние исследования выявили множество способов улучшить качество принятия решений, но большинство из них ещё не было внедрено. При этом мало кто работает над этой задачей. Мы разбираем эту тему более подробно в нашей статье об улучшении институционального принятия решений.

Другой пример: мы можем попытаться сделать так, чтобы цивилизации было легче восстановиться после катастрофы. Всемирное хранилище семян — это замороженное хранилище в Арктике, в котором находятся семена многих важных сортов сельскохозяйственных культур. Его существование снижает шанс того, что мы навсегда потеряем какой-то из них. Недавно туннель, ведущий к хранилищу, был залит талой водой, которая, по иронии судьбы, образовалась в результате климатических изменений, поэтому проекту могло бы пригодиться дополнительное финансирование. Можно было бы разработать много других подобных проектов для сохранения наших знаний.

Также мы могли бы построить более хорошие убежища на случай чрезвычайных ситуаций, что снизило бы шансы вымирания человечества в результате пандемий, ядерной зимы и ударов астероидов (но не помогло бы в случае рисков от ИИ), а ещё повысило бы шансы успешного восстановления после катастрофы. На данный момент подобные меры выглядят менее эффективными, чем усилия по снижению самих рисков, но они всё равно полезны. Более недооценённым, а также возможно намного более дешёвым вариантом будет создание альтернативных источников пищи — например, таких, которым не нужен свет, и чьё производство можно быстро нарастить в условиях длительной зимы.

Поскольку общие усилия приносят пользу, даже если мы не уверены в деталях рисков, их привлекательность возрастает при увеличении неопределённости. Соответственно, чем более ясными и актуальными становятся риски, тем больше ресурсов нужно перенаправлять на работу с конкретными рисками (подробнее об этом).

Мы ожидаем, что есть много других перспективных способов снижать риски в целом, но эта область крайне мало изучена. К примеру, ещё один подход мог бы быть основан на улучшении международной координации. Поскольку эти риски вызваны человечеством, человечество может их предотвратить, но нам мешают проблемы координации. К примеру, Россия не хочет разоружаться, потому что это поставит её в невыгодное положение по сравнению с США, и наоборот, хотя обе страны выиграли бы от отсутствия возможности ядерной войны.

Однако можно попробовать улучшить нашу способность координироваться на масштабах цивилизации: например, при помощи улучшения международных отношений или создания более эффективных международных институтов. Мы хотели бы видеть больше исследований на подобные темы.

Популярные способы делать мир лучше, вроде работы над образованием или международным развитием, могут помочь обществу стать более устойчивым и разумным, поэтому тоже положительно влияют на снижение катастрофических рисков. Например, более образованное население скорее всего голосовало бы за более разумных лидеров, а более развитые страны (при прочих равных) лучше справляются с пандемиями — неслучайно вспышки вируса Эбола сконцентрировались в некоторых из беднейших районов Западной Африки.

Но мы не считаем образование и здравоохранение лучшими направлениями для приложения усилий по двум причинам. Во-первых, этим областям и так уделяется гораздо больше внимания, чем более нестандартным подходам, о которых мы говорили. К примеру, работа над улучшением системы образования является чуть ли не самым популярным направлением среди людей, которые хотят приносить пользу миру. В одних лишь Штатах образование получает 800 миллиардов долларов в год от государства, а также ещё триллион долларов частного финансирования. Во-вторых, влияние этих подходов на снижение экзистенциальных рисков довольно расплывчато — чтобы получить заметный эффект, нужно улучшить образование в очень больших масштабах. Поэтому мы предпочитаем работать над более конкретными и недооценёнными решениями.

3. Расширение знаний и наращивание потенциала

Мы крайне не уверены в том, какие риски являются наиболее значимыми, что с ними лучше всего делать, и какова вероятность того, что мы кардинально ошибаемся в наших представлениях о глобальных приоритетах. Это означает, что ещё одна ключевая цель — получше разобраться во всех этих вопросах.

Мы можем получить больше информации, просто пробуя снизить эти риски и наблюдая за тем, какого прогресса получается достичь. Однако мы считаем, что наиболее недооценённым и важным способом расширить наши знания уже сейчас являются исследования глобальных приоритетов.

Эта область находится на стыке экономики и моральной философии, а её цель — найти ответы на общие вопросы о наиболее важных проблемах для человечества. Лишь маленькая группа исследователей работает над этими вопросами на постоянной основе.

Другой способ работать с неопределённостью — накапливать ресурсы для использования в будущем, когда будет больше информации. Например, можно зарабатывать и откладывать деньги. Также можно инвестировать в свой карьерный капитал (особенно в переносимые навыки и полезные связи), чтобы добиться большего в будущем.

Однако мы считаем, что ещё более эффективным подходом может быть создание сообщества, ориентированного на снижение таких рисков — какими бы они не были. Дело в том, что развивать потенциал сообщества можно быстрее, чем в одиночку наращивать свой финансовый или карьерный капитал. Например, если потратить год на нетворкинг с целью привлечь перспективных людей к работе над глобальными проблемами, вполне реально найти ещё одного человека с релевантной экспертизой, который будет готов работать с вами. Таким образом, за год работы вы удвоите количество усилий, которые благодаря вам идут на решение важнейших проблем.

На данный момент мы вкладываем наши усилия в развитие сообщества эффективного альтруизма, в котором много людей, стремящихся снизить экзистенциальные риски. Более того, недавние темпы роста и исследования конкретных инициатив по развитию сообщества говорят о потенциально высокой эффективности этого подхода для улучшения мира.

Однако мы ожидаем, что усилия по созданию других сообществ тоже будут ценными. Мы были бы рады увидеть сообщество учёных, стремящихся продвигать культуру безопасности в академических кругах. Было бы здорово увидеть сообщество политиков, которые хотят снизить экзистенциальные риски и сделать так, чтобы их правительство начало больше заботиться о будущих поколениях.

Сейчас снижением экзистенциальных рисков занимается очень мало людей, поэтому мы полагаем, что есть много возможностей для организации общественного движения вокруг этих проблем.

В целом, насколько снижать экзистенциальные риски эффективно?

Учитывая все подходы к снижению этих рисков, а также то, как мало ресурсов выделяется на борьбу с некоторыми из них, есть причины полагать, что существенный прогресс возможен.

На самом деле, даже если рассматривать влияние этих рисков только на нынешнее поколение (игнорируя любые выгоды для будущих поколений), то они с большой вероятностью окажутся наиболее приоритетными.

Чтобы это проиллюстрировать, мы приведём несколько грубых и упрощённых цифр, которые, тем не менее, кажутся нам реалистичными: если потратить $100 миллиардов на борьбу с экзистенциальными рисками, то за следующий век можно было бы снизить их шансы более чем на 1%. Снижение этих рисков на один процент спасло бы, согласно математическому ожиданию, около 100 миллионов жизней из нынешнего поколения (1% от примерно 10 миллиардов людей, живущих сейчас). И это означало бы, что на спасение одной жизни мы тратим всего лишь 1000 долларов.³¹

Грег Льюис сделал более подробные расчёты, согласно которым средняя стоимость года жизни для человека нынешнего поколения составляла бы $9200 (т.е. примерно $300 000 за одну жизнь).³² В его отчёте также есть и другие оценки. Мы считаем, что Грег, скорее всего, слишком консервативен, потому что он предполагает, что риск вымирания в течение следующего столетия равен 1%, в то время как наша оценка в несколько раз выше. Мы также считаем, что следующий миллиард долларов, который будет потрачен на снижение экзистенциальных рисков, может дать больший эффект, чем предполагает Грег (но стоит отметить, что это утверждение справедливо только при условии, что этот миллиард будет потрачен на самые недооценённые риски, такие как безопасность в сфере ИИ и биориски). Поэтому мы бы не удивились, если бы для следующего миллиарда долларов, направленного на снижение экзистенциальных рисков, стоимость спасения жизни одного человека из нынешнего поколения была бы менее $100.

Одним из лучших способов помочь нынешнему поколению часто называют пожертвования в Against Malaria Foundation (AMF), которая лидирует в рейтинге лучших благотворительных организаций от GiveWell. AMF позволяет спасти одну жизнь примерно за $7500 (по оценкам на 2017 год).³³ Таким образом, вышеупомянутые оценки показывают, что снижение экзистенциальных рисков более эффективно (или по крайней мере сравнимо по эффективности) по затратам на одну спасённую жизнь, чем деятельность AMF — благотворительной организации, которую выбрали именно из-за её выдающихся успехов в этой области.

Точно также мы считаем, что если 10 000 талантливых молодых людей сосредоточили бы свою карьеру на этих рисках, они смогли бы снизить их где-то на 1%. Это значит, что каждый из них смог бы, согласно математическому ожиданию, спасти 1000 жизней на протяжении своей карьеры, что, скорее всего, больше, чем если бы они просто зарабатывали и жертвовали деньги в Against Malaria Foundation.³⁴

С одной стороны, это несправедливые сравнения, потому что рейтинг GiveWell гораздо лучше исследован и обоснован, в то время как наша оценка скорее является разумным предположением. Также могут быть и более эффективные способы помочь нынешнему поколению, чем AMF (например, продвижение определённых законов).

Однако мы также сильно приуменьшили полезность снижения экзистенциальных рисков. Главной причиной для защиты цивилизации является не нынешнее поколение, а помощь будущим поколениям. Мы не учитывали их в этой оценке.

Если учитывать и будущие поколения тоже, то эффективность снижения экзистенциальных рисков становится на порядки выше. В таком случае сложно представить что-то ещё более приоритетное на данный момент.

А теперь вы можете либо почитать разбор некоторых ответов на эти аргументы, либо сразу перейти к разделу о том, как вы можете поучаствовать в снижении этих рисков.

Кому не стоит фокусироваться на защите будущего?

---

Хотите поучаствовать в снижении экзистенциальных рисков?

Наше поколение может либо приблизить конец всего, либо провести человечество через самый опасный период и стать одним из самых важных поколений в истории.

Мы можем стать либо теми, кто сделает возможным достижение поразительного и процветающего мира, либо теми, кто поставит всё под угрозу.

Поскольку мы хотим помочь миру, этот выбор должен быть нашим главным приоритетом.

Если вы хотите построить свою карьеру вокруг снижения экзистенциальных рисков и защиты будущего, мы хотим вам помочь. Мы написали статью, в которой описаны различные варианты действий, а также первые шаги, которые вы можете сделать.

Как задействовать свою карьеру для снижения экзистенциальных рисков

После прочтения этой статьи, или же если вы уже подумали о том, чем именно хотите заниматься, рассмотрите возможность поговорить с нами лично. Мы поможем вам взвесить различные решения и сформулировать план.

Записаться на индивидуальную консультацию

Дальнейшее чтение

• Прочитайте о 51 идее в областях политики и научных исследований, которые могут помочь снизить экзистенциальные риски.

• Ознакомьтесь с академической версией наших доводов в этой статье профессора Ника Бострома.

• Изучите аргументы о том, почему нужно сфокусироваться на будущих поколениях.

• Прочитайте альтернативную вводную статью о том, почему наше влияние на будущие поколения чрезвычайно важно с моральной точки зрения (в ней также есть раздел с возражениями).

• Послушать про экзистенциальные риски и связанные с ними темы можно в наших подкастах с Тоби Ордом и Ником Бекстедом, а также в других эпизодах подкаста, посвящённых конкретным видам рисков.

• Послушайте интервью с Томасом Мойниханом про историю развития мысли в области экзистенциальных рисков.

• А ещё мы рекомендуем наш подкаст с Карлом Шульманом, где мы обсуждаем простые и понятные аргументы в пользу работы над экзистенциальными рисками, а также практические выводы, которые из этого следуют.