"Scared Straight" — государственная программа, получившая в своё время миллиарды долларов финансирования. Про неё даже сняли документальный фильм, удостоенный нескольких наград. Идея программы заключалась в том, чтобы показать малолетним преступникам настоящую тюремную жизнь и напугать их этим, таким образом мотивируя их встать на путь исправления.

Вот только была одна проблема: один мета-анализ показал, что после участия в программе дети стали чаще совершать преступления, а согласно другому, более свежему мета-анализу, эффекта от программы не было.¹

Столь плачевными результаты бывают редко, но когда социальные программы подвергаются тщательной проверке, выясняется, что многие из них не работают.²

Поэтому даже если вы выбрали важную проблему, довольно легко начать работать над крайне малоэффективным решением.

В то же время исследования показывают, что среди всех решений с положительным эффектом, самые удачные оказываются гораздо более эффективными, чем средние. Часто они дают в 10+ раз, а иногда и в 100 раз больше эффекта на единицу затраченных ресурсов.

Выбор профессии, которая позволит вам работать над более эффективными решениями — это один из способов найти карьеру с более высоким уровнем пользы. (Ещё у нас есть статья о поиске более хороших возможностей для улучшения мира через повышение своей степени влияния.)

В этой статье мы объясняем, какие выводы можно сделать из современных исследований на тему различий в эффективности разных решений, почему это должно изменить наши интуитивные представления о том, как делать мир лучше, и как найти наилучшие решения в какой-либо проблемной области.

Насколько сильно решения отличаются по эффективности?

В последние годы активисты много говорили об отказе от пластиковых пакетов. Однако убедив человека полностью отказаться от пластиковых пакетов на всю оставшуюся жизнь (это около 10 000 пакетов), можно избежать примерно 0,1 тонны выбросов CO_{2. При этом если убедить человека совершить всего на один трансатлантический перелет меньше, выбросы CO2 сократятся на тонну с лишним — то есть более чем в 10 раз сильнее.³}

И если в целом говорить о фокусе на привычках потребления, то мы считаем, что для сокращения выбросов будет намного более эффективным бороться за увеличение финансирования недооценённых "зелёных" технологий.

Такой паттерн можно наблюдать не только в контексте изменения климата. Его значимость была в первый раз подмечена в области глобального здравоохранения, в статье Тоби Орда "The Moral Imperative toward Cost-Effectiveness in Global Health".

Он обнаружил данные, в которых сравнивались различные способы улучшить здоровье в бедных странах (такие, как малярийные сетки, вакцины, различные виды операций) на основе того, сколько лет здоровой жизни они могли дать за каждые $1000 вложений.

Согласно этим данным, самые эффективные (по соотношению затрат и результатов) вмешательства были где-то в 50 раз эффективнее, чем медианные, в 23 раза эффективнее, чем средние, и практически полностью подчинялись правилу 80/20.

Это невероятное открытие, ведь из него следует, что усилия одного человека, работающего над самыми эффективными вмешательствами в области глобального здравоохранения, могут приносить столько же пользы, сколько приносит деятельность 50 человек, работающих над стандартным вмешательством.

Такую же картину можно наблюдать, если взглянуть на:

• Масштабные социальные программы в США

• Другие выборки данных в области глобального здравоохранения, такие как WHO CHOICE и DCP3.

• Государственные программы по здравоохранению в богатых странах

• Вмешательства в области образования в развивающихся странах

• Способы влияния на потребление мяса с целью снизить страдания животных

• Законы, регулирующие выбросы CO2

Похоже, что такой паттерн можно найти везде, где у нас есть хорошие данные.

Есть несколько причин считать, что эти данные переоценивают реальную разницу в эффективности различных решений — особенно тех, над которыми вы по факту сможете работать.

Одна из них заключается в том, что над самыми лучшими решениями в некой области обычно уже кто-то работает.

Менее явной причиной будет регрессия к среднему. Любые оценки содержат много неточностей и неопределённости. Некоторым вмешательствам "повезёт", и оценки этих вмешательств будут завышены, а другим не повезёт, и они будут выглядеть хуже, чем на самом деле.

Это значит, что даже если бы все решения были одинаково эффективны, из-за случайных ошибок некоторые из них бы выглядели лучше, чем в среднем, а другие — хуже.

Если смотреть на вмешательства, которые выглядят наилучшими относительно средних, то вероятность того, что они выиграли от "положительных" ошибок, будет выше. Это значит, что если более пристально изучить их, то они, скорее всего, окажутся менее эффективными, чем мы думаем.

Насколько мы можем судить, это подтверждается на практике. Например, согласно данным, которые использовал Тоби, лечение детей от паразитов являлось одним из самых эффективных решений в выборке по соотношению затрат и результата. Однако организация по оценке благотворительных проектов GiveWell нашла ошибки в оценках, указанных в этом анализе, и исследования, на которых они были основаны, стали вызывать сомнения. Это привело к активным обсуждениям, получившим название "Worm Wars".

Но вот чем всё кончилось: в 2021 году, после 10 лет тщательных исследований, целью которых было получить новые, более корректные оценки, GiveWell до сих пор рекомендует благотворительные организации, которые занимаются лечением от паразитов, как одни из самых эффективных в области мирового здравоохранения по соотношению затрат и результатов. И это даже с учётом их актуальной оценки, согласно которой лечение от паразитов имеет всего около 10% эффективности от прошлых расчётов.

Изначальные оценки были слишком оптимистичны и переоценили разницу между наилучшими вариантами и стандартными, но даже с учётом этого лечение от паразитов всё ещё выглядит намного более эффективным, чем средние вмешательства — вероятно, более чем в 10 раз.

Более того, эксперты в области глобального здравоохранения всё ещё считают, что наилучшие способы спасения жизней в бедных странах требуют где-то в 100 раз меньше затрат, чем среднестатистические способы.⁴

С другой стороны, данные в этих исследованиях также могут недооценить реальную разницу в эффективности различных решений. Одна из причин может заключаться в том, что эти данные берут в расчёт только такие решения, результаты которых можно легко измерить при помощи экспериментов. Однако исторически самые эффективные способы улучшения мира чаще всего включали в себя исследования или продвижение идей, а не измеримые вмешательства. Получается, что самые лучшие решения могут отсутствовать в этих данных.

Например, относительно небольшое количество людей работало над разработкой оральной регидратационной терапии, которая сейчас ежегодно спасает где-то миллион жизней. Эти исследования скорее всего были чрезвычайно эффективными по соотношению затрат и результатов, но напрямую измерить их эффективность можно было только после их завершения.

Если говорить о будущем, то мы считаем, что есть хорошие аргументы в пользу того, что исследования в области медицины, нацеленные на помощь малообеспеченной части населения планеты, окажутся в итоге более эффективными по соотношению затрат и результатов, чем финансирование непосредственного лечения. Это лишь увеличивает общую степень разброса в эффективности различных решений.

Можно ещё многое сказать про разницу в эффективности решений, и мы хотели бы видеть больше исследований на эту тему. Однако в целом мы считаем, что часто можно найти решения, которые дают где-то в 10 раз больше прогресса за год работы, чем другие популярные решения в той же области, а иногда можно найти и такие решения, которые будут в 100 раз более эффективны.

Какой вывод следует из этих открытий?

Если вы занимаетесь какой-то проблемой, то очень важно искать наилучшие решения в этой области, а не просто "хорошие".

Это отличается от распространённого подхода, согласно которому важно делать что-то полезное, или что даже небольшой вклад — это уже хорошо. Если одни решения дают в 100 раз больше эффекта за год работы, чем другие, то очень важно искать именно те решения, которые принесут больше всего пользы.

Поэтому когда вы сравниваете различные профессиональные пути с точки зрения их вклада в решение важных проблем, одним из ключевых факторов будет эффективность решений, над которыми вы сможете работать.

Это особенно важно на поздних стадиях вашей карьеры, когда повышение своей компетентности и степени влияния уходит на второй план, и наступает время использовать свой карьерный капитал для решения наиболее важных проблем.

Итак, как же найти самые эффективные решения в выбранной области?

Подход оправданных рисков или доказательный подход

Наши читатели пользуются двумя широкими подходами:

1. Подход, основанный на данных (доказательный): ищем данные о том, сколько эффекта за каждый доллар дают различные решения (в идеале — данные из рандомизированных контролируемых исследований), и выбираем наилучшие из этих решений.

2. Подход, основанный на оправданных рисках: ищем эвристики, которые повышают шанс того, что найденное решение будет одним из наиболее эффективных в своей области. При этом учитываем, что большинство из этих решений будут провальными.

Мы обычно рекомендуем подход оправданных рисков, особенно для отдельных людей (а не больших организаций) и для тех, кто может сохранять мотивацию, несмотря на большие риски неудачи.

Почему? Как уже отмечалось, наилучшие решения обычно не могут быть измерены экспериментально и поэтому автоматически исключаются при использовании доказательного подхода. Это серьёзная проблема, потому что если наилучшие решения гораздо эффективнее стандартных, то лучше выбирать наугад среди решений, которые могут быть самыми лучшими, чем выбирать решение, которое с высокой вероятностью будет лучше среднего, но точно не будет одним из самых лучших.

Другой аргумент заключается в том, что многие социально-ориентированные организации слишком боятся рисков. Например, организации, распределяющие государственные гранты, подвергаются жёсткой критике за финансирование провальных проектов, но при этом их сотрудники не особо поощряются за успешные случаи финансирования. Отсюда следует, что отдельные люди, готовые рисковать, могут воспользоваться этой ситуацией и получить преимущество, вкладываясь в решения с высоким шансом неудачи. Вы можете прочитать больше об аргументах в пользу подхода оправданных рисков.

Один из аргументов против подхода оправданных рисков заключается в том, что он опирается на оценочные суждения с высоким уровнем неопределённости, а не на объективные данные. Это действительно так, но мы считаем, что от оценочных суждений в любом случае никуда не деться. Все наши действия имеют последствия, уходящие в далёкое будущее. При использовании доказательного подхода мы в лучшем случае можем измерить лишь некоторые из краткосрочных эффектов, даже если исходить из предположения, что наши данные полностью надёжны. Но когда речь заходит о долгосрочных последствиях — а именно они составляют основную часть всех последствий — то нам в любом случае приходится полагаться на личные суждения. Узнайте больше о проблеме незнания.

Если субъективные суждения неизбежны, то лучшее, что мы можем — это стараться делать их наиболее точными, используя лучшие доступные методы.

Как выглядит подход оправданных рисков на практике?

Если вкратце, то нам нужно искать эвристики, которые повышают шанс того, что решение окажется одним из наилучших в своей области (и при этом вряд ли будет иметь отрицательные последствия). Сюда могут входить следующие методы:

• Анализ плюсов и минусов: ищите решения с очень высоким потенциалом (и ограниченными недостатками).

• Используйте модель важности, недооценённости и разрешимости, но уже для оценки решений, а не проблем. Вот пример подобного анализа для решений в контексте изменения климата от Founders Pledge.

• Делайте грубые, приблизительные оценки ежегодного прогресса. Даже когда оценки имеют высокую степень неопределённости, они всё равно могут помочь нам заметить огромные различия в эффективности. Вы можете улучшить свои оценки, применяя лучшие практики прогнозирования. Вот несколько примеров от Open Philanthropy Project.

• Анализ узких мест: попробуйте определить ключевой шаг, который позволит разблокировать прогресс в некой области.⁵ Например, в новых областях обычно важно сначала исследовать возможные направления деятельности и продемонстрировать возможность прогресса, после чего приоритетом становится создание общественного движения вокруг проблемы и масштабирование наилучших решений.

• Разработайте теорию изменений.

На практике это часто приводит к исследовательской деятельности, организации общественных движений, социальному активизму или улучшению законодательства, а также к работе над нестандартными или недооценёнными решениями.

Вы можете использовать эти фреймворки для самостоятельного анализа, либо найти экспертов в релевантной области, которые понимают важность приоритизирования и могут сделать этот анализ за вас (или даже совместить одно с другим).

Мы скорее специалисты широкого профиля, а не эксперты в рекомендуемых нами областях, поэтому мы в основном стараемся найти хороших экспертов — таких, как гости нашего подкаста — и синтезировать их мнения о том, как решать проблемы, о которых мы пишем в наших обзорах.

Однако если вы планируете построить свою карьеру вокруг какой-то конкретной проблемы, то вполне вероятно, что со временем вы станете разбираться в ней лучше, чем мы. В таком случае стоит придавать больше значения своему собственному анализу.

Многие из рекомендуемых нами областей довольно малы, а значит, не очень хорошо изучены. Следовательно, стать экспертом в какой-то из них проще, чем может казаться. Это также делает ваше мнение по поводу наилучших решений в этих областях особенно ценным.

Следовать мнению экспертов не всегда означает следовать консенсусу, поскольку консенсусные решения зачастую могут быть хорошими, но не лучшими. К примеру, если небольшая группа экспертов твёрдо поддерживает некое вмешательство, а остальные не считают его вредным, то этого может быть достаточно, чтобы сделать на него ставку. Если вкратце, то мы стремимся учитывать и обоснованность мнений, и то, насколько хорошими выглядят вмешательства, поэтому готовы сделать ставку на что-то неординарное, если потенциальные преимущества достаточно высоки.

Узнать больше

• Справедливо ли утверждать, что большинство социальных программ не работает?

• Викторина: можете ли вы угадать, какие социальные программы работают?

• Точные суждения: почему они важны для улучшения мира и как научиться делать их лучше

• Пожертвования и оправданные риски — статья Холдена Карнофски для Open Philanthropy.

• Улучшение глобального здоровья понятными и прямыми способами — подкаст с Александром Бергером из Open Philanthropy, в котором он сравнивает доказательный подход к снижению глобальной бедности с подходом оправданных рисков. Он утверждает, что хотя лучшие из вариантов с оправданным риском бывают более успешными, доступный бюджет превышает количество таких решений, которые им удалось найти, поэтому они также поддерживают решения, основанные на доказательствах.

• Можно ли делать общие выводы из исследований в области социальных наук? — подкаст с Евой Вивальт

• Оценки ожидаемой полезности, которые можно воспринимать (насколько-то) буквально — статья Грега Льюиса, в которой объясняется один из способов учитывать регрессию к среднему.

• Наш список профилей проблем с идеями о том, как лучше подходить к их решению.

• Выберите подкаст-интервью по интересующей вас проблеме, чтобы услышать мнение экспертов на эту тему.