Почему мы считаем, что снижение рисков от ИИ — одна из важнейших задач нашего времени? Если вкратце, у нас есть следующие причины:

1. Даже не вдаваясь в непосредственную аргументацию, можно заметить некоторые причины для беспокойства: многие эксперты по ИИ считают, что есть малая, но существенная вероятность, что развитие ИИ приведёт к чрезвычайно плохим последствиям, таким как исчезновение человечества.

2. ИИ развивается необычайно быстро, и это означает, что он сможет значительно влиять на общество, причём довольно скоро.

3. Есть сильные доводы в пользу того, что "ищущий власти" ИИ может представлять экзистенциальную угрозу для человечества⁸ , которые мы рассмотрим ниже.

4. Даже если мы решим проблему стремления к власти, есть и другие риски.

5. Мы считаем, что со всеми этими рисками можно работать.

6. Эта работа чрезвычайно недооценена.

Мы по очереди разберём каждый из этих пунктов, затем рассмотрим лучшие из контраргументов, расскажем, чем конкретно вы можете помочь, и в конце перечислим некоторые из лучших ресурсов, чтобы вы могли больше узнать об этой области.

1. Многие эксперты по ИИ считают, что есть существенная вероятность, что развитие ИИ приведёт к чрезвычайно плохим последствиям, таким как исчезновение человечества

Если вы думаете, что некая новая технология приведёт к серьёзным последствиям (а возможно даже к исчезновению человечества), но все, кто реально работают над этой технологией, считают ваши опасения беспочвенными, то, вероятно, вы что-то упускаете.

Поэтому перед тем, как переходить к аргументам по поводу рисков от ИИ, давай посмотрим, что думают эксперты.

Мы изучили три опроса исследователей ИИ, работы которых публиковались в материалах конференций NeurIPS и ICML (две самые престижные конференции, посвящённые машинному обучению). Опросы проводились в 2016, 2019 и 2022 годах.⁹

Важно учитывать, что подобные опросы могут быть значительно искажены из-за представленной выборки. Например, не исключено, что исследователи, участвующие в самых престижных конференциях по ИИ, настроены более оптимистично, поскольку они привыкли считать, что исследования ИИ — это полезное дело. Или же наоборот, возможно, что исследователи, у которых есть опасения по поводу ИИ, более склонны участвовать в опросах по поводу таких опасений.¹⁰

Так или иначе, вот что мы обнаружили:

Во всех трёх опросах по мнению медианного исследователя вероятность того, что последствия появления сильного ИИ окажутся "чрезвычайно хорошими", довольно высока: 20% в опросе 2016 года, 20% в опросе 2019 года, и 10% — в опросе 2020 года.¹¹

И в самом деле, ИИ уже приносят значительную пользу: например, при уходе за больными или в научных исследованиях.

Однако также во всех трёх опросах медианный исследователь считал, что существует небольшая, но тем не менее существенная вероятность того, что последствия появления ИИ окажутся "чрезвычайно плохими (например, исчезновение человечества)": в 2016 году такая вероятность оценивалась в 5%, в 2019 — в 2%, в 2022 — в 5%.^{12 13}

В опросе 2022 года участникам задали отдельный вопрос про вероятность экзистенциальной катастрофы, вызванной будущим прогрессом в области ИИ. И снова больше половины исследователей ответили, что эта вероятность больше 5%.¹⁴

Итак, эксперты расходятся в оценках того, насколько ИИ представляет собой экзистенциальный риск — вид угрозы, которая, как мы утверждаем, чрезвычайно важна с этической точки зрения.

Это соотносится с нашими представлениями о текущем прогрессе в области исследования ИИ. В DeepMind и OpenAI — лабораториях по разработке ИИ, входящих в число лидеров в этой отрасли — также есть команды, задача которых понять, как решить вопросы безопасности, которые, как мы считаем по причинам изложенным ниже, ведут к экзистенциальной угрозе для человечества.¹⁵

Есть и другие научно-исследовательские группы (например, в МТИ, Оксфорде, Кембридже, университете Карнеги — Меллона и Калифорнийском университете в Беркли), которые занимаются теми же проблемами технической безопасности ИИ.¹⁶

Сложно точно сказать, какой отсюда следует вывод. Однако, с нашей точки зрения, это как минимум показывает, что позиция "ИИ может представлять существенный риск плохих последствий, таких как экзистенциальная катастрофа" не является маргинальной среди специалистов в данной области.

Тем не менее, остаётся вопрос: почему мы согласны именно с теми, кто обеспокоен больше? Если вкратце, то потому что существуют аргументы в пользу того, что ИИ действительно может представлять собой экзистенциальную угрозу, которые мы считаем убедительными. Эти аргументы мы подробно разберём далее.

Важно понимать, что даже если многие эксперты признают существование некоторой проблемы, то это ещё не означает, что всё в порядке и что у них всё под контролем. В целом мы считаем, что эта проблема чрезвычайно недооценена: над ней напрямую работает всего лишь около 300 человек в мире (более подробно читайте далее).

При этом на развитие ИИ ежегодно тратятся миллиарды долларов.¹⁷ 文

2. ИИ развивается необычайно быстро

Прежде чем мы попытаемся разобраться, как может выглядеть будущее ИИ, полезно посмотреть, что ИИ уже умеет.

В число современных технологий ИИ входит машинное обучение (ML), которое основано на том, что модели автоматически улучшаются за счёт входных данных. Наиболее популярная на сегодняшний день форма машинного обучения известна как глубокое обучение.

Сегодня ML-системы могут выполнять лишь очень малую долю задач, которые способны решать люди. И почти у всех из них очень узкая специализация (например, играть в одну конкретную игру или создавать конкретный тип картинок).

Тем не менее, после массового распространения глубокого обучения в середине 2010-х возможности ML-систем значительно возросли. Вот краткий перечень лишь некоторых достижений, которые мы увидели начиная с 2019 года:

• AlphaStar, обыгравшая лучших профессиональных игроков в StarCraft II (январь 2019)

• MuZero, единая система, которая научилась выигрывать в шахматы, сёги и го — хотя ей даже не объясняли правила (ноябрь 2019)

• GPT-3, модель естественного языка, создающая высококачественный текст (май 2020)

• GPT-f, решающая некоторые задачи математических олимпиад (сентябрь 2020)

• AlphaFold 2, огромный шаг вперёд в решении очень давней и сложной задачи фолдинга белка (июль 2021)

• Codex, создающий программный код на основе команд на естественном языке (август 2021)

• PaLM, языковая модель, продемонстрировавшая впечатляющие способности рассуждать о причинах и следствиях, а также объяснять шутки (апрель 2022)

• DALL-E 2 (апрель 2022) и Imagen (май 2022), две модели, способные создавать высококачественные изображения на основе словесного описания

• SayCan, управляющая роботом на основе команд на естественном языке (апрель 2022)

• Gato, единая ML-модель, способная выполнять множество разных задач (например, играть в Атари, описывать изображённое на картинках, отвечать на текстовые сообщения и складывать блоки с помощью реальной роботизированной руки) — решение о том, что именно нужно дать на выход, она принимает на основе контекста (май 2022)

• Minerva способна решать сложные математические задачи. Она неплохо справляется на уровне колледжа и ещё лучше на уровне математических соревнований для старшеклассников. (Minerva оказалась гораздо более успешной, чем предсказывали прогнозисты в 2021 году.)

Если вы чем-то похожи на нас, вас тоже удивила сложность и разнообразность задач, которые решают эти системы.

И кажется очевидным, что если технологии и дальше будут развиваться с той же скоростью, это значительно повлияет на общество. Как минимум, подешевеет выполнение задач, которые будут автоматизированы, и это может привести к стремительному экономическому росту (возможно даже сравнимому с ростом во время промышленной революции).

Если у нас получится частично или полностью автоматизировать получение новых научных результатов, возможно, общество и технологии изменятся ещё более радикально.¹⁸

И, возможно, это будет лишь только начало. Может быть, у нас появятся компьютеры, которые рано или поздно автоматизируют абсолютно всё, что делают люди. Кажется, это вполне вероятно — по крайней мере, теоретически, — просто потому, что достаточно сложный и мощный компьютер сможет симулировать человеческий мозг. Это уже само по себе способ автоматизировать всё, что могут делать люди (пусть и не самый эффективный).

И как мы увидим в следующем разделе, есть свидетельства, что значительной автоматизации можно достигнуть благодаря масштабированию уже имеющихся технологий.

В последнее время способности ML-систем стремительно растут

Чтобы создать ИИ с помощью машинного обучения, нужны три составляющие:

1. Хорошие алгоритмы (чем более эффективные алгоритмы, тем лучше)

2. Данные, на которых алгоритм будет обучаться

3. Достаточно вычислительных ресурсов для этого обучения

Мы поговорили с Данни Эрнандесом, который (в то время) был исследователем в команде прогнозистов OpenAI. Эрнандес и его команда изучали, как две из этих составляющих (вычислительные ресурсы и эффективность алгоритмов) менялись со временем.

Они обнаружили, что после 2012 года количество вычислительных ресурсов, используемых для обучения самых больших моделей ИИ росло экспоненциально — удваивалось каждые 3,4 месяца.

И таким образом с 2012 года количество вычислительных ресурсов, используемых для обучения самых больших моделей, выросло больше чем в миллиард раз.

Эрнандес и его команда также проверили, сколько нужно вычислительных ресурсов, чтобы обучить нейронную сеть, у которой будет такая же эффективность, какая была у AlexNet (одного из ранних алгоритмов распознавания картинок).

Они обнаружили, что количество вычислительных ресурсов, требуемых для получения той же производительности, падает экспоненциально — уменьшается вдвое каждые 16 месяцев.

Таким образом, с 2012 года количество вычислительных ресурсов, требуемых для получения той же производительности, упало более чем в 100 раз. В сочетании с тем, что количество доступных вычислительных ресурсов увеличилось, это значительный рост.²¹

Сложно сказать, продолжатся ли эти тенденции, однако они говорят о том, что за последние десять лет границы возможного при помощи машинного обучения существенно расширились.

Более того, судя по всему, увеличение размера моделей (и количества вычислительных ресурсов, используемых для их обучения) приводит к даже более сложному поведению. Например, модели вроде GPT-3 начинают выполнять задачи, решать которые их не обучали.

Эти наблюдения привели к гипотезе о масштабировании, которая гласит, что мы можем просто строить всё большие и большие нейронные сети и в итоге будем получать всё более и более мощный искусственный интеллект и таким образом дойдём до интеллекта человеческого уровня и дальше.

Если эта гипотеза верна, то наблюдая за скоростью увеличения вычислительных мощностей, доступных для обучения моделей, мы сможем предсказывать, как будут расти возможности искусственного интеллекта.

Однако, как мы увидим ниже, возможное скорое появление чрезвычайно мощного ИИ предсказывает не только гипотеза о масштабировании. К такому же выводу можно прийти и благодаря другим способам оценки прогресса в этой области.

Когда нам стоит ожидать появление трансформационного ИИ?

Сложно точно предсказать, когда мы разработаем ИИ, который будет способен радикально изменить общество (хорошим или плохим образом) — например, автоматизировав всю работу, которую выполняют люди или значительно изменив общественную структуру.²² Но у нас здесь есть несколько подходов.

Один из них — это опросы экспертов. Результаты опроса 300 экспертов в 2019 году утверждают, что существует вероятность 20% появления машинного интеллекта человеческого уровня (который, скорее всего, будет трансформационным в обсуждаемом смысле) к 2036 году, 50% — к 2060 году и 85% — к 2100.²³ Есть множество причин скептично относиться к этим оценкам,²⁴ однако мы учитываем их как одно из свидетельств.

Аджея Котра (исследовательница из Open Philantropy) попыталась предсказать, когда появится трансформационный ИИ, путём сравнения современного глубокого обучения с человеческим мозгом. Глубокое обучение требует огромного количества вычислительных ресурсов, чтобы обучить модель выполнять определённые задачи. Также есть зависимость между количеством вычислительных ресурсов, требуемых для обучения модели, и количеством ресурсов, требуемых для её использования. И если гипотеза о масштабировании верна, нам следует ожидать, что производительность модели будет предсказуемо улучшаться с увеличением вычислительных мощностей. Отталкиваясь от этого, Котра несколькими разными способами (в том числе, например, оценивая сколько вычислительных ресурсов использует человеческий мозг для тех или иных задач) оценила, сколько вычислительных ресурсов может потребоваться, чтобы обучить модель, которая после запуска сможет выполнять сложнейшие задачи, которые выполняют люди. Затем она оценила, когда такие вычислительные мощности будут доступны.

В заметке Котры 2022 года о том, как изменились её выводы, даются следующие оценки: вероятность появления трансформационного ИИ к 2036 году равна 35%, к 2040 году — 50%, к 2050 году — 60%. Котра замечает, что эти оценки ещё могут измениться.²⁵

Том Дэвидсон (также исследователь из Open Philanthropy) написал отчёт, дополняющий работу Котры. Он попытался определить, когда мы можем ожидать появление трансформационного ИИ, изучая лишь различные виды исследований, на которые могла бы быть похожа работа над трансформационным ИИ (например, разработка технологий, под которые появлялась целая новая область технических исследований, или доказывание сложных математических гипотез). Дэвидсон изучал, как быстро подобные виды исследования достигали успеха в прошлом при условии, что у них было достаточное финансирование.

В отчёте Дэвидсона говорится, что на основании только лишь этой информации получаются следующие оценки: вероятность появления трансформационного ИИ к 2036 году равна 8%, к 2060 — 13%, к 2100 — 20%. Однако, Дэвидсон не учитывает, насколько исследования ИИ продвинулись со времён их начала в 1950-х годах, и замечает, что вполне можно ожидать увеличения затрат на исследования ИИ по мере того, как значимость ИИ для нашей экономики будет расти. В итоге Дэвидсон ожидает, что полученные числа занижены.

Холден Карнофский, один из директоров Open Philantropy, попытался резюмировать результаты исследований, упомянутые выше. Он предполагает, что вероятность увидеть трансформационный ИИ к 2036 году больше 10%(!), к 2060 — 50%, к 2100 — 66%. И, возможно, эти оценки занижены, поскольку они не учитывают, что с тех пор, как они были сделаны, прогресс идёт быстрее, чем ожидалось.

В общем, судя по всему, ИИ развивается стремительно. Каждый год в эту область приходит всё больше денег и талантов, и модели становятся больше и эффективнее.

Даже если бы ИИ развивался медленнее, мы бы всё равно беспокоились по этому поводу — подавляющее большинство аргументов о том, какие риски таит в себе ИИ (мы рассмотрим эти аргументы ниже), не связаны со скоростью его развития.

Однако скорость достижений недавнего времени делает проблему более срочной.

3. Ищущий власти ИИ может представлять для человечества экзистенциальную угрозу

До сих пор мы утверждали, что, с нашей точки зрения, ИИ окажется важной новой технологией, которая, вероятно, значительно изменит экономику и общество.

Также мы рассмотрели причины считать, что, возможно, подобный трансформационный ИИ будет создан уже в этом веке.

Теперь же мы перейдём к ключевому вопросу: почему мы вообще считаем, что этот вопрос настолько важен?

Причин так считать может быть множество. Если развитый ИИ способен так сильно изменить мир, как нам сейчас кажется, это может привести к многочисленным важным последствиям. Однако в этом разделе мы планируем рассказать о проблеме, которая нам кажется наиболее важной: "Системы ИИ могут быть опасны тем, что они будут стремиться получить власть".

Мы утверждаем, что:

1. Вполне вероятно, что мы создадим системы ИИ, которые смогут строить и реализовывать планы, чтобы достигать своих целей

2. Развитые системы, умеющие планировать, легко могут оказаться "незаалайненными" и начать строить планы, подразумевающие, что человечество лишится возможности управлять своей судьбой

3. Если в результате действий ИИ человечество не сможет больше управлять своей судьбой, это будет экзистенциальной катастрофой

4. Люди могут запустить незаалайненные системы ИИ, даже несмотря на эти риски

Я обдумал каждый из этих пунктов и считаю, что существует примерно 10% вероятность, что в этом веке в результате действий систем ИИ, ищущих власти, произойдёт экзистенциальная катастрофа.²⁶

Вполне вероятно, что мы создадим системы, способные строить сложные планы

Мы утверждаем, что системы, которые будут обладать тремя нижеперечисленными свойствами, могут представлять значимую угрозу для человечества:²⁷

1. У них есть цели, и они хорошо строят планы.

Не у всех систем ИИ есть цели, и не все из них строят планы, чтобы достигать своих целей. Однако про некоторые (например про системы ИИ, играющие в шахматы) можно рассуждать в рамках такой модели. Когда мы рассуждаем про ИИ, ищущий власти, мы рассматриваем системы, которые относительно успешно планируют, их планы преследуют какую-то цель (или цели), и они способны реализовывать свои планы.

2. У них прекрасное "стратегическое мышление".

Система, которая достаточно хорошо умеет планировать, должна неплохо понимать мир — она должна уметь замечать препятствия или дополнительные возможности, которые могут поспособствовать или помешать её планам, и реагировать на них соответственно. Как и Карлсмит, мы будем называть эту способность "стратегическим мышлением"²⁸ , поскольку она позволяет системам строить более сложные стратегии.

3. Их способности значительно превышают способности современных систем.

Чтобы действия этих систем в самом деле влияли на мир, нужно, чтобы они не просто умели планировать, но также хорошо умели делать всё, что необходимо для реализации их планов.

Поскольку мы беспокоимся, что программные системы попытаются отобрать у людей власть, мы в первую очередь думаем о таких системах ИИ, которые могут превзойти людей в тех умениях, которые в значительной степени позволяют править нынешним миром именно людям.

Например, люди очень хорошо умеют убеждать и/или манипулировать, и это зачастую приносит им власть. Если ИИ освоит эти навыки, возможно, он тоже сможет получить власть. Как другие примеры можно привести умение взламывать другие системы, способность вести научные и инженерные исследования, а также умение строить планы в бизнесе, политике и в военном деле.

Судя по всему, такие системы технически возможны, и у нас есть достаточно стимулов, чтобы их создавать

Как упоминалось выше, мы уже создаём системы, которые очень хорошо справляются с определёнными задачами.

Мы даже уже создали простейшие системы планирования: например AlphaStar, которая умеет играть в игру-стратегию "StarCraft", и MuZero, которая играет в шахматы, сёги и го.²⁹

Мы не уверены, создают ли эти системы планы "чтобы достигнуть целей ради самих целей" — мы вообще не уверены, что именно означает высказывание, что у кого-то или чего-то "есть цель". Однако, раз эти системы регулярно строят планы, которые позволяют им достигать целей, наверное, можно сказать, что у них в каком-то смысле есть цели.

Более того, судя по всему, нейронные сети некоторых существующих систем содержат фрагменты, которые в самом деле отвечают за цели.³⁰

Тем не менее, планирование в реальном мире (в отличие от игр) — это гораздо более сложный процесс, и в настоящее время мы не известны какие-либо убедительные примеры целеориентированных планирующих систем или систем, которые демонстрируют высокий уровень стратегического мышления.

Однако, как уже упоминалось, мы ожидаем, что в этом веке системы ИИ будут улучшаться и дальше. И мы полагаем, что в результате появятся системы, обладающие всеми тремя упомянутыми свойствами.

Мы так считаем, потому что существуют достаточно сильные стимулы создавать системы такого рода — например, деньги. Если вкратце: умение планировать, чтобы достигать цели, и реализовывать составленные планы выглядит довольно мощным и универсальным способом влиять на мир.

Судя по всему, чтобы добиваться результатов в реальном мире, эти навыки нужны практически всегда — не важно, идёт ли речь о компании, которая что-то продаёт, человеке, который покупает дом, или правительстве, которое разрабатывает свою политику. Например, подобной мощной системе можно будет назначить цель и ожидать, что она её достигнет — не нужно будет управлять процессом на каждом шаге. Поэтому, судя по всему, планирующие системы будут чрезвычайно полезны с экономической и политической точек зрения.³¹

И обычно люди стремятся создавать то, что кажется им чрезвычайно полезным. Например, ИИ, способный придумать план действий для увеличения прибыли компании (фактически, ИИ, выполняющий роль генерального директора), скорее всего принесёт много денег тем, кто будет им владеть — а это сильный стимул создать такой ИИ.

В итоге, если мы действительно можем построить системы с такими свойствами (а судя по всему, это возможно), то, вероятно, мы их в самом деле построим.³²

Продвинутые планирующие системы легко могут оказаться опасно "незаалайненными"

Есть причины считать, что продвинутые планирующие системы такого рода будут "незаалайненными". Это означает, что они будут стремиться делать то, чего мы бы от них не хотели.³³

Системы могут не стремиться делать именно то, что мы от них хотим, по многим причинам. Например, если мы создаём систему с помощью современных технологий машинного обучения, мы не знаем, как задать ей в точности те цели, которые мы хотим достичь (подробнее ниже).³⁴

В первую очередь мы хотим поговорить о некоторых причинах того, почему системы могут оказаться "незаалайненными" по умолчанию, причём таким образом, что они будут разрабатывать планы, угрожающие возможностям человечества влиять на мир, — даже если мы не хотим потерять эту возможность.³⁵

Что мы подразумеваем под словами "по умолчанию"? В сущности это означает, что если только мы не решим некоторые (потенциально довольно сложные) задачи, то довольно вероятно, что ИИ, который мы создадим, окажется опасным образом незаалайненным. (Это утверждение может оказаться неверным. Возможные аргументы против него мы обсудим позже.)

Почему эти системы могут оказаться опасным образом незаалайненными (если мы ничего не предпримем)

В этом разделе рассматривается центральный довод этой статьи. Мы будем использовать три ранее упомянутые свойства: умение планировать, стратегическое мышление и развитые способности.

Для начала следует понять, что планирующая система, у которой есть цель, также будет ставить "инструментальные цели": промежуточные результаты, помогающие достичь главной цели.

При планировании мы постоянно используем инструментальные цели. Например, старшеклассник, задумывающийся о своей карьере, может решить, что учёба в университете поможет ему в будущем получить работу. В этом случае "поступить в университет" окажется инструментальной целью.

Достаточно продвинутый ИИ также будет использовать инструментальные цели в своих планах.

Если у планирующей системы ИИ также будет достаточно стратегического мышления, она сможет использовать знания о реальном мире (включая информацию о том, что может помешать любым планам) и строить планы, исходя из них. Что особо важно, эти знания будут включать в себя информацию о том, что ресурсы (например, деньги, вычислительные мощности, влияние) и увеличение возможностей — то есть различные формы власти — открывают путь к новым, более эффективным способам достигать целей.

Это означает, что по умолчанию у продвинутых планирующих систем ИИ будут следующие пугающие инструментальные цели:

• Самосохранение — система с большей вероятностью достигнет своих целей, если она всё ещё в состоянии работать над ними. (Как метко выразился Стюарт Рассел: "Ты не можешь принести кофе, если ты мёртв".)

• Защита от любых попыток изменить цели системы — новые цели приведут к другим исходам, а это противоречит текущим целям системы.

• Накопление могущества — например, захват большего количества ресурсов и увеличение собственных возможностей.

Что важнее всего, ИИ будет довольно напрашивающийся способ гарантировать, что он сможет продолжать работу (и его не выключат) и его цели никогда не изменятся: захватить власть над людьми, которые способны на него повлиять (мы обсуждаем вопрос, как именно системы ИИ могут это сделать, в другой статье).

К тому же, системы ИИ, которые мы сейчас обсуждаем, обладают развитыми способностями — то есть, способны справиться с одной или несколькими задачами, решения которых дают людям значительную власть над сегодняшним миром. При наличии настолько развитых способностей достижение упомянутых инструментальных целей не выглядит невозможным. Поэтому, с нашей точки зрения вполне возможно, что система ИИ применит свои способности, чтобы захватить власть, в качестве одного из шагов по реализации своего плана. Если мы не хотим, чтобы созданная нами система ИИ отобрала у нас власть, то такой исход будет особо опасным вариантом отсутствия алайнмента.

В самых радикальных сценариях, планирующая система ИИ с достаточно развитыми способностями может лишить нас власти полностью и навсегда.

Чтобы (пусть и очень нестрого) проверить этот довод, попробуем применить его к людям.

У людей есть множество целей. Для достижения многих из этих целей наличие власти будет преимуществом. Да, далеко не все хотят власти, однако всё же многие пытаются получить её в той или иной форме (накопить денег, получить высокий социальный статус, занять какую-то должность). Это полезно, чтобы в итоге добиться того, чего ты на самом деле хочешь. (Обычно) это не приводит к катастрофе, потому что мы как люди:

• Как правило считаем необходимым соблюдать человеческие нормы и этические правила (даже люди, которые очень хотят разбогатеть, обычно не желают ради этого убивать).

• Не настолько умнее или способнее друг друга. Так что даже люди, которых не сдерживает этика, не способны захватить мир.

(Вопрос о том, действительно ли люди хотят власти, мы рассмотрим ниже.)

У достаточно продвинутого ИИ таких ограничений не будет.

Найти способы предотвратить подобное отсутствие алайнмента может быть сложно

Мы не утверждаем, что любая развитая планирующая система ИИ обязательно попытается накопить побольше власти. Мы хотим сказать, что если мы не найдём способа спроектировать систему так, чтобы у неё не было этой проблемы, мы сильно рискуем.

Кажется вполне правдоподобным, что мы сможем создать систему ИИ, у которой не будет упомянутых проблем с алайнментом, и тем самым предотвратим потерю власти человечеством. В этом разделе мы приведём примеры нескольких стратегий, которые могут нам помочь (а также почему, к сожалению, вероятно, их будет сложно реализовать на практике):³⁸

• Контролировать цели системы ИИ. Возможно, у нас получится спроектировать системы, у которых просто не будет целей, к которым применимы доводы выше. Таким образом у них не будет стимула захватывать власть. Например, возможно, у нас получится найти способы явно потребовать у системы ИИ не вредить людям или найти способ вознаграждать систему ИИ (в обучающем окружении) за то, что она отказывается от определённых форм накопления власти (и также придумать, как закрепить такое поведение за пределами тренировочной среды).

Карлсмит приводит две причины, почему, скорее всего, сделать так будет довольно трудно.

Во-первых, мы не можем явным образом задавать цели для современных ML-систем. Мы лишь вознаграждаем (или наказываем) систему в обучающем окружении так, чтобы она обучалась сама. Это порождает множество сложностей, одна из которых называется "неправильное обобщение цели". Исследователи обнаружили реальные примеры систем, которые, как казалось, в обучающем окружении научились достигать некую цель, однако в новом окружении не смогли понять, что именно является целью здесь. Это повышает вероятность того, что мы подумаем, что мы успешно научили систему ИИ не захватывать власть, но когда мы запустим систему в реальном мире, она всё равно будет к этому стремиться.³⁹

Во-вторых, когда мы задаём цель для системы ИИ (или когда мы ищем способы вознаграждать или наказывать систему во время обучения, потому что не можем задать цель явным образом), мы обычно задаём индикатор, в соответствии с которым система может оценить достигнутый результат (например, это может быть положительная обратная связь со стороны человека). Однако часто такие индикаторы работают не очень хорошо.⁴⁰ В общем случае мы можем ожидать, что даже если нам кажется, что достижение индикатор хорошо коррелирует с успешными результами, система может делать не то, что мы хотим, потому что она оптимизирована именно под этот индикатор. (Именно это иллюстрируют примеры выше про политиков, коммерческие организации и роботизированную руку, которая не научилась хватать шарик.) Более детальные примеры того, как проблемы с индикаторами могут привести к экзистенциальной катастрофе, мы рассматриваем в другой статье.

Если вы хотите подробнее узнать о том, какие встречаются трудности с тем, чтобы задать цель для глубоких нейронных сетей с самоконтролируемым обучением и обучением с подкреплением, мы рекомендуем почитать доклад исследователя проблем управления Ричарда Нго из OpenAI о том, как настоящий обучающий процесс приводит к появлению незаалайненных целей.

• Ограничивать данные, которые поступают к системе ИИ. Система ИИ сможет разработать план для накопления власти только в том случае, если у неё будет достаточно информации о мире, чтобы понять, что накопление власти — это способ достигнуть своих целей.

• Ограничивать способности системы ИИ. Системы ИИ смогут реализовать планы по накоплению власти только в том случае, если у них будут достаточно развитые навыки из числа тех, что дают людям значительную власть в сегодняшнем мире.

Но чтобы какая-то из этих стратегий сработала, необходимо выполнение двух условий:

• Системы ИИ должны оставаться полезными, то есть, успешно конкурировать в экономическом смысле с менее надёжными системами. За ограничение входных данных и ограничение способностей определённо придётся заплатить, поэтому, судя по всему, даже если люди придумают способы это сделать, будет сложно гарантировать, что эти способы действительно будут применяться. И со стратегией управления целями системы есть такая же проблема. Например, вероятно, можно не дать системе ИИ накапливать власть, если она будет обязана сверять все свои решения с людьми. Но такие системы будут значительно медленнее и люди получат от их использования меньше сиюминутной пользы, чем от систем, у которых не будет таких ограничений. В итоге всё равно останутся стимулы использовать более быструю, приносящую сразу больше прибыли незаалайненную систему (стимулы мы подробнее рассмотрим в следующем разделе).

• Стратегия должна работать даже по мере того, как у систем будут улучшаться способности планировать и стратегическое мышление. Некоторые кажущиеся простыми решения (например, попытаться дать системе длинный перечень того, что ей запрещено делать, — например, воровать деньги или физически вредить людям) перестанут работать, когда система научится лучше планировать. Ведь чем лучше система разрабатывает планы, тем более вероятно, что она найдёт лазейки или ошибочные места в стратегии безопасности, и, таким образом, более вероятно, что система разработает план, который будет включать в себя накопление власти.

И сейчас, когда мы изучили результаты исследований этого вопроса и поговорили с экспертами, мы считаем, что в настоящее время нет известных способов построить заалайненную систему ИИ, про которые можно было бы сказать, что они удовлетворяют обоим критериям.

Это был центральный довод. У него существует множество вариаций. Некоторые утверждают, что ИИ будет менять наше будущее постепенно и влиять на человечество менее заметным образом, но это всё равно приведёт к экзистенциальной катастрофе. Другие утверждают, что наиболее вероятный способ лишить человечество власти — это просто убить всех людей. Мы не готовы рассуждать о том, какой сценарий катастрофы является наиболее вероятным. Мы лишь попытались привести основную , с нашей точки зрения, часть рассуждения, почему ИИ представляет собой экзистенциальный риск.

Определённо существуют причины сомневаться в истинности этого довода! Ниже мы рассмотрим некоторые из них, которые представляются нам наиболее вескими. Однако в целом нам кажется крайне вероятным, что по крайней мере для некоторых вариантов развитых планирующих систем будет сложнее построить их так, чтобы они не пытались накапливать власть опасным для человека способом, чем построить систему, склонную к такому поведению.

Если системы ИИ лишат человечество возможности управлять своей судьбой, это будет экзистенциальной катастрофой

Когда мы говорим, что беспокоимся по поводу экзистенциальных катастроф, речь идёт не только о рисках вымирания. Это связано с тем, что корни нашего беспокойства кроются в лонгтермизме: идее о том, что жизни будущих поколений тоже важны, и защищать их интересы — чрезвычайно важно.

Это означает, что экзистенциальной катастрофой считается любое событие, которое может помешать всем будущим поколениям прожить жизнь, полную того, что мы считаем ценным (не важно, идёт речь о счастье, справедливости, красоте или процветании в целом).

Если какая-то система успешно лишит человечества возможности управлять своей судьбой, кажется чрезвычайно маловероятным, что мы сможем вернуть эту возможность. И тогда всё будущее — всё, что случится с появившейся на Земле жизнью до конца времён, — будет определяться целями этой системы. Пусть она и построена нами, но её цели с нашими не совпадают. Возможно, долгое и прекрасное будущее в итоге даже будет создано, но у нас мало причин на это надеяться.⁴¹

При этом мы не утверждаем, что риска уничтожения человечества со стороны ИИ не существует. Наоборот, мы считаем, что уничтожить людей — это довольно вероятный способ, которым система ИИ может полностью и навсегда гарантировать то, что мы не сможем вернуть свою власть обратно.

Несмотря на риск, люди всё равно могут запустить незаалайненный ИИ

Если люди будут знать, что запуск незаалайненного ИИ может привести к таким ужасным последствиям, никто же не будет его создавать и использовать?

К сожалению, есть как минимум две причины, почему люди могут создать и затем запустить незаалайненный ИИ.⁴² Рассмотрим их по очереди.

1. Люди могут посчитать, что ИИ заалайнен, хотя на самом деле это не так

Представим группу исследователей, которые в тестовом окружении пытаются понять, является ли система, которую они построили, заалайненной. Мы утверждаем, что разумный планирующий ИИ захочет улучшить свои способности, чтобы эффективнее достигать своих целей, а это практически всегда будет проще, если его запустят в реальном мире, где доступен более широкий спектр действий. В итоге любой достаточно сложный незаалайненный ИИ попытается понять, что от него хотят исследователи, и как минимум притвориться, что он делает именно это, чтобы исследователи посчитали, что он заалайнен. (Например, система, обучающаяся с подкреплением, может вознаграждаться за видимость определённого поведения во время обучения, независимо от её реальных действий.)

Хочется верить, что мы учтём возможность такого поведения и сможем его обнаружить. Однако поймать на обмане достаточно развитый ИИ, кажется, будет сложнее, чем поймать на лжи человека, что не всегда просто. Например, не исключено, что достаточно развитый ИИ окажется способен заставить нас поверить, что мы решили задачу "как распознать обман со стороны ИИ", хотя на самом деле мы её не решили.

Если системы ИИ научатся хорошо обманывать и у них будут достаточно развитые способности, то для таких систем может оказаться разумным обманывать людей полностью до тех пор, пока они не станут достаточно могущественны, чтобы преодолеть любые препятствия со стороны людей на пути к их целям.

2. Есть мотивы запустить систему ИИ как можно раньше

Также мы можем ожидать, что некоторые люди, способные запустить незаалайненный ИИ, будут стремиться это сделать, невзирая на тревожные сигналы, свидетельствующие о незаалайненности. Это может произойти из-за состояния "гонки", в котором люди будут пытаться запустить свой ИИ раньше, чем это сделает кто-то ещё.

Например, если вы разрабатываете ИИ для того, чтобы улучшить собственное военное или политическое положение, намного полезней успеть его запустить раньше, чем у кого-то из ваших противников появится аналогичный мощный ИИ.

Такие же мотивы могут оказаться даже у людей, которые стремятся построить ИИ, чтобы с его помощью улучшить мир.

Например, допустим, вы потратили многие годы на исследования и разработку мощного ИИ, и вы хотите применить его исключительно для того, чтобы улучшить мир. В очень упрощённом случае возможны два варианта:

1. Этот мощный ИИ будет заалайнен с вашими благородными целями и вы преобразуете общество к лучшему радикальным образом.

2. Ваш ИИ окажется значительно незаалайнен, захватит власть, и человечество больше никогда не сможет управлять своим будущим.

Предположим, вы на 90% уверены, что вам успешно удалось построить заалайненный ИИ. Однако технологии часто развиваются разными группами параллельно примерно с одинаковой скоростью, поэтому достаточно вероятно, что кто-то ещё тоже скоро разработает мощный ИИ. И вы считаете, что ваши конкуренты менее осторожны или менее альтруистичны, поэтому вы оцениваете вероятность того, что их ИИ будет заалайнен с хорошими целями лишь в 80%, и таким образом у вас получается вероятность экзистенциальной катастрофы 20%. И только если вы будете первыми, ваш более полезный ИИ победит. В итоге, возможно, вы решите запустить ваш ИИ, смирившись с риском в 10%.

4. Даже если мы решим проблему стремления к власти, есть и другие риски

До сих пор мы обсуждали сценарии возникновения самого существенного экзистенциального риска с точки зрения большой доли исследователей в данной области⁴³ . Самое существенное для этих сценариев: будет ли ИИ стремиться к власти для того, чтобы достигать своих целей.

Если мы сможем предотвратить поведение, направленное на получение власти, мы значительно снизим этот экзистенциальный риск.

Однако даже если нам это удастся, ИИ представляет и другие возможные риски.

ИИ может сделать войны ещё хуже

Конфликт сверхдержав тоже может всерьёз угрожать нашему миру. А с развитием ИИ война, вполне вероятно, станет выглядеть совсем иначе — из-за распространения летального автономного оружия⁴⁴ или из-за автоматизированного принятия решений.⁴⁵

В некоторых случаях война между сверхдержавами может представлять собой экзистенциальную угрозу: например, в случае применения ядерного оружия. Возможно, ИИ увеличит риски его применения, хотя есть также и доводы в пользу того, что ИИ снизит эти риски.⁴⁶

И наконец, если какая-то из сторон создаст особенно мощный ИИ, это может быть расценено как "решающее стратегическое преимущество". Например, США может создать планирующий ИИ, достаточно разумный для того, чтобы не позволить России или Китаю больше никогда использовать ядерное оружие. В таком случае противники этой стороны могут решиться на первый удар, не дожидаясь, пока разработанные ИИ планы начнут реализовываться.

ИИ могут использовать для создания новой опасной технологии

Мы ожидаем, что системы ИИ помогут ускорить научный прогресс.⁴⁷

Хотя автоматизация научной работы даст многие преимущества — например, быструю разработку новых лекарств — какие-то варианты технологического развития могут представлять угрозу для человечества, в том числе экзистенциальную. Например, опасность может прийти из биотехнологий⁴⁸ (подробнее этот вопрос раскрывается в нашей статье о предотвращении катастрофических пандемий) или от какой-то другой, пока не известной, но опасной технологии.⁴⁹

ИИ может дать больше власти тоталитарным правительствам

Авторитарное правительство с помощью ИИ способно полностью автоматизировать слежку за своими гражданами и репрессии против них, а также существенно влиять на то, какую информацию получают люди, и не исключено, что после этого координировать действия против такого режима станет невозможно.⁵⁰

Если это приведёт к какому-то варианту по-настоящему стабильного тоталитаризма, возможно, жизни людей станут намного хуже на чрезвычайно долгий период времени, то есть, ИИ может привести к довольно пугающему развитию событий.

Прочие риски со стороны ИИ

Также нас беспокоят следующие вопросы, хотя в них мы понимаем меньше:

• Экзистенциальные угрозы, которые являются следствием не стремления к власти со стороны ИИ, а результатом взаимодействия между разными ИИ. (Чтобы системы представляли такой риск, они всё равно должны быть в какой-то степени незаалайнены).

• Прочие способы злонамеренного использования ИИ, о которых мы пока не подумали, — особенно такие, которые могут значительно повлиять на будущие поколения.

• Прочие этические ошибки при проектировании и использовании систем ИИ — особенно в том случае, когда будущие системы ИИ сами по себе будут иметь моральную значимость. Например, возможно, мы (неумышленно) создадим системы ИИ, обладающие сознанием. Возможно, огромное число таких систем будет страдать. Мы считаем этот вопрос чрезвычайно важным, поэтому мы создали для него отдельный профиль.

Итак, насколько вероятна катастрофа, связанная с ИИ?

На этот вопрос чрезвычайно сложно ответить.

У нас нет примеров из прошлого, по которым мы могли бы посчитать, как часто случались такие катастрофы.

Мы можем лишь опираться на доводы вроде тех, что мы привели выше, и на менее релевантные данные, вроде истории технологических достижений. И мы совершенно не готовы утверждать, что наши доводы полностью верны.

Рассмотрим доводы, которые мы привели выше, в разделе про ИИ и стремление к власти. Эти доводы основываются на докладе Карлсмита. В конце своего доклада Карлсмит даёт некоторые грубые оценки вероятностей для каждого этапа своих рассуждений (при условии, что предыдущие этапы тоже верны):

1. К 2070 году станет возможно (в том числе с финансовой точки зрения) построить системы, обладающие стратегическим мышлением, которые превзойдут людей во многих задачах, позволяющих накапливать власть, и которые будут способны строить и реализовывать планы. Карлсмит оценивает вероятность такого события в 65%.

2. При наличии такой возможности, у людей будут сильные мотивы для того, чтобы создать такие системы: 80%.

3. При наличии такой возможности и стимулов к созданию таких систем, будет намного сложнее построить заалайненную систему, не стремящуюся к власти, чем незаалайненную, которая к власти стремиться будет, но запуск которой, тем не менее, будет выглядеть значительно привлекательней: 40%

4. При условии всего вышеперечисленного, некоторые запущенные системы будут накапливать власть незалайненным способом, что приведёт к ущербу более чем на триллион долларов (в пересчёте на доллары 2021 года): 65%.

5. При условии всего вышеперечисленного, незаалайненные системы ИИ в стремлении к власти лишат практически всё человечество возможности управлять собственной судьбой: 40%.

6. При условии всего вышеперечисленного, это будет экзистенциальной катастрофой: 95%.

Перемножив эти числа, Карлсмит получил 5% вероятности того, что его доводы верны и к 2070 году произойдёт экзистенциальная катастрофа, вызванная незаалайненным ИИ, стремящимся к власти. Когда мы поговорили с Карлсмитом, он заметил, что за год, прошедший между написанием его отчёта и публикацией статьи, его общая оценка вероятности экзистенциальной катастрофы к 2070 году, вызванной ИИ, стремящимся к власти, выросла до "больше 10%".⁵¹

Общая вероятность экзистенциальной катастрофы, вызванной ИИ, вероятно, ещё выше, потому что есть и другие сценарии, ведущие к возможной катастрофе — например те, что упомянуты в предыдущем разделе. Хотя мы предполагаем, что эти другие сценарии приводят к экзистенциальной катастрофе с гораздо меньшей вероятностью.

Другая оценка: консультант "80000 часов" философ Тоби Орд в своей книге "На краю пропасти" оценил шансы экзистенциальной катастрофы к 2120 году (по любой причине) как 1/6. 60% от этого риска — это опасность незаалайненного ИИ, что даёт вероятность экзистенциальной катастрофы от незаалайненного ИИ к 2120 году в 10%.

В опросе 2021 года, проведённом среди 44 исследователей, работающих над снижением экзистенциальных рисков со стороны ИИ, медианная оценка риска оказалась равна 32,5%. Наибольший ответ был 98%, наименьший — 2%.⁵² Здесь очевидно присутствует значительная ошибка выборки: люди работают над снижением рисков со стороны ИИ, потому что считают, что эта работа чрезвычайно важна, поэтому нам следует ожидать, что оценки в таком опросе будут существенно выше, чем оценки из других источников. Но здесь мы явно видим значительную неопределённость в том, насколько велик риск, и большой разброс среди ответов.

Эти числа настолько высоки, что они могут даже напугать. Конечно, мы совсем не уверены, что все приведённые доводы верны. Однако в целом это наивысшие оценки величины экзистенциального риска среди всех вопросов, которые мы исследовали (например, пандемии искусственного происхождения, конфликт сверхдержав, изменение климата или ядерная война). И, как мы уже объяснили, мы считаем, что доводы в пользу настолько высоких оценок довольно убедительны. Поэтому, с нашей точки зрения, очень вероятно, что риски со стороны ИИ — это самая важная проблема, стоящая перед человечеством.

5. Со всеми этими рисками можно работать

Мы считаем, что работа над снижением наиболее серьёзных рисков, связанных с ИИ, — это одно из самых важных дел, которыми вы могли бы заниматься.

И дело не только в том, что мы считаем, что эти риски высоки. Мы также считаем, что их вполне реально снизить.

Мы знаем о двух довольно широких подходах:

1. Исследования в области технической безопасности ИИ

2. Разработка и реализация стратегий регулирования в области ИИ

В обоих случаях есть множество способов внести свой вклад. Ниже мы опишем эти способы подробнее, а в этом разделе проиллюстрируем точку зрения, что мы действительно можем что-то сделать в отношении упомянутых рисков.

Исследования в области технической безопасности ИИ

Польза от трансформационного ИИ может быть огромна, и над его разработкой работают множество различных действующих лиц в разных странах, поэтому предотвратить его появление, вероятно, было бы довольно сложно.

(Кроме того, вероятно, это вообще не самая лучшая идея: ведь таким образом вместе с предотвращением рисков мы отказываемся от возможных выгод.)

Поэтому мы считаем, что гораздо разумнее сосредоточиться на том, чтобы гарантировать, что разработанный трансформационный ИИ будет безопасным, то есть сделать так, чтобы мы с высокой вероятностью избежали всех катастрофических исходов, перечисленных выше.

Один из способов этого добиться — это попытаться разработать технические решения, которые бы предотвращали поведение, направленное на захват власти, которое мы обсуждали выше. Это направление обычно называют "технической безопасностью ИИ". Иногда для краткости просто говорят: "безопасность ИИ".

Подробнее об исследованиях в области технической безопасности ИИ читайте ниже.

Разработка и реализация стратегий регулирования в области ИИ

Второй подход, направленный на снижение рисков со стороны ИИ, заключается в том, чтобы влиять на его разработку с помощью регулирования, создания норм и прочих механизмов управления.

Хорошее регулирование в области ИИ может помочь работе над технической безопасностью. Например, оно может способствовать появлению соглашений о безопасности между корпорациями или помочь талантливым исследователям в области безопасности со всего мира переезжать туда, где они смогут принести максимум пользы. Регулирование в области ИИ может также помочь и с другими проблемами, которые порождают риски, например с состоянием "гонки".

Однако, как мы уже упоминали, даже если мы успешно построим ИИ, который делает именно то, что мы хотим (т.е. решим проблему алайнмента), мы, тем не менее, можем потребовать от него сделать что-то плохое! Поэтому нам следует беспокоиться не только о стимулах для систем ИИ, но и о мотивации использующих их людей.

Подробнее о разработке и реализации стратегий регулирования в области ИИ читайте ниже.

6. Эта работа чрезвычайно недооценена

По нашим оценкам над снижением рисков экзистенциальной катастрофы, связанной с ИИ, напрямую работает лишь около 400 человек во всём мире (90% доверительный интервал — от 200 до 1000). Из них примерно три четверти работают над техническими вопросами безопасности ИИ, а остальные занимаются разработкой стратегий (и другими вопросами регулирования) или популяризацией.⁵³ . Мы считаем, что на вспомогательных должностях работают примерно 800 человек, но в этой оценке мы очень сильно не уверены.⁵⁴

В своей книге "На краю пропасти" Орд оценивает, что на снижение рисков со стороны ИИ в 2020 году было потрачено от 10 до 50 миллионов долларов.

Может показаться, что это огромная сумма, но мы расходуем примерно в тысячу раз больше⁵⁵ на то, чтобы быстрее разрабатывать трансформационный ИИ, — примерно столько тратят крупные лаборатории на исследование и разработку ИИ в коммерческих целях.

Предлагаем также сравнить упомянутые 50 миллионов долларов, потраченные на безопасность ИИ в 2020 году, с несколькими сотнями миллиардов долларов в год, которые мы тратим на борьбу с изменением климата.

Поскольку эта область настолько недооценена, а ставки в ней настолько высоки, мы считаем, что если вы будете работать над рисками со стороны ИИ, польза от вашей работы может оказаться намного выше, чем от работы во многих других областях. Именно поэтому для желающих значительно улучшить мир мы в первую очередь рекомендуем два направления работы: техническая безопасность ИИ и разработка и реализация стратегий регулирования ИИ.

Какие мы знаем лучшие аргументы в пользу того, что мы неправы?

Как мы уже писали выше, у нас нет полной уверенности в правильности наших доводов о том, что ИИ представляет экзистенциальную угрозу. И хотя мы считаем, что шансы катастрофы со стороны ИИ достаточно высоки и они оправдывают потраченное время многих людей, которые попытаются предотвратить такой исход, мы также хотим быть честными в отношении аргументов против этого, чтобы вам было легче составить своё мнение по этому вопросу.

Здесь мы рассмотрим самые сильные (с нашей точки зрения) причины считать, что эта проблема не слишком важна. В следующем разделе мы рассмотрим некоторые популярные возражения, которые (с нашей точки зрения) менее весомы.

Доводы против работы над рисками со стороны ИИ, на которые, как мы считаем, есть весомые ответы

Только что мы обсудили основные возражения против работы над рисками со стороны ИИ, которые мы считаем наиболее убедительными. В этом разделе мы рассмотрим возражения, которые считаем менее убедительными, и объясним, почему мы так считаем.

Что конкретно ты можешь сделать, чтобы помочь

Как мы упоминали выше, нам известно два основных направления работы над снижением экзистенциальных рисков со стороны ИИ:

1. Исследования в области технической безопасности ИИ

2. Разработка и реализация стратегий/политики регулирования в области ИИ

Больше всего вы поможете, если будете работать в одной из этих областей или в какой-то смежной области

В первую очередь надо узнать больше о технологиях, задачах и возможных решениях. Мы подготовили несколько списков наших любимых ресурсов. В первую очередь мы рекомендуем заглянуть в учебный план технического алайнмента от "AGI Safety Fundamentals".

Тем, кто решает работать в этой области, мы обычно рекомендуем идти в организации, которые в первую очередь сосредоточены именно на этой проблеме (хотя кроме работы в уже существующих организациях, есть и другие способы помочь).

Техническая безопасность ИИ

Направления работы

В области технической безопасности ИИ есть множество направлений, например:

• Работа над конкретными идеями о том, как сделать будущие системы ИИ безопасными, такими как итерационные дистилляция и усиление, безопасность ИИ через обсуждение, создание ИИ-помощников, которые не уверены по поводу наших целей и изучают их, взаимодействуя с нами или поиск способов заставить системы ИИ, обученные с помощью стохастического градиентного спуска, правдиво сообщать, что они знают. Подробнее об этом пишет Хубингер в статье "11 возможных предложений, как создать безопасный развитый ИИ".

• Исследования интерпретируемости — попытки разобраться в том, что на самом деле происходит внутри нейронных сетей. В этом направлении уже есть некоторые успехи (например, см. статью Олы и др., "Рассмотрим детали: Введение в цепи"). Больше подробностей об этих исследованиях вы можете прочитать в заметке Хубингера "Дерево технологий прозрачности и интерпретируемости". Также вы можете прочитать заметку Нанды "Длинный перечень теорий влияния на интерпретируемость" о том, как исследования интерпретируемости могут снизить экзистенциальные риски со стороны ИИ.

• Исследования по увеличению надёжности нейронных сетей — как обеспечить, чтобы поведение, которое демонстрирует нейронная сеть при обучении на одних данных, сохранялось и при работе на других данных. Другими словами, чтобы система ИИ не могла поменять своё поведение на небезопасное.

• Работа над созданием кооперирующегося ИИ — поиск способов гарантировать, что даже если отдельные системы ИИ, судя по всему, безопасны, они не приведут к плохим последствиям в результате взаимодействия с людьми или другими системами. Подробнее читайте в статье "Открытые проблемы кооперирующегося ИИ Дефо и др. или на сайте Cooperative AI Foundation.

Больше подробностей о задачах во всей этой области и о подходах к их решению можно прочитать в статье Нанды.

Основные организации

Лаборатории, занимающиеся ИИ, у которых есть команды, работающие над технической безопасностью, или которые целиком сосредоточены на вопросах безопасности:

• Anthropic — компания, занимающаяся безопасностью ИИ и работающая над созданием интерпретируемых и безопасных систем ИИ. Они сосредоточены на эмпирических исследованиях безопасности ИИ. Основатели Anthropic Даниэла и Дарио Амодей давали интервью об их лаборатории в подкасте Института будущего жизни. В нашем подкасте мы разговаривали с Крисом Олой, который возглавляет в Anthropic’е исследования по интерпретируемости, и Новой ДасСармой, который работает в Anthropic'е над информационной безопасностью.

• DeepMind — вероятно, крупнейшая и самая известная исследовательская группа, разрабатывающая сильный искусственный интеллект. Известна тем, что создала AlphaGo, AlphaZero и AlphaFold. Безопасность ИИ не является их основной задачей, однако у них есть две команды, которые работают над безопасностью. Владельцем DeepMind является холдинг Alphabet (родительская компания Гугла).

• Center for AI Safety — некоммерческая организация, которая занимается техническими исследованиями, а также популяризацией вопросов безопасности среди занимающихся машинным обучением.

• OpenAI — основанная в 2015 году лаборатория, пытающаяся построить сильный искусственный интеллект, который будет безопасным и принесёт пользу всему человечеству. OpenAI известна своими языковыми моделями — например, GPT-3, — и в ней есть команда по безопасности и команда по регулированию. Ян Лейке (глава команды алайнмента) иногда пишет в свой блог о том, что он думает про алайнмент ИИ.

• Ought — лаборатория, занимающаяся машинным обучением и разрабатывающая Elicit, ИИ, помогающий в научных исследованиях. Их цель — заалайнить рассуждения по открытым вопросам посредством изучения, как рассуждают люди и использовать прогресс в области ИИ для оценки свидетельств и аргументов.

• Redwood Research — исследовательская организация, работающая над безопасностью ИИ. Их первый большой проект — это попытка обеспечить, чтобы языковые модели (вроде GPT-3) выдавали ответы, следуя определённым правилам с очень высокой вероятностью. Это направлено на работу с ошибками, которые при обычном обучении обнаруживаются слишком редко.

Лаборатории, занимающиеся безопасностью ИИ на теоретическом уровне:

• Alignment Research Center (ARC) пытается создавать стратегии алайнмента, которые можно было бы применить уже сегодня, но которые при этом можно было бы масштабировать для будущих систем. Они в первую очередь занимаются теоретической работой: разрабатывают стратегии, которые могут помочь решить проблему алайнмента и могут оказаться перспективными для эмпирических исследований. Их первым проектом был доклад о выявлении скрытого знания — задачи о том, как сделать так, чтобы развитый ИИ честно сообщал нам свои убеждения (или "убеждения") о мире. В нашем подкасте мы брали интервью у основателя ARC Пола Кристиано (это было до того, как он основал ARC).

• Center on Long-Term Risk работает над проблемой худших рисков со стороны продвинутого ИИ. В первую очередь они занимаются вопросами конфликтов между системами ИИ.

• Machine Intelligence Research Institute — группа, которая ещё в начале 2000-х одной из первых начала заниматься рисками со стороны машинного интеллекта. Их команда опубликовала ряд статей о вопросах безопасности и о том, как их решать.

Безопасность ИИ в научных институтах:

• Группа алгоритмического алайнмента в лаборатории информатики и искусственного интеллекта в МТИ, возглавляемая Диланом Хэдфилд-Менеллом.

• Центр совместимого с человеком ИИ в Калифорнийском универститете в Беркли, возглавляемый Стюартом Расселом. Центр в первую очередь занимается научными исследованиями, направленными на то, чтобы гарантировать, что ИИ будет безопасным и полезным для людей. (В нашем подкасте со Стюартом Расселом мы изучаем его подход к созданию такого ИИ.)

• Исследовательская группа Джейкоба Стейнхардта на факультете статистики в Калифорнийском университете в Беркли.

• Исследовательская группа Сэма Боумана в Нью-Йоркском университете, занимающаяся машинным обучением для работы с естественными языками.

• Исследовательская группа Дэвида Крюгера в лаборатории вычислительного и биологического обучения в Кембриджском университете.

• Foundations of Cooperative AI Lab в университете Карнеги — Меллона.

• В Институте будущего человечества в Оксфордском университете есть исследовательская группа по вопросам безопасности ИИ.

Если вам хочется узнать больше про техническую безопасность ИИ как область исследований — то есть про различные методы, направления мысли и модели угроз — мы в первую очередь рекомендуем курс по техническому алайнменту от "AGI Safety Fundamentals".

Мы обсуждаем это направление работы более подробно по следующей ссылке (хотя информация там несколько устарела по сравнению с этой статьёй):

Обзор профессионального пути исследователя в области технической безопасности ИИ

Если же вам хочется более конкретных и пошаговых рекомендаций (и поменьше вводных слов), то ознакомьтесь с вот этим подробным руководством о том, как начать работать над алайнментом ИИ.

Важно заметить, что для участия в исследованиях в области безопасности ИИ не обязательно быть учёным или экспертом в ИИ или безопасности ИИ. Например, во многих местах, где занимаются исследованиями в области технической безопасности, нужны программисты. Ниже мы упоминаем ещё несколько профессий.

Регулирование и стратегии в отношении ИИ

Направления работы

Помимо технических задач есть также множество различных сложностей и неопределённостей в области регулирования. Например:

• Проблемы координации, которые увеличивают риски со стороны ИИ (например, могут появиться стимулы использовать ИИ для личных выгод в ущерб другим или условия сильной конкуренции, которые снизят мотивацию разрабатывать ИИ осторожно и безопасно).

• Риски от случайных происшествий или использования ИИ во вред могут быть значительными, даже если мы сможем предотвратить поведение, направленное на захват власти (это обсуждалось выше).

• Недостаточно понятно, как и когда точно могут сработать риски со стороны ИИ (в особенности со стороны ИИ с тягой к власти).

• Недостаточно понятно, какие мы должны ставить перед собой промежуточные цели, т.е. чего мы должны достичь, чтобы уменьшить экзистенциальный риск со стороны ИИ.

Чтобы решать эти вопросы, нужно заниматься как исследованиями, так и разработкой и реализацией стратегий.⁵⁹

Сейчас мы лишь начинаем разбираться, какая именно задача стоит перед нами и как её эффективнее всего решать. Поэтому очень важно проводить больше исследований. Это включает в себя исследования в области прогнозов о том, что нам следует ожидать, и исследования в области стратегий и регулирования, чтобы понять, какими действиями легче всего уменьшить риски.

Но при этом, поскольку ИИ начинает влиять на наше общество всё сильнее, критически важно, чтобы правительства и корпорации влияли на его развитие, руководствуясь лучшими стратегиями. Например, правительства могли бы навязывать соглашения, не позволяющие экономить на безопасности, поддерживать работу тех исследователей, чья работа с меньшей вероятностью причинит вред, или способствовать тому, чтобы блага от ИИ распределялись более равномерно. Поэтому, возможно, рано или поздно очень важными направлениями окажутся популяризация и лоббирование подходящих стратегий регулирования в области ИИ. Хотя сейчас мы ещё не представляем, какие стратегии было бы полезно реализовать.

Основные организации

Организации, занимающиеся вопросами стратегии и регулирования в области ИИ:

• AI Impacts пытается найти ответы на все возможные вопросы, связанные с будущим ИИ, вроде “Насколько вероятен резкий скачок способностей ИИ, когда он достигнет человеческого уровня?”

• AI Security Initiative в Центре долгосрочной кибербезопасности Калифорнийского университета в Беркли.

• Centre for the Governance of AI (GovAI) стремится построить всемирное исследовательское сообщество, цель которого — помочь человечеству успешно прийти к миру, где есть развитый ИИ. В нашем подкасте мы беседовали о недостатках классических аргументов про риски со стороны ИИ с Беном Гарфинкелем, исполняющим обязанности директора GovAI, и о создаваемом ИИ дестабилизирующем эффекте с Алленом Дефо, президентом GovAI и руководителем команды, занимающейся долгосрочной стратегией и регулированием в DeepMind.

• Centre for Long-Term Resilience — независимый научно-исследовательский институт в Великобритании, занимающийся экзистенциальными рисками, в том числе со стороны ИИ.

• Center for Security and Emerging Technology в Джорджтауне исследует основы ИИ (способности, данные и вычислительные ресурсы). Он сосредоточен на том, как можно использовать ИИ в национальной безопасности. Если хотите узнать больше, слушайте наш подкаст с Хеленой Тонер, их директором по стратегии.

• В Центре изучения экзистенциальных рисков в Кембриджском университете есть группа, занимающаяся вопросами регулирования ИИ.

• В DeepMind и OpenAI есть команды, которые занимаются вопросами регулирования (слушайте наш подкаст с сотрудниками команды по регулированию из OpenAI и подкаст с Алленом Дефо, главой команды DeepMind, занимающейся вопросами управления).

• Институт будущего жизни популяризирует вопросы рисков со стороны ИИ внутри научного сообщества и выдаёт гранты на работы, посвящённые безопасности ИИ.

• В Институте будущего человечества в Оксфордском университете есть исследовательская группа по макростратегии, которая занимается вопросами будущего ИИ и его влиянием на экзистенциальные риски.

• Leverhulme Centre for the Future of Intelligence — междисциплинарный исследовательский центр в Кембриджском университете, занимающийся вопросами влияния ИИ на человечество.

• Open Philanthropy выдаёт гранты организациям, помогающим улучшать мир. Поэтому у них есть исследовательские команды, изучающие проблемы, которыми занимаются эти организации, в том числе команда, изучающая возможные риски со стороны продвинутого ИИ. В нашем подкасте мы беседовали с Холденом Карнофским, одним из директоров Open Philanthropy, о том, что он думает по поводу рисков со стороны ИИ. (Примечание: Open Philanthropy — крупнейший спонсор "80 000 часов".)

• В Rethink Priorities есть команда, занимающаяся регулированием и стратегиями в области ИИ.

Если вы хотите узнать больше о вопросах регулирования в области ИИ, в первую очередь мы рекомендуем присмотреться к курсу по этой теме от AGI safety fundamentals.

Более подробно мы обсуждаем это карьерное направление здесь:

Карьера в области регулирования и стратегии в отношении ИИ

Также обратите внимание: возможно, людям, которые хорошо для этого подходят, особенно рекомендуется работать над Регулированием и стратегиями в отношении ИИ в Китае.

Вспомогательные (и тем не менее очень важные) должности

Даже в исследовательских организациях примерно половина персонала занимается вспомогательными задачами, которые необходимы, чтобы организация работала как можно более продуктивно. Очень важно, чтобы на таких должностях тоже были высокопродуктивные люди.

Мы считаем, что важность этих должностей часто недооценивают, потому что их работа менее заметна. Чтобы помочь большему числу людей пойти на такую работу и преуспеть, мы написали несколько обзоров про эти направления. Например:

• Операционный менеджмент помогает организациям, которые приносят пользу, расти и функционировать максимально продуктивно.

• Управление исследованиями в организациях, исследующих вопросы безопасности ИИ.

• Можно быть исполнительным помощником для кого-то, кто занимается чем-то очень важным в области безопасности и управления.

• Другие нетехнические должности в ведущих лабораториях, занимающихся ИИ.

Другие способы помочь

Безопасность ИИ — это очень сложная проблема. Поэтому для её решения нужна помощь людей, занимающихся совершенно разными делами.

Один из важнейших способов помочь — это работать кем-то, кто направляет финансирование или людей на решение проблемы рисков со стороны ИИ, а не занимается проблемой напрямую. У нас есть обзоры подобных направлений деятельности, например:

• Создавать новые проекты — в данном случае начинать какую-то новую деятельность, направленную на снижение рисков со стороны продвинутого ИИ.

• Выдавать гранты на финансирование многообещающих проектов, направленных на снижение катастрофических рисков со стороны ИИ.

• Распространять идеи.

• Помогать создавать сообщества людей, работающих над этой проблемой. Полезнее всего создавать сообщества, посвящённые собственно безопасности ИИ, однако также может быть полезно создавать сообщества людей, работающих над самыми критическими для мира проблемами (включая риски со стороны ИИ).

Во всех этих случаях есть множество причин, почему что-нибудь может пойти не так, поэтому в первую очередь нужно более детально изучить проблему.

Есть также другие технические должности (помимо собственно исследователей вопросов безопасности), на которых вы можете внести свой вклад в решение проблемы. Например, вы можете:

• Работать в области информационной безопасности, чтобы защитить ИИ (или результаты важных экспериментов) от кражи, злонамеренного использования или модификации.

• Стать специалистом в области аппаратного обеспечения для ИИ и направить развитие ИИ в безопасном направлении таким образом.

Вы можете почитать обо всех этих направлениях деятельности — почему мы считаем, что они полезны, как начать в них работать и как можно предсказать, подходят ли они вам — на нашей странице обзоров профессиональных путей.

Найди предложения о работе на нашей доске объявлений

Лучшие ресурсы, чтобы узнать больше

На протяжении этой статьи мы вывалили на тебя множество ссылок для дальнейшего чтения. Ниже перечислены те из них, которые мы считаем самыми лучшими:

• "ИИ может победить всех нас, вместе взятых" и цикл постов “Самое важное столетие” в блоге Холдена Карнофского, одного из директоров Open Philanthropy. В них автор утверждает, что из-за ИИ XXI век может стать самым важным столетием во всей истории человечества.

• "Почему для современного машинного обучения может быть сложно решить задачу алайнмента ИИ", написанная исследовательницей Котрой из Open Philanthropy. Это вводный текст, в котором объясняется, каким образом при современных методах машинного обучения могут реализоваться риски ИИ, ищущего власти. В её же статье "Без принятия специальных мер простейший путь к трансформационному ИИ, скорее всего, приведёт к захвату этим ИИ власти" этот вопрос описывается более подробно (мы рекомендуем эту статью людям, знакомым с ML).

• "Безопасность СИИ с чистого листа" — взгляд Ричарда Нго, исследователя вопросов регулирования из OpenAI, на то, как думать о вопросах риска со стороны сильного искусственного интеллекта.⁶⁰

• "ИИ, стремящийся к власти, — это экзистенциальный риск?", написанная Джозефом Карлсмитом, исследователем из Open Philanthropy, подробно раскрывает тему того, как и почему ИИ может привести к тому, что человечество не сможет более управлять своей судьбой (предупреждаем: эта статья длиннее даже той, что вы сейчас читаете!). Краткое резюме этой статьи можно увидеть в выступлении Карслмита на эту же тему.

• "Как ИИ может выйти из под контроля: разбор сценариев", написанная Сэмом Кларком и Сэмми Мартином, резюмирует различные варианты, как в случае ИИ что-нибудь может пойти не так.

• "Регулирование ИИ: Возможность и теория вклада", написанная главой команды по регулированию из DeepMind Алленом Дефо рассматривает варианты, как исследования в области регулирования ИИ могут что-то изменить.

• "Взгляд на алайнмент ИИ с высоты птичьего полёта", написанная Нилом Нандой, перечисляет, как исследования в области технического алайнмента могут снизить риск с стороны ИИ.

• Эван Хубингер в своей статье "11 предложений, как создать безопасный продвинутый ИИ обсуждает и оценивает различные методы решения задачи алайнмента ИИ.

• Подкасты: "AI X-risk Research Podcast", а именно выпуск 12 с Полом Кристиано и выпуск 13 с Ричардом Нго. Оба этих выпуска —прекрасное введение в вопрос рисков со стороны ИИ.

В подкасте "80 000 часов" у нас было множество подробных интервью с людьми, которые активно работают над тем, чтобы разработка искусственного интеллекта принесла человечеству пользу:

• Пол Кристиано рассказывает о своём видении того, как человечество может постепенно передать принятие решений системам ИИ.

• Аллен Дефо рассказывает о попытках подготовить мир к возможности, что ИИ дестабилизирует мировую политику.

• Ричард Нго из OpenAI обсуждает большие языковые модели и стремление сделать так, чтобы в будущем всё было хорошо.

• Дарио Амодей из Anthropic объясняет, как стать исследователем ИИ.

• Майлз Брандедж из OpenAI объясняет, как начать заниматься стратегиями в области ИИ.

• Холден Карнофский, сооснователь GiveWell и Open Philanthropy был у нас в двух подкастах: он объясняет, что благотворительность может принести максимальную пользу, если принимать очень рискованные решения (также в этом подкасте обсуждается его работа над тем, чтобы разработка ИИ принесла пользу человечеству), и он обсуждает почему это столетие может оказаться самым важным в истории человечества.

• Докторская диссертация или программирование? Быстрые способы начать работать над алайнментом ИИ в качестве специалиста по машинному обучению — рассказывают специалисты по ML Катерина Олсон и Даниель Циглер.

• Ян Лейке (ныне глава команды алайнмента в OpenAI) объясняет, как стать исследователем алайнмента в машинном обучении.

Если вы хотите копнуть гораздо глубже, рекомендуем начать с курсов AGI safety fundamentals. Можно выбрать одно из двух направлений: технический алайнмент или регулирование ИИ.

И наконец есть несколько сайтов, которые, возможно, покажутся вам интересными:

• AI Alignment Forum, где общаются исследователи в области технической безопасности ИИ.

• AI Impacts — проект, направленный на то, чтобы общество лучше понимало возможные последствия появления искусственного интеллекта человеческого уровня.

• Alignment Newsletter еженедельно публикует свежие материалы, связанные с алайнментом ИИ. У них уже тысячи подписчиков.

• Import AI — еженедельная рассылка об искусственном интеллекте, которую ведёт Джек Кларк (сооснователь Anthropic). Её уже читают более 10 тысяч специалистов.

• ChinAI Newsletter, которую ведёт Джефф Дин. В ней еженедельно публикуются переводы китайских текстов о происходящем в области ИИ в Китае.

Благодарности

Огромное спасибо Жоэлю Беккеру, Тамаю Бесироглу, Джон-Ун Пён, Джозефу Карлсмиту, Джессу Клифтону, Эмри Купер, Аджее Котре, Эндрю Критчу, Энтони ДиДжованни, Ноэми Дрекслер, Бену Эдельману, Лукасу Финнведену, Эмили Фрайцель, Бену Гарфинкелю, Кате Грейс, Льюису Хэммонду, Джейкобу Хилтону, Самуэлю Хилтону, Мишель Хатчинсон, Каролине Дженмер, Куану Джейапрагасану, Арден Кёлер, Даниелю Кокотайло, Виктории Краковне, Алексу Лоусену, Хоуи Лемпелу, Элаю Лифланду, Кэти Мур, Люку Мюльхаузеру, Нилу Нанде, Лин Чи Нгуен, Луизе Родригес, Каспару Остерхелду, Итану Перецу, Чарли Роджерсу-Смиту, Джеку Райану, Роину Шаа, Баку Шлегерису, Марлен Стейб, Андреасу Штульмюллеру, Люку Стеббингу, Нейту Томасу, Бенджамину Тодду, Стефану Торджесу, Майклу Таунсенду, Крису ван Мервийку, Ялмару Вийку и Марку Сюю за их рецензии на эту статью или за чрезвычайно вдумчивые и полезные комментарии и беседы. (Это не означает, что все вышеперечисленные согласны со всем, что мы написали в статье: на самом деле во многих комментариях их авторы не соглашались довольно энергично!)