Почему мы считаем, что снижение рисков от ИИ — одна из важнейших задач нашего времени? Если вкратце, у нас есть следующие причины:

1. Даже не вдаваясь в непосредственную аргументацию, можно заметить некоторые причины для беспокойства: многие эксперты по ИИ считают, что есть малая, однако существенная, вероятность, что появление ИИ приведёт к плохим последствиям вплоть до исчезновения человечества.

2. Мы развиваем ИИ чрезвычайно быстро, и это означает, что системы ИИ смогут значительно влиять на общество и это случится очень скоро.

3. Есть сильные доводы в пользу того, что "ищущий власти" ИИ может представлять экзистенциальную угрозу для человечества⁸ , которые мы рассмотрим ниже.

4. Если мы даже решим проблему поиска власти, есть и другие риски.

5. Мы считаем, что со всеми этими рисками можно работать.

6. Эта работа чрезвычайно недооценена.

Мы по очереди разберём каждый из этих пунктов, затем рассмотрим лучшие из контраргументов, расскажем, чем конкретно вы можете помочь, и в конце перечислим некоторые из лучших ресурсов, где вы можете узнать больше об этой области.

1. Многие эксперты по ИИ считают, что есть существенная вероятность появления ИИ, которое приведёт к плохим последствиям вплоть до исчезновения человечества

Если ты считаешь, что некая новая технология станет очень опасной (и возможно даже приведёт к исчезновению человечества), но все, кто реально работают над этой технологией, думают, что твои опасения беспочвенны, то, вероятно, ты что-то упускаешь.

Поэтому перед тем, как переходить к аргументам по поводу рисков от ИИ, давай посмотрим, что думают эксперты.

Мы изучили три опроса исследователей ИИ, работы которых публиковались в тезисах конференций NeurIPS и ICML (две самые престижные конференции, посвящённые машинному обучению). Опросы проводились в 2016, 2019 и 2022 годах.⁹

Важно помнить, что в подобных опросах может быть значительная ошибка выборки. Например, не исключено, что исследователи, участвующие в престижнейших конференциях по ИИ, более оптимистичны по отношению к ИИ, поскольку они привыкли считать, что исследования ИИ — это полезное дело. Или наоборот, возможно, исследователи, у которых есть опасения по поводу ИИ, более склонны участвовать в подобных опросах.¹⁰

Тем не менее, вот что мы обнаружили:

Во всех трёх опросах по мнению медианного исследователя вероятность того, что последствия появления ИИ окажутся "чрезвычайно хорошими", довольно высока: 20% в опросе 2016 года, 20% в опросе 2019 года, и 10% — в опросе 2020 года.¹¹

И в самом деле ИИ уже приносят значительную пользу: например, при уходе за больными или в научных исследованиях.

Однако также во всех трёх опросах медианный исследователь считал, что существует небольшая, но тем не менее существенная вероятность того, что последствия появления ИИ окажутся "чрезвычайно плохими (например, исчезновение человечества)": в 2016 году такая вероятность оценивалась в 5%, в 2019 — в 2%, в 2022 — в 5%.^{12 13}

В опросе 2022 года участникам задали отдельный вопрос про вероятность экзистенциальной катастрофы, вызванной будущим прогрессом в области ИИ. И снова больше половины исследователей считали, что эта вероятность больше 5%.¹⁴

Итак, эксперты расходятся в оценках того, насколько ИИ представляет собой экзистенциальный риск — вид угрозы, которая, как мы утверждаем, чрезвычайно важна с этической точки зрения.

Это соотносится с нашими представлениями о текущем прогрессе в области исследования ИИ. В DeepMind и OpenAI — ведущих лабораториях по разработке ИИ — также есть команды, задача которых понять, как решить вопросы безопасности, которые, как мы считаем по причинам изложенным ниже, ведут к экзистенциальной угрозе для человечества.¹⁵

Есть и другие научные исследовательские группы (например, в МТИ, Оксфорде, Кембридже, университете Карнеги — Меллона и Калифорнийском университете в Беркли), которые занимаются теми же проблемами технической безопасности ИИ.¹⁶

Сложно точно понять, какой отсюда следует сделать вывод, однако, с нашей точки зрения, это показывает, что мнение о том, что есть существенный риск плохого исхода вплоть до экзистенциальной катастрофы, не является маргинальным среди специалистов по данному вопросу.

Тем не менее, остаётся вопрос: почему мы согласны именно с теми, кто обеспокоен больше? Если вкратце, то потому что существуют аргументы в пользу того, что ИИ действительно может представлять собой экзистенциальную угрозу, и мы считаем их убедительными. Эти аргументы мы подробно разберём далее.

Важно понимать, что даже если многие эксперты признают существование некоторой проблемы, то это ещё не означает, что всё в порядке и у них всё под контролем. В целом мы считаем, что эта проблема чрезвычайно недооценена: непосредственно над ней работают всего лишь примерно 300 человек в мире (более подробно читайте далее).

И в то же время на развитие ИИ ежегодно тратятся миллиарды долларов.¹⁷ 文

2. Мы развиваем ИИ чрезвычайно быстро

Прежде чем мы попытаемся разобраться, как может выглядеть будущее ИИ, полезно посмотреть: а что ИИ уже умеет?

В число современных технологий ИИ входит "машинное обучение" (ML), которое основано на том, что модели автоматически улучшаются за счёт входных данных. Наиболее популярная сейчас форма машинного обучения известна как глубокое обучение.

Сегодня ML-системы могут выполнять лишь очень малую долю задач, которые способны решать люди. И почти у всех из них очень узкая специализация (например, играть в одну конкретную игру или создавать конкретный тип картинок).

Тем не менее, после массового распространения глубокого обучения в середине 2010-х ML-системы научились очень-очень многому. Вот краткий перечень лишь некоторых достижений, которые мы увидели начиная с 2019 года:

• AlphaStar, обыгравшая лучших профессиональных игроков в StarCraft II (январь 2019)

• MuZero, единая система, которая научилась выигрывать в шахматы, сёги и го — хотя ей даже не объясняли правила (ноябрь 2019)

• GPT-3, модель естественного языка, создающая высококачественный текст (май 2020)

• GPT-f, решающая некоторые задачи математических олимпиад (сентябрь 2020)

• AlphaFold 2, огромный шаг вперёд в решении очень давней задачи фолдинга белка (июль 2021)

• Codex, создающий программный код на основе команд на естественном языке (август 2021)

• PaLM, языковая модель, продемонстрировавшая впечатляющие способности рассуждать о причинах и следствиях, а также объяснять шутки (апрель 2022)

• DALL-E 2 (апрель 2022) и Imagen (май 2022), две модели, способные создавать высококачественные изображения на основе словесного описания

• SayCan, управляющая роботом на основе команд на естественном языке (апрель 2022)

• Gato, единая ML-модель, способная выполнять множество разных задач (например, играть в Атари, давать названия картинкам, общаться в чатах и складывать блоки с помощью реальной роботизированной руки) — решение о том, что именно нужно дать на выход, она принимает на основе контекста (май 2022)

• Minerva способна решать сложные математические задачи. Она неплохо справляется на уровне колледжа и ещё лучше на уровне математических соревнований для старшеклассников. (Minerva оказалась гораздо более успешной, чем предсказывали прогнозисты в 2021 году.)

Если вы чем-то похожи на нас, вас тоже удивила сложность и разнообразность задач, которые решают эти системы.

И если технологии и дальше будут развиваться с той же скоростью, видимо, это очень сильно повлияет на общество. Как минимум, автоматизация соответствующих задач сделает их выполнение дешевле. В итоге мы увидим значительный экономический рост (возможно даже сравнимый с ростом во время промышленной революции).

Если у нас получится частично или полностью автоматизировать получение новых научных результатов, возможно, общество и технологии изменятся ещё более радикально.¹⁸

И, возможно, это будет лишь только начало. Возможно, у нас появятся компьютеры, которые рано или поздно автоматизируют абсолютно всё, что делают люди. Кажется, это вполне вероятно — по меньшей мере, теоретически, — просто потому, что достаточно сложный компьютер при достаточном количестве энергии сможет симулировать человеческий мозг. Это уже само по себе способ автоматизировать всё, что могут делать люди (пусть и не самый эффективный).

И как мы увидим в следующем разделе, есть свидетельства, что автоматизация может распространяться благодаря масштабированию уже имеющихся технологий.

Способности ML-систем в последнее время стремительно растут

Чтобы построить ИИ с помощью машинного обучения, нужны три составляющие:

1. Хорошие алгоритмы (то есть, более эффективные алгоритмы лучше)

2. Данные, чтобы тренировать алгоритмы

3. Достаточно вычислительных ресурсов, чтобы обучать модель

Мы поговорили с Данни Эрнандесом, который (в то время) был исследователем в команде прогнозистов OpenAI. Эрнандес и его команда изучали, как две из этих составляющих (вычислительные ресурсы и эффективность алгоритмов) менялись со временем.

Они обнаружили, что после 2012 года количество вычислительных ресурсов, используемых для обучения самых больших моделей ИИ росло экспоненциально — удваивалось каждые 3,4 месяца.

И таким образом с 2012 года количество вычислительных ресурсов, используемых для обучения самых больших моделей выросло больше чем в миллиард раз.

Эрнандес и его команда также проверили, сколько нужно вычислительных ресурсов, чтобы обучить нейронную сеть, у которой будет такая же эффективность, какая была у AlexNet (одного из ранних алгоритмов распознавания картинок).

Они обнаружили, что количество вычислительных ресурсов требуемых для получения той же производительности падает экспоненциально — уменьшается вдвое каждые 16 месяцев.

Таким образом, с 2012 года количество вычислительных ресурсов, требуемых для получения той же производительности, упало больше, чем в 100 раз. В сочетании с тем, что количество доступных вычислительных ресурсов увеличилось, это значительный рост.²¹

Сложно сказать, продолжатся ли эти тенденции, однако они говорят о том, что за последние десять лет границы возможного при помощи машинного обучения существенно расширились.

Более того, судя по всему, увеличение размера моделей (и количества вычислительных ресурсов, используемых для их обучения) приводит к даже более сложному поведению. Например, модели вроде GPT-3 начинают выполнять задачи, на которые их не обучали.

Эти наблюдения ведут к гипотезе о масштабировании, которая гласит, что мы можем просто строить всё большие и большие нейронные сети и в итоге будем получать всё более и более мощный искусственный интеллект и таким образом дойдём до интеллекта человеческого уровня и дальше.

Если это правда, то мы можем предсказать, как будут со временем улучшаться создаваемые ИИ, — просто на основании того, как быстро увеличиваются вычислительные мощности, доступные для обучения моделей.

Однако как мы увидим ниже, скорое появление чрезвычайно мощного ИИ предсказывает не только гипотеза о масштабировании. Другие способы оценки прогресса в области ИИ говорят о том же самом.

Когда нам стоит ожидать появление трансформационного ИИ?

Сложно точно предсказать, когда мы разработаем ИИ, который будет способен радикально изменить общество (хорошим или плохим образом) — например, автоматизировав всю работу, которую выполняют люди или значительно изменив общественную структуру.²² Но у нас здесь есть несколько подходов.

Один из них — это опросы экспертов. Результаты опроса 300 экспертов в 2019 году утверждают, что существует вероятность 20% появления машинного интеллекта человеческого уровня (который, скорее всего, будет трансформационным в обсуждаемом смысле) к 2036 году, 50% — к 2060 году и 85% — к 2100.²³ Есть множество причин скептично относиться к этим оценкам,²⁴ однако мы берём их как одно из свидетельств.

Аджея Котра (исследовательница из Open Philantropy) попыталась предсказать, когда появится трансформационный ИИ, путём сравнения современного глубокого обучения с человеческим мозгом. Глубокое обучение требует огромного количества вычислительных ресурсов, чтобы обучить модель выполнять определённые задачи. Также есть зависимость между количеством вычислительных ресурсов, требуемых для обучения модели, и количеством ресурсов, требуемых для её использования. И, если гипотеза о масштабировании верна, нам следует ожидать, что производительность модели будет улучшаться с увеличением вычислительных мощностей. Отталкиваясь от этого, Котра несколькими разными способами (в том числе, например, оценивая сколько вычислительных ресурсов использует человеческий мозг для тех или иных задач) оценила, сколько вычислительных ресурсов может потребоваться, чтобы обучить модель, которая после запуска сможет выполнять сложнейшие задачи, которые выполняют люди. Затем она оценила, когда такие вычислительные мощности будут доступны.

Уточнённое в 2022 году заключение отчёта Котры даёт следующие оценки: вероятность появления трансформационного ИИ к 2036 году — 35%, к 2040 году — 50%, к 2050 году — 60%. Котра замечает, что эти оценки ещё могут измениться.²⁵

Том Дэвидсон (также исследователь из Open Philanthropy) написал отчёт, дополняющий работу Котры. Он попытался определить, когда мы можем ожидать появление трансформационного ИИ, изучая лишь различные виды исследований, на которые могла бы быть похожа работа над трансформационным ИИ (например, развитие технологий — основная цель технических исследований или доказывание сложных математических гипотез). Дэвидсон изучал, как быстро подобные виды исследования достигали успеха в прошлом в зависимости от финансирования и прикладываемых усилий.

Исключительно на основании этой информации отчёт Дэвидсона даёт следующие оценки: вероятность появления трансформационного ИИ к 2036 году — 8%, к 2060 — 13%, к 2100 — 20%. Однако, Дэвидсон не рассматривает, насколько исследования ИИ продвинулись со времён их начала в 1950-х годах, и замечает, что довольно вероятно, что на исследования ИИ будет тратиться гораздо больше усилий, когда ИИ станет гораздо важнее для экономики. В итоге Дэвидсон ожидает, что его числа занижены.

Холден Карнофский, один из директоров Open Philantropy, попытался объединить результаты исследований, упомянутые выше. Он предполагает, что вероятность увидеть трансформационный ИИ к 2036 году больше 10%(!), к 2060 — 50%, к 2100 — 66%. И, возможно, эти оценки занижены, поскольку они не учитывают, что с тех пор, как они были сделаны, прогресс идёт быстрее, чем ожидалось.

В общем, судя по всему, ИИ развивается стремительно. Каждый год в эту область приходит всё больше денег и талантов, и модели становятся больше и эффективнее.

Даже если бы ИИ развивался медленнее, мы бы всё равно беспокоились по этому поводу — подавляющее большинство аргументов, касающихся рисков со стороны ИИ (мы рассмотрим эти аргументы ниже) не связаны с существующим стремительным прогрессом.

Однако скорость достижений недавнего времени делает проблему более срочной.

3. Ищущий власти ИИ может представлять для человечества экзистенциальную угрозу

До сих пор мы утверждали, что, с нашей точки зрения, ИИ окажется важной новой технологией, которая, вероятно, значительно изменит экономику и общество.

Также мы рассмотрели причины считать, что, возможно, подобный трансформационный ИИ будет построен в этом веке.

Теперь же мы перейдём к ключевому вопросу: почему мы вообще считаем, что этот вопрос настолько важен?

Причин так считать может быть множество. Если развитый ИИ способен всё поменять настолько, как нам сейчас кажется, это может привести к многочисленным важным последствиям. Однако в этом разделе мы планируем рассказать о проблеме, которая нам кажется наиболее важной: "Системы ИИ могут представлять риск из-за того, что они будут стремиться получить власть".

Мы утверждаем, что:

1. Вполне вероятно, что мы построим системы ИИ, которые смогут строить и реализовывать планы, чтобы достигать своих целей

2. Развитые системы, умеющие планировать, легко могут оказаться "незаалайненными", причём настолько, что могут начать строить планы, подразумевающие, что человечество лишиться возможности управлять своей судьбой

3. Если в результате действий систем ИИ человечество не сможет больше управлять своей судьбой, это будет экзистенциальной катастрофой

4. Люди могут запустить незаалайненные системы ИИ, несмотря на риски

Я обдумал каждый из этих пунктов и считаю, что существует примерно 10% вероятности, что в этом веке в результате действий систем ИИ, ищущих власти, произойдёт экзистенциальная катастрофа.²⁶

Скорее всего, мы построим системы, способные строить сложные планы

Мы утверждаем, что будущие системы, обладающие тремя нижеперечисленными свойствами, могут представлять достаточно значимую угрозу для человечества:²⁷

1. У них есть цели и они хорошо строят планы.

Не у всех систем ИИ есть цели и не все из них строят планы, чтобы достигать своих целей. Однако про некоторые (например про системы ИИ, играющие в шахматы) можно рассуждать в рамках такой модели. Когда мы рассуждаем про ИИ, ищущий власти, мы рассматриваем системы, которые относительно успешно планируют, их планы преследуют какую-то цель (или цели) и они способны реализовывать свои планы.

2. У них прекрасное "стратегическое мышление".

Системы, которая достаточно хорошо умеет планировать, должна неплохо понимать мир — она должна уметь замечать препятствия или дополнительные возможности, которые могут поспособствовать или помешать её планам, и реагировать на них соответственно. Как и Карлсмит, мы назовём эту способность "стратегическим мышлением"²⁸ , поскольку она позволяет системам строить более сложные стратегии.

3. Их способности намного превышают способности современных систем.

Чтобы действия этих систем в самом деле влияли на мир, нужно, чтобы они не просто умели планировать, но также хорошо умели делать всё, что необходимо для реализации их планов.

Поскольку мы беспокоимся, что программные системы попытаются лишить человечества власти, мы в первую очередь думаем о системах ИИ, которые могут превзойти людей в тех умениях, которые в значительной степени позволяют править нынешним миром именно людям.

Например, люди очень хорошо умеют убеждать и/или манипулировать, и это зачастую приносит им власть. Если ИИ освоит эти навыки, возможно, он тоже сможет получить власть. Как другие примеры можно привести умение взламывать другие системы, способность вести научные и инженерные исследования, а также умение строить планы в бизнесе, политике и в военной сфере.

Судя по всему, такие системы технически возможны и мы сильно мотивированы их построить

Как уже упомянуто выше, мы уже создаём системы, которые очень хорошо справляются с определёнными задачами.

Мы даже уже создали простейшие системы планирования: например AlphaStar, которая умеет играть в игру-стратегию "StarCraft", и MuZero, которая играет в шахматы, сёги и го.²⁹

Мы не уверены, создают ли эти системы планы "чтобы достигнуть целей ради самих целей" — мы вообще не уверены, что именно означает высказывание, что у кого-то или чего-то "есть цель". Однако, раз эти системы последовательно строят планы, чтобы достигать цели, вероятно, можно сказать, что у них в каком-то смысле есть цели.

Более того, судя по всему, нейронные сети некоторых существующих систем содержат фрагменты, которые в самом деле отвечают за цели.³⁰

Тем не менее, планирование в реальном мире (в отличие от игр) — это гораздо более сложный процесс, и в настоящее время мы не знаем о каких-либо недвусмысленных примерах целеориентированных планирующих систем или о системах, которые проявляют высокую уровень стратегического мышления.

Однако, как уже упоминалось, мы ожидаем, что в этом веке системы ИИ будут улучшаться и дальше. И мы считаем, что в результате появятся системы, обладающие всеми тремя упомянутыми свойствами.

Мы так считаем, потому что существуют достаточно сильные стимулы создавать системы такого рода — например, деньги. Если вкратце: умение планировать, чтобы достигать цели, и реализовывать составленные планы выглядит довольно мощным и универсальным способом влиять на мир.

Судя по всему, чтобы добиваться того, что ты хочешь, эти навыки нужны практически всегда — не важно, идёт ли речь о компании, которая продаёт произведённые ей продукты, человеке, который покупает дом, или правительстве, которое разрабатывает свою политику. Например, подобной мощной системе можно будет назначить цель и ожидать, что она её достигнет — не нужно будет управлять процессом на каждом шаге. Поэтому, судя по всему, планирующие системы будут чрезвычайно полезны с экономической и политической точек зрения.³¹

И если такие системы чрезвычайно полезны, то скорее всего люди будут очень мотивированы, чтобы их строить. Например, ИИ, который может спланировать действия компании ради цели увеличить её доход (фактически, ИИ, выполняющий роль генерального директора), скорее всего, принесёт значительный доход тем, кто его сделает.

В итоге, если мы действительно можем построить системы с такими свойствами (а судя по тому, что мы знаем, скорее всего, мы можем это сделать), то, вероятно, мы их в самом деле построим.³²

Развитые планирующие системы легко могут оказаться опасно "незаалайненными"

Есть причины считать, что развитые планирующие системы такого рода будут "незаалайненными". Это означает, что они будут стремиться делать то, что мы не хотели бы, чтобы они делали.³³

Системы могут не стремиться делать именно то, что мы от них хотим, по многим причинам. Например, при использовании современных технологий машинного обучения, мы не знаем, как задать системе в точности те цели, которые мы хотим достичь (подробнее ниже).³⁴

В первую очередь мы хотим поговорить о некоторых причинах того, почему системы могут оказаться "незаалайненными" по умолчанию. Мы полагаем, что они будут разрабатывать планы, угрожающие тем, что человечество может потерять возможность влиять на мир, — даже если мы не хотим потерять эту возможность.³⁵

Что мы подразумеваем под словами "по умолчанию"? В сущности это означает, что если только мы не найдём решение некоторой (потенциально довольно сложной) проблемы, то, судя по всему, ИИ, который мы создадим, окажется опасным образом незаалайненным. (Это утверждение может оказаться неверным. Возможные аргументы против него мы обсудим позже.)

Почему эти системы, скорее всего, окажутся опасным образом незаалайнены (если мы ничего не предпримем)

В этом разделе рассматривается центральный довод этой статьи. Мы будем использовать три ранее упомянутые свойства: способность планировать, стратегическое мышление и развитые способности.

Для начала следует понять, что планирующая система, у которой есть цель, также будет ставить "инструментальные цели": некие результаты, которые, будучи достигнуты, значительно помогут достичь основной цели.

Мы постоянно используем в планах инструментальные цели. Например, старшеклассник, задумывающийся о своей карьере, может решить, что учёба в университете поможет ему в будущем получить работу. В этом случае "поступить в университет" окажется инструментальной целью.

Достаточно развитый ИИ также будет использовать инструментальные цели в своих планах.

Если у планирующей системы ИИ также будет достаточно стратегического мышления, она сможет использовать знания о реальном мире (включая информацию о том, что может помешать любым планам) и строить планы, исходя из них. Что особо важно, эти знания будут включать в себя информацию о том, что ресурсы (например, деньги, вычислительные мощности, влияние) и большие возможности — то есть, различные формы власти — открывают путь к новым, более эффективным способам достигать целей.

Это означает, что по умолчанию у развитых планирующих систем ИИ будут следующие пугающие инструментальные цели:

• Самосохранение — система с большей вероятностью достигнет своих целей, если она всё ещё в состоянии работать над этим. (Как метко выразился Стюарт Рассел: "Ты не можешь приносить кофе, если ты мёртв".)

• Защита от любых попыток изменить цели системы — исходы при изменении целей будут отличаться от исходов при текущих целях.

• Накопление могущества — например, захват большего количества ресурсов и увеличение собственных возможностей.

Что важнее всего, ИИ может гарантировать, что он будет продолжать работу (и его не выключат) и его цели никогда не изменятся, одним очевидным способом: захватить власть над людьми, которые способны на него повлиять (мы обсуждаем вопрос, как именно системы ИИ могут это сделать, в другой статье).

К тому же, системы ИИ, которые мы сейчас обсуждаем, обладают развитыми способностями — то есть, способны справиться с одной или несколькими задачами, решения которых дают людям значительную власть над сегодняшним миром. При наличии настолько развитых способностей достижение упомянутых инструментальных целей не выглядит невозможным. Поэтому, с нашей точки зрения вполне возможно, что система ИИ применит свои способности, чтобы захватить власть, в качестве одного из шагов по реализации своего плана. Если мы не хотим, чтобы созданная нами система ИИ отобрала у нас власть, то такой исход будет особо опасным вариантом отсутствия алайнмента.

В некоторых наиболее радикальных сценариях, планирующая система ИИ с достаточно развитыми способностями может лишить нас власти полностью и навсегда.

Чтобы (пусть и очень нестрого) проверить этот довод, попробуем применить его к людям.

У людей есть множество целей. Для достижения многих из этих целей наличие власти будет преимуществом. Да, далеко не все хотят власти, однако всё же многие пытаются получить её в той или иной форме (накопить денег, получить высокий социальный статус, занять какую-то должность). Это полезно, чтобы в итоге добиться того, чего ты на самом деле хочешь. (Обычно) это не приводит к катастрофе, потому что мы как люди:

• Как правило считаем необходимым соблюдать человеческие нормы и этические правила (даже люди, которые очень хотят денег, обычно не желают ради них убивать).

• Не настолько умнее или способнее друг друга. Так что даже люди, которых не сдерживает этика, не способны захватить мир.

(Вопрос о том, действительно ли люди хотят власти, мы рассмотрим ниже.)

У достаточно развитого ИИ таких ограничений не будет.

Найти способы предотвратить подобное отсутствие алайнмента может быть сложно

Мы не утверждаем, что любая развитая планирующая система ИИ обязательно попытается накопить побольше власти. Мы хотим сказать, что если мы не найдём способа спроектировать систему так, чтобы у неё не было этой проблемы, мы сильно рискуем.

Кажется очень правдоподобным, что мы сможем создать систему ИИ, которая не будет незаалайнена таким образом, и тем самым предотвратим потерю власти человечеством. В этом разделе мы приведём примеры нескольких стратегий, которые могут нам помочь (а также почему, к сожалению, вероятно, их будет сложно реализовать на практике):³⁸

• Контролировать цели системы ИИ. Возможно, у нас получится спроектировать системы, у которых просто не будет целей, к которым применимы доводы выше. Таким образом у них не будет стимула захватывать власть. Например, возможно, у нас получится найти способы явно потребовать у системы ИИ не вредить людям или найти способ вознаграждать систему ИИ (в обучающем окружении) за то, что она отказывается от определённых форм накопления власти (и также найти способ сделать так, чтобы это поведение сохранилось за пределами обучающего окружения).

Карлсмит приводит две причины, почему, скорее всего, сделать так будет довольно трудно.

Во-первых, мы не можем явным образом задавать цели для современных ML-систем. Мы лишь вознаграждаем (или наказываем) систему в обучающем окружении, а она учится сама. Это порождает множество сложностей, одна из которых называется "неправильное обобщение цели". Исследователи обнаружили реальные примеры систем, которые, как казалось, в обучающем окружении научились достигать некую цель, однако в новом окружении не смогли понять, что именно является целью здесь. Это повышает вероятность того, что мы подумаем, что мы успешно научили систему ИИ не захватывать власть, но когда мы запустим систему в реальном мире, она всё равно будет к этому стремиться.³⁹

Во-вторых, когда мы задаём цель для системы ИИ (или когда мы ищем способы вознаграждать или наказывать систему во время обучения, потому что не можем задать цель явным образом), мы обычно даём системе "прокси"-цель, в случае которой можно измерить, достигнута ли она (например, положительная обратная связь со стороны человека в результате достижений системы). Однако часто такие замещающие цели работают не совсем хорошо.⁴⁰ В общем случае, мы можем ожидать, что даже если нам кажется, что достижение "прокси"-цели хорошо коррелирует с успешными результами, система может делать не то, что мы хотим, потому что она оптимизирована достигать именно "прокси"-цель. (Именно это иллюстрируют примеры выше про политиков, коммерческие организации и роботизированную руку, которая не научилась хватать шарик.) Более детальные примеры того, как проблемы с "прокси"-целями могут привести к экзистенциальной катастрофе мы рассматриваем в другой статье.

Если вы хотите подробнее узнать о том, какие встречаются трудности с тем, чтобы задать цель для глубоких нейронных сетей с самоконтролируемым обучением и обучением с подкреплением, мы рекомендуем почитать доклад исследователя проблем управления Ричарда Нго из OpenAI о том, как настоящий обучающий процесс приводит к появлению незаалайненных целей.

• Ограничивать данные, которые поступают к системе ИИ. Система ИИ сможет разработать план для накопления власти только в том случае, если у неё будет достаточно информации о мире, чтобы понять, что накопление власти — это способ достигнуть своих целей.

• Ограничивать способности системы ИИ. Системы ИИ смогут реализовать планы по накоплению власти только в том случае, если у них будут достаточно развитые навыки из числа тех, что дают людям значительную власть в сегодняшнем мире.

Но чтобы какая-то из этих стратегий сработала, необходимо выполнение двух условий:

• Системы ИИ должны оставаться полезными, то есть, успешно конкурировать в экономическом смысле с менее надёжными системами. За ограничение входных данных и ограничение способностей определённо придётся заплатить, поэтому, судя по всему, даже если люди придумают способы это сделать, будет сложно гарантировать, что эти способы действительно будут применяться. И со стратегией управления целями системы есть такая же проблема. Например, вероятно, можно не дать системе ИИ накапливать власть, если она будет обязана сверять все свои решения с людьми. Но такие системы будут значительно медленнее и люди получат от их использования меньше сиюминутной пользы, чем от систем, у которых не будет таких ограничений. В итоге всё равно останутся стимулы использовать более быструю, приносящую сразу больше прибыли незаалайненную систему (стимулы мы подробнее рассмотрим в следующем разделе).

• Стратегия должна работать даже по мере того, как у систем будут улучшаться способности планировать и стратегическое мышление. Некоторые кажущиеся простыми решения (например, попытаться дать системе длинный перечень того, что ей запрещено делать, — например, воровать деньги или физически вредить людям) перестанут работать, когда система научится лучше планировать. Ведь чем лучше система разрабатывает планы, тем более вероятно, что она найдёт лазейки или ошибочные места в стратегии безопасности, и, таким образом, более вероятно, что система разработает план, который будет включать в себя накопление власти.

И сейчас, когда мы изучили результаты исследований этого вопроса и поговорили с экспертами, мы считаем, что в настоящее время нет известных способов построить заалайненную систему ИИ, про которые можно было бы сказать, что они удовлетворяют обоим критериям.

Это был центральный довод. У него существует множество вариаций. Некоторые утверждают, что системы ИИ могут постепенно изменить наше будущее некоторыми менее прямыми способами, что тем не менее всё равно приведёт к экзистенциальной катастрофе. Другие утверждают, что наиболее вероятный способ лишить человечество власти — это просто убить всех людей. Мы не готовы уверенно рассуждать о том, каким будет наиболее вероятное развитие катастрофы. Мы лишь попытались привести самую основную часть рассуждения, почему ИИ представляет собой экзистенциальный риск, так, как мы её понимаем.

Определённо существуют причины сомневаться в истинности этого довода! Ниже мы рассмотрим некоторые из них, которые представляются нам наиболее вескими. Однако в целом нам кажется крайне вероятным, что по крайней мере для некоторых вариантов развитых планирующих систем будет сложнее построить их так, чтобы они не пытались накапливать власть опасным для человека способом, чем построить систему, склонную к такому поведению.

Если системы ИИ лишат человечество возможности управлять своей судьбой, это будет экзистенциальной катастрофой

Когда мы говорим, что беспокоимся по поводу экзистенциальных катастроф, речь идёт не только о рисках вымирания. Это связано с тем, что корни нашего беспокойства кроются в лонгтермизме: идее о том, что жизни будущих поколений тоже важны, и защищать их интересы — чрезвычайно важно.

Это означает, что экзистенциальной катастрофой считается любое событие, которое может помешать всем будущим поколениям прожить жизнь, полную того, что мы считаем ценным (не важно, идёт речь о счастье, справедливости, красоте или процветании в целом).

Если какая-то система успешно лишит человечества возможности управлять своей судьбой, кажется чрезвычайно маловероятным, что мы сможем вернуть эту возможность. И тогда всё будущее — всё, что случится с появившейся на Земле жизнью до конца времён, — будет определяться целями этой системы. Пусть она и построена нами, но её цели с нашими не совпадают. Возможно, долгое и прекрасное будущее в итоге даже будет создано, но у нас мало причин на это надеяться.⁴¹

Мы не пытаемся сказать, что считаем, будто риска уничтожения человечества со стороны ИИ не существует. Наоборот, мы считаем, что уничтожить людей — это довольно вероятный способ, которым система ИИ может полностью и навсегда гарантировать то, что мы не сможем вернуть свою власть обратно.

Несмотря на риск люди могут запустить системы ИИ при отсутствии алайнмента

Если люди будут знать, что запуск незаалайненного ИИ может привести к таким ужасным последствиям, никто же не будет его создавать и использовать?

К сожалению, есть как минимум две причины, почему люди могут создать и затем запустить незаалайненный ИИ.⁴² Рассмотрим их по очереди.

1. Люди могут посчитать, что ИИ заалайнен, хотя на самом деле это не так

Вообразим группу исследователей, которые в тестовом окружении пытаются понять, является ли система, которую они построили, заалайненной. Мы утверждаем, что разумный планирующий ИИ захочет улучшить свои способности, чтобы эффективнее достигать своих целей, а это практически всегда будет проще, если его запустят в реальном мире, где доступен более широкий спектр действий. В итоге любой достаточно сложный незаалайненный ИИ попытается понять, что от него хотят исследователи, и как минимум притвориться, что он делает именно это, чтобы исследователи посчитали, что он заалайнен. (Например, система, обучающаяся с подкреплением, может вознаграждаться за определённое внешнее поведение во время обучения, независимо от её реальных действий.)

Мы надеемся, что раз мы знаем о том, что такое поведение возможно, мы сможем его обнаружить. Однако поймать на обмане достаточно развитый ИИ, кажется, будет сложнее, чем поймать на лжи человека, что не всегда просто. Например, не исключено, что достаточно развитый ИИ окажется способен заставить нас поверить, что мы решили задачу "как распознать обман со стороны ИИ", хотя на самом деле мы её не решили.

Если системы ИИ научатся хорошо обманывать и у них будут достаточно развитые способности, то для таких систем может оказаться разумным обманывать людей полностью до тех пор, пока они не станут достаточно могущественны, чтобы преодолеть любые препятствия со стороны людей на пути к их целям.

2. Есть стимулы запустить систему ИИ как можно раньше

Также мы можем ожидать, что некоторые люди, способные запустить ИИ в отсутствие алайнмента, будут стремиться это сделать, невзирая на тревожные сигналы, свидетельствующие о незаалайненности. Это может произойти из-за состояния "гонки", в котором люди будут пытаться запустить свой ИИ раньше, чем это сделает кто-то ещё.

Например, если вы разрабатываете ИИ для того, чтобы улучшить собственное военное или политическое положение, намного полезней успеть его запустить раньше, чем у кого-то из ваших противников появится аналогичный мощный ИИ.

Это может произойти даже если люди хотят построить ИИ в надежде, что с его помощью они улучшат мир.

Например, допустим, вы потратили многие годы на исследования и разработку мощной системы ИИ, и вы хотите применить его исключительно для того, чтобы улучшить мир. В очень упрощённом случае возможны два варианта:

1. Этот мощный ИИ будет заалайнен с вашими благородными целями и вы преобразуете общество к лучшему радикальным образом.

2. Ваш ИИ окажется значительно незаалайнен, захватит власть, и человечество больше никогда не сможет управлять своим будущим.

Предположим, вы оцениваете вероятность того, что вам успешно удалось построить заалайненный ИИ в 90%. Однако технологии часто развиваются разными группами параллельно примерно с одинаковой скоростью, поэтому достаточно вероятно, что кто-то ещё тоже скоро разработает мощный ИИ. И вы считаете, что ваши конкуренты менее осторожны или менее альтруистичны, поэтому вы оцениваете вероятность того, что их ИИ будет заалайнен с хорошими целями лишь в 80%, и таким образом у вас получается вероятность экзистенциальной катастрофы 20%. И только если вы будете первыми, ваш более полезный ИИ победит. В итоге, возможно, вы решите запустить ваш ИИ, смирившись с риском в 10%.

4. Даже если мы решим проблему поиска власти, есть и другие риски

До сих пор мы обсуждали возможность, которую большая доля исследователей в данной области⁴³ считают большим экзистенциальным риском, который может повлечь возможное развитие в области ИИ. Самое главное в этом вопросе: будет ли ИИ искать власти для того, чтобы достигать своих целей.

Если мы сможем предотвратить поведение, направленное на поиск власти, мы значительно уменьшим этот экзистенциальный риск.

Однако даже если нам это удастся, ИИ представляет и другие возможные риски.

ИИ может сделать войны ещё хуже

Нас беспокоит то, что конфликт сверхдержав также может всерьёз угрожать нашему миру. А природа войны с развитием ИИ, вполне вероятно, изменится — из-за распространения летального автономного оружия⁴⁴ или из-за автоматизированного принятия решений.⁴⁵

В некоторых случаях война между сверхдержавами может представлять собой экзистенциальную угрозу: например, в случае применения ядерного оружия. Возможно, ИИ увеличит риски его применения. Хотя также есть доводы в пользу того, что ИИ снизит эти риски.⁴⁶

И наконец, если какая-то из сторон создаст особенно мощную систему ИИ, такая система может быть расценена как "решающее стратегическое преимущество". Например, США может создать планирующий ИИ, разумный достаточно, чтобы обеспечить развитие событий, при котором Россия или Китай никогда не смогут успешно поставить на вооружение дополнительное ядерное оружие. В таком случае противники этой стороны могут решиться на первый удар, не дожидаясь, пока разработанные ИИ планы начнут реализовываться.

ИИ могут использовать для создания новой опасной технологии

Мы рассчитываем, что системы ИИ помогут ускорить научный прогресс.⁴⁷

Хотя автоматизация научной работы даст многие преимущества — например, быстрое развитие новых отраслей медицины — какие-то варианты технологического развития могут представлять угрозу для человечества, в том числе экзистенциальную. Например, опасность может прийти из биотехнологий⁴⁸ (подробнее этот вопрос раскрывается в нашей статье о предотвращении катастрофических пандемий) или от какой-то другой, пока не известной, но опасной технологии.⁴⁹

ИИ может привести к появлению тоталитарных правительств

Авторитарное правительство с помощью ИИ способно полностью автоматизировать слежку за своими гражданами и репрессии против них, а также существенно влиять на то, какую информацию получают люди, и не исключено, что после этого координировать действия против такого режима станет невозможно.⁵⁰

Если это приведёт к какому-то варианту по-настоящему стабильного тоталитаризма, возможно, жизни людей станут намного хуже на чрезвычайно долгий период времени, то есть, ИИ может привести к довольно пугающему развитию событий.

Прочие риски со стороны ИИ

Также нас беспокоят следующие вопросы, хотя в них мы понимаем меньше:

• Экзистенциальные угрозы, которые являются следствием не стремления к власти со стороны системы ИИ, а результатом взаимодействия между такими системами. (Чтобы системы представляли такой риск, они всё равно должны быть в какой-то степени незаалайнены).

• Прочие способы злонамеренного использования ИИ, о которых мы пока не подумали, — особенно такие, которые могут значительно повлиять на будущие поколения.

• Прочие этические ошибки при проектировании и использовании систем ИИ, особенно в том случае, когда будущие системы ИИ сами по себе следует учитывать в этических рассуждениях. Например, возможно, мы (неумышленно) создадим системы ИИ, обладающие сознанием. Возможно, огромное число таких систем будет страдать. Мы считаем этот вопрос чрезвычайно важным, поэтому мы создали для него отдельный профиль.

Итак, насколько вероятна связанная с ИИ катастрофа?

На этот вопрос чрезвычайно сложно ответить.

У нас нет примеров из прошлого, по которым мы могли бы посчитать частоту катастроф, связанных с ИИ.

Мы можем лишь опираться на доводы вроде тех, что мы привели выше, и на менее релевантные данные, вроде истории технологических достижений. И мы совершенно не уверены, что наши доводы полностью верны.

Рассмотрим доводы, которые мы привели выше в разделе опасности ИИ, ищущего власти. Эти доводы основываются на докладе Карлсмита. В конце своего доклада Карлсмит даёт некоторые грубые оценки вероятностей, что каждый этап его рассуждений верен (при условии, что предыдущие этапы тоже верны):

1. К 2070 году станет возможно (в том числе с финансовой точки зрения) построить системы, обладающие стратегическим мышлением, которые превзойдут людей во многих задачах, позволяющих накапливать власть, и которые будут способны строить и реализовывать планы. Карлсмит оценивает вероятность такого события в 65%.

2. При наличии такой возможности, у людей будут значительные стимулы, чтобы построить такие системы: 80%.

3. При наличии такой возможности и стимулов к постройке таких систем, будет намного сложнее построить заалайненную систему, не стремящуюся к власти, чем незаалайненную, которая к власти стремиться будет, но запуск которой, тем не менее, будет выглядеть значительно привлекательней: 40%

4. При условии всего вышеперечисленного, некоторые запущенные системы будут накапливать власть незалайненным способом, что приведёт к ущербу более чем на триллион долларов (в пересчёте на доллары 2021 года): 65%.

5. При условии всего вышеперечисленного, незаалайненные системы ИИ в стремлении к власти лишат практически всё человечество возможности управлять собственной судьбой: 40%.

6. При условии всего вышеперечисленного, это будет экзистенциальной катастрофой: 95%.

Перемножив эти числа, Карлсмит получил 5% вероятности того, что его доводы верны и к 2070 году произойдёт экзистенциальная катастрофа, вызванная незаалайненным ИИ, ищущим власти. Когда мы поговорили с Карлсмитом, он заметил, что за год, прошедший между написанием его отчёта и публикацией статьи, его общая оценка вероятности экзистенциальной катастрофы к 2070 году, вызванной ИИ, ищущим власти, выросла до "больше 10%".⁵¹

Общая вероятность экзистенциальной катастрофы, вызванной ИИ, вероятно, ещё выше, потому что к возможной катастрофе можно прийти и другими путями — например, упомянутыми в предыдущем разделе. Хотя мы предполагаем, что все прочие сценарии приводят к экзистенциальной катастрофе с гораздо меньшей вероятностью.

Другая оценка: консультант "80000 часов" философ Тоби Орд в своей книге "На краю пропасти" оценил шансы экзистенциальной катастрофы к 2120 году (по любой причине) как 1/6. 60% от этого риска — это опасность незаалайненного ИИ, что даёт вероятность экзистенциальной катастрофы от незаалайненного ИИ к 2120 году в 10%.

В опросе 2021, проведённом среди 44 исследователей, работающих над снижением экзистенциальных рисков со стороны ИИ медианная оценка риска оказалась равна 32,5%. Наибольший ответ был 98%, наименьший — 2%.⁵² Здесь очевидно присутствует значительная ошибка выборки: люди работают над снижением рисков со стороны ИИ, потому что считают, что эта работа очень важна, поэтому нам следует ожидать, что оценки в таком опросе будут значительно выше, чем оценки из других источников. Но здесь мы явно видим значительную неуверенность в том, насколько велик риск, и значительный разброс ответов.

Значительность всех этих чисел потрясает воображение и довольно сильно тревожит. Конечно, мы совсем не уверены, что все приведённые доводы верны. Однако в целом это наивысшие оценки величины экзистенциального риска среди всех вопросов, которые мы исследовали (например, пандемии искусственного происхождения, конфликт сверхдержав, изменение климата или ядерная война). И, как мы уже объяснили, мы считаем, что доводы в пользу настолько высоких оценок довольно убедительны. Поэтому, с нашей точки зрения, очень вероятно, что риски со стороны ИИ — это самая важная проблемой, стоящая перед человечеством.

5. Со всеми этими рисками можно работать

Мы считаем, что помощь в снижении значительных рисков, которые представляет собой ИИ, — это одно из наиболее важных направлений, которыми ты мог бы заняться.

И дело не только в том, что мы считаем, что эти риски высоки. Мы также считаем, что мы в самом деле можем что-то сделать, чтобы их снизить.

Мы знаем о двух довольно широких подходах:

1. Исследования в области технической безопасности ИИ

2. Разработка и реализация стратегий регулирования в области ИИ

В обоих случаях есть множество способов внести свой вклад. Ниже мы опишем эти способы гораздо подробнее, а в этом разделе проиллюстрируем точку зрения, что мы действительно можем что-то сделать в отношении упомянутых рисков.

Исследование в области технической безопасности ИИ

Польза от трансформационного ИИ может быть огромна. Над этим вопросом работают множество различных действующих лиц (в различных странах), поэтому предотвратить полностью его появление, вероятно, было бы довольно сложно.

(Кроме того, вероятно, это вообще не самая лучшая идея: ведь таким образом вместе с предотвращением рисков мы отказываемся от возможных выгод.)

Поэтому мы считаем, что гораздо разумнее сосредоточиться на том, чтобы гарантировать, что разработанный трансформационный ИИ будет безопасным, то есть сделать так, чтобы мы с высокой вероятностью избежали всех катастрофических ошибок, перечисленных выше.

Один из способов этого добиться — это попытаться разработать технические решения, которые бы предотвращали поведение, направленное на захват власти, которое мы обсуждали выше. Это направление обычно называют "технической безопасностью ИИ". Иногда для краткости просто говорят: "безопасность ИИ".

Подробнее об исследованиях в области технической безопасности ИИ читайте ниже.

Разработка и реализация стратегий регулирования в области ИИ

Второй подход, направленный на снижение рисков со стороны ИИ, — это влиять на его разработку с помощью регулирования, создания норм и прочих механизмов управления.

Хорошее регулирование в области ИИ может помочь работе над технической безопасностью. Например, оно может способствовать появлению соглашений о безопасности между корпорациями или помочь талантливым исследователям в области безопасности со всего мира переезжать туда, где они смогут принести максимум пользы. Регулирование в области ИИ может также помочь и с другими проблемами, которые порождают риски, например с состоянием "гонки".

Однако, как мы уже упоминали, даже если мы успешно построим ИИ, который делает именно то, что мы хотим (т.е. решим проблему алайнмента), мы, тем не менее, можем потребовать от него сделать что-то плохое! Поэтому нам следует беспокоиться не только о стимулах для систем ИИ, но и о мотивации использующих их людей.

Подробнее о разработке и реализации стратегий регулирования в области ИИ читайте ниже.

6. Эта работа чрезвычайно недооценена

По нашим оценкам напрямую над уменьшением вероятности связанной с ИИ экзистенциальной катастрофы работают лишь 400 человек во всём мире (90% доверительный интервал — от 200 до 1000). Из них, судя по всему, примерно три четверти работают над техническими вопросами безопасности ИИ, а остальные делятся между разработкой стратегий (и других вопросов регулирования) и популяризацией.⁵³ . Мы считаем, что на вспомогательных должностях работают примерно 800 человек, но в этой оценке мы очень сильно не уверены.⁵⁴

В своей книге "На краю пропасти" Орд оценивает, что на снижение рисков со стороны ИИ в 2020 году было потрачено от 10 до 50 миллионов долларов.

Может показаться, что это огромная сумма, но мы тратим примерно в тысячу раз больше⁵⁵ на то, чтобы быстрее разрабатывать трансформационный ИИ, — крупные лаборатории занимаются исследованием и разработкой ИИ в коммерческих целях.

Предлагаем также сравнить упомянутые 50 миллионов долларов, потраченные на безопасность ИИ в 2020 году с несколькими миллиардами долларов в год, которые мы тратим на борьбу с изменением климата.

Поскольку эта область настолько недооценена, а ставки в ней настолько высоки, мы считаем, что если вы будете работать над рисками со стороны ИИ, польза от вашей работы может оказаться намного выше, чем от работы во многих других областях. Именно поэтому для желающих значительно улучшить мир мы в первую очередь рекомендуем два направления работы: техническая безопасность ИИ и разработка и реализация стратегий регулирования ИИ.

Какие мы знаем лучшие аргументы в пользу того, что мы неправы?

Как мы уже писали выше, у нас нет полной уверенности в правильности наших доводов о том, что ИИ представляет экзистенциальную угрозу. Мы всё равно считаем, что шансы катастрофы со стороны ИИ достаточно высоки и они оправдывают потраченное время многих людей, которые попытаются предотвратить такой исход, мы также хотим быть честными в отношении аргументов против этого, чтобы вам было легче составить своё мнение по этому вопросу.

Здесь мы рассмотрим самые сильные (с нашей точки зрения) причины считать, что эта проблема не слишком важна. В следующем разделе мы рассмотрим некоторые популярные возражения, которые (с нашей точки зрения) менее весомы.

Доводы против работы над рисками со стороны ИИ, на которые, как мы считаем, у нас есть весомые ответы

Только что мы обсудили основные возражения против работы над рисками со стороны ИИ, которые мы считаем наиболее убедительными. В этом разделе мы рассмотрим возражения, которые мы считаем менее убедительными, и объясним, почему мы так считаем.

Что конкретно ты можешь сделать, чтобы помочь

Как мы упоминали выше, нам известно два основных способа помочь снизить экзистенциальные риски со стороны ИИ:

1. Исследования в области технической безопасности ИИ

2. Разработка и реализация стратегий/политики регулирования в области ИИ

Больше всего вы поможете, если будете работать в одной из этих областей или в какой-то области, где вы сможете помочь исследованиям из этих двух

В первую очередь надо узнать больше о технологиях, задачах и возможных решениях. Мы подготовили несколько списков наших любимых ресурсов. В первую очередь мы рекомендуем заглянуть в учебный план технического алайнмента от "AGI Safety Fundamentals".

Тем, кто решает работать в этой области, мы обычно рекомендуем идти в организации, которые в первую очередь сосредоточены именно на этой проблеме (хотя кроме работы в уже существующих организациях, есть и другие способы помочь).

Техническая безопасность ИИ

Направления работы

В области технической безопасности ИИ есть множество направлений, например:

• Работа над существующими предложениями о том, как сделать будущие системы ИИ безопасными, такими как итерационные дистилляция и усиление, безопасность ИИ через обсуждение, создание ИИ-помощников, которые не уверены по поводу наших целей и изучают их, взаимодействуя с нами или поиск способов заставить системы ИИ, обученные с помощью стохастического градиентного спуска, правдиво сообщать, что они знают. Более подробно можно прочитать в статье Хубингера 11 возможных предложений, как создать безопасный развитый ИИ.

• Исследования интерпретируемости — попытки помочь нам понять, что на самом деле происходит внутри нейронных сетей. В этом направлении уже есть некоторые успехи (например, см. статью Олы и др., "Рассмотрим детали: Введение в цепи"). Больше подробностей об этих исследованиях вы можете прочитать в заметке Хубингера "Дерево технологий прозрачности и интерпретируемости". Подробный обзор о том, как исследования интерпретируемости могут снизить экзистенциальный риск со стороны ИИ, можно прочитать в заметке Нанды "Длинный перечень, чем может быть полезна интерпретируемость".

• Исследования по увеличению надёжности нейронных сетей — как обеспечить, чтобы поведение, которое демонстрируют нейронные сети при обучении на одних данных, сохранялось при дообучении на других данных и система ИИ не меняла, таким образом, своё поведение на небезопасное.

• Работа над созданием кооперирующегося ИИ — поиск способов гарантировать, что даже если отдельные системы ИИ, судя по всему, безопасны, они не приведут к плохим последствиям в результате взаимодействия с людьми или другими системами. Подробнее читайте в статье "Открытые проблемы кооперирующегося ИИ Дэйфо и др. или на сайте Cooperative AI Foundation.

Больше подробностей о задачах во всей этой области и о подходах к их решению можно прочитать в статье Нанды.

Основные организации

Лаборатории, занимающиеся ИИ, у которых есть команды, работающие над технической безопасностью, или которые целиком сосредоточены на вопросах безопасности:

• Anthropic — компания, занимающаяся безопасностью ИИ и работающая над созданием интерпретируемых и безопасных систем ИИ. Сосредоточены на эмпирических исследованиях безопасности ИИ. Основатели Anthropic Даниэла и Дарио Амодей давали интервью об их лаборатории в подкасте Института будущего жизни. В нашем подкасте мы разговаривали с Крисом Олой, который возглавляет в Anthropic’е исследования по интерпретируемости, и Новой ДасСармой, который работает в Anthropic'е над информационной безопасностью.

• DeepMind — вероятно, крупнейшая и самая известная исследовательская группа, разрабатывающая сильный искусственный интеллект. Известна тем, что создала AlphaGo, AlphaZero и AlphaFold. Эта группа не сосредоточена на безопасности целиком, однако в ней есть две команды, которые работают над безопасностью ИИ. Владельцаем DeepMind является холдинг Alphabet (родительская компания Google’а).

• Center for AI Safety — некоммерческая организация, которая занимается техническими исследованиями, а также популяризацией вопросов безопасности среди занимающихся машинным обучением.

• OpenAI — основанная в 2015 году лаборатория, пытающаяся построить сильный искусственный интеллект, который будет безопасным и принесёт пользу всему человечеству. OpenAI известна своими языковыми моделями — например, GPT-3, — и в ней есть команда по безопасности и команда по регулированию. Ян Лейке (глава команды алайнмента) иногда пишет в свой блог о том, что он думает про алайнмент ИИ.

• Ought — лаборатория, занимающаяся машинным обучением и разрабатывающая Elicit, ИИ, помогающий в научных исследованиях. Их цель — заалайнить рассуждения по открытым вопросам посредством изучения, как рассуждают люди и применить прогресс в области ИИ для оценки свидетельств и аргументов.

• Redwood Research — исследовательская организация, работающая над безопасностью ИИ. Их первый большой проект — это попытка обеспечить, что языковые модели (вроде GPT-3) будут выдавать ответ, следуя определённым правилам с очень высокой вероятностью. Это направлено на работу с ошибками, которые при обычном обучении обнаруживаются слишком редко.

Лаборатории, занимающиеся безопасностью ИИ на теоретическом уровне:

• Alignment Research Center (ARC) пытается создавать стратегии алайнмента, которые можно было бы применить уже сегодня, но которые при этом можно было бы масштабировать для будущих систем. Они в первую очередь занимаются теоретической работой: разрабатывают стратегии, которые могут помочь решить проблему алайнмента и могут оказаться перспективными для практической работы. Их первым проектом был доклад о выявлении тайного знания — задачи о том, как сделать так, чтобы развитый ИИ честно сообщал свои убеждения (или "убеждения") о мире. В нашем подкасте мы брали интервью у основателя ARC Пола Кристиано (это было до того, как он основал ARC).

• Center on Long-Term Risk работает над проблемой худших рисков со стороны развитого ИИ. В первую очередь они занимаются вопросами конфликтов между системами ИИ.

• Machine Intelligence Research Institute — группа, которая ещё в начале 2000-х одной из первых начала заниматься рисками со стороны машинного интеллекта. Их команда опубликовала некоторое количество статей о вопросах безопасности и о том, как их решать.

Безопасность ИИ в научных институтах:

• Группа алгоритмического алайнмента в лаборатории информатики и искусственного интеллекта в МТИ, возглавляемая Диланом Хэдфилд-Менеллом.

• Центр совместимого с человеком ИИ в Калифорнийском универститете в Беркли, возглавляемый Стюартом Расселом. Центр в первую очередь занимается научными исследованиями, направленными на то, чтобы гарантировать, что ИИ будет безопасным и полезным для людей. (В нашем подкасте со Стюартом Расселом мы изучаем его подход к созданию ИИ, полезность которого строго доказана.)

• Исследовательская группа Джейкоба Стейнхардта на факультете статистики в Калифорнийском университете в Беркли.

• Исследовательская группа Сэма Боумана в Нью-Йоркском университете, занимающаяся машинным обучением для работы с естественными языками.

• Исследовательская группа Дэвида Крюгера в лаборатории вычислительного и биологического обучения в Кембриджском университете.

• Foundations of Cooperative AI Lab в университете Карнеги — Меллона.

• В Институте будущего человечества в Оксфордском университете есть исследовательская группа по вопросам безопасности ИИ.

Если вам хочется узнать больше про техническую безопасность ИИ как область исследований — то есть, про различные методы, направления мысли и модели угроз — мы в первую очередь рекомендуем заглянуть в учебный план курса по техническому алайнменту от "AGI Safety Fundamentals".

Мы обсуждаем это направление работы более подробно по следующей ссылке (хотя информация там несколько устарела по сравнению с этой статьёй):

Обзор профессионального пути исследователя в области технической безопасности ИИ

Если же вам хочется более конкретных и пошаговых рекомендаций (и поменьше вводных слов), посмотрите на вот это подробное руководство о том, как начать работать над алайнментом ИИ.

Важно заметить, что для участия в исследованиях в области безопасности ИИ не обязательно быть учёным или экспертом в ИИ или безопасности ИИ. Например, во многих местах, где занимаются исследованиями в области технической безопасности, нужны программисты. Ниже мы упоминаем ещё несколько профессий.

Регулирование и стратегии в отношении ИИ

Направления работы

В отличие от технических задач, в области регулирования очень много различных вопросов. Например:

• Проблемы координации, которые увеличивают риски со стороны ИИ (например, могут появиться стимулы использовать ИИ для личной выгоды, несмотря на то, что это нанесёт ущерб другим, или условия "гонки", которая уменьшит мотивацию разрабатывать ИИ осторожно и безопасно).

• Риски от случайных происшествий или использования ИИ во вред могут быть значительными, даже если мы сможем предотвратить поведение, направленное на захват власти (это обсуждалось выше).

• Недостаточно понятно, как и когда точно могут сработать риски со стороны ИИ (в особенности со стороны ИИ с тягой к власти).

• Недостаточно понятно, какие мы должны ставить перед собой промежуточные цели, т.е. чего мы должны достичь, чтобы уменьшить экзистенциальный риск со стороны ИИ.

Чтобы решать эти вопросы, нужно заниматься как исследованиями, так и разработкой и реализацией стратегий.⁵⁹

Сейчас мы лишь начинаем разбираться, какая именно задача стоит перед нами и как её эффективнее всего решать. Поэтому очень важно проводить больше исследований. Это включает в себя исследования в области прогнозов о том, что нам следует ожидать, и исследования в области стратегий и регулирования, чтобы понять, какими действиями легче всего уменьшить риски.

Но при этом, поскольку ИИ начинает влиять на наше общество всё сильнее, критически важно, чтобы правительства и корпорации влияли на его развитие, руководствуясь самыми лучшими стратегиями. Например, правительства могли бы навязывать соглашения, не позволяющие экономить на безопасности, поддерживать работу тех исследователей, чья работа с меньшей вероятностью причинит вред, или способствовать тому, чтобы блага от ИИ распределялись более равномерно. Поэтому, возможно, рано или поздно очень важными направлениями окажутся популяризация и лоббирование подходящих стратегий регулирования в области ИИ. Хотя сейчас мы ещё не представляем, какие стратегии было бы полезно реализовать.

Основные организации

Организации, занимающиеся вопросами стратегии и регулирования в области ИИ:

• AI Impacts пытается найти ответы на все возможные вопросы, связанные с будущим ИИ, вроде “Насколько вероятен резкий скачок способностей ИИ, когда он достигнет человеческого уровня?”

• AI Security Initiative в Центре долгосрочной кибербезопасности Калифорнийского университета в Беркли.

• Centre for the Governance of AI (GovAI) стремится построить всемирное исследовательское сообщество, цель которого — помочь человечеству успешно прийти к миру, где есть развитый ИИ. В нашем подкасте мы беседовали о недостатках классических аргументов про риски со стороны ИИ с Беном Гарфинкелем, исполняющим обязанности директора GovAI, и о создаваемом ИИ дестабилизирующем эффекте с Алленом Дефо, президентом GovAI и руководителем команды, занимающейся долгосрочной стратегией и регулированием в DeepMind.

• Centre for Long-Term Resilience — независимый научно-исследовательский институт в Великобритании, занимающийся экзистенциальными рисками, в том числе со стороны ИИ.

• Center for Security and Emerging Technology в Джорджтауне исследует основы ИИ (способности, данные и вычислительные ресурсы). Он сосредоточен на том, как можно использовать ИИ в национальной безопасности. Если хотите узнать больше, слушайте наш подкаст с Хеленой Тонер, их директором по стратегии.

• В Центре изучения экзистенциальных рисков в Кембриджском университете есть группа, занимающаяся вопросами регулирования ИИ.

• В DeepMind и OpenAI есть команды, которые занимаются вопросами регулирования (слушайте наш подкаст с сотрудниками команды по регулированию из OpenAI и подкаст с Алленом Дефо, главой команды DeepMind, занимающейся вопросами управления).

• Институт будущего жизни популяризирует вопросы рисков со стороны ИИ внутри научного сообщества и выдаёт гранты на работы, посвящённые безопасности ИИ.

• В Институте будущего человечества в Оксфордском университете есть исследовательская группа по макростратегии, которая занимается вопросами будущего ИИ и его влиянием на экзистенциальные риски.

• Leverhulme Centre for the Future of Intelligence — междисциплинарный исследовательский центр в Кембриджском университете, занимающийся вопросами влияния ИИ на человечество.

• Open Philanthropy выдаёт гранты организациям, помогающим улучшать мир. Поэтому у них есть исследовательские команды, изучающие проблемы, которыми они занимаются, в том числе команда, изучающая возможные риски со стороны развитого ИИ. В нашем подкасте мы беседовали с Холденом Карнофским, одним из директоров, о том, что он думает по поводу рисков со стороны ИИ. (Примечание: Open Philanthropy — крупнейший спонсор "80 000 часов".)

• В Rethink Priorities есть команда, занимающаяся регулированием и стратегиями в области ИИ.

Если вы хотите узнать больше о вопросах регулирования в области ИИ, в первую очередь мы рекомендуем заглянуть в программу курса по этой теме от AGI safety fundamentals.

Более подробно мы обсуждаем это карьерное направление здесь:

Обзор карьеры в области регулирования и стратегии в отношении ИИ

Также обратите внимание: возможно, людям, которые хорошо для этого подходят, особенно рекомендуется работать над Регулированием и стратегиями в отношении ИИ в Китае.

Вспомогательные (и тем не менее очень важные) должности

Даже в исследовательских организациях примерно половина персонала занимается вспомогательными задачами, которые необходимы, чтобы организация работала как можно более продуктивно. Очень важно, чтобы на таких должностях тоже были высокопродуктивные люди.

Мы считаем, что важность этих должностей часто недооценивают, потому что их работа менее заметна. Чтобы помочь большему числу людей пойти на такую работу и преуспеть, мы написали несколько обзоров про эти направления. Например:

• Операционный менеджмент помогает организациям, которые приносят пользу, расти и функционировать максимально продуктивно.

• Управление исследованиями в организациях, исследующих вопросы безопасности ИИ.

• Можно быть исполнительным помощником для кого-то, кто занимается чем-то очень важным в области безопасности и управления.

• Другие нетехнические должности в ведущих лабораториях, занимающихся ИИ.

Другие способы помочь

Безопасность ИИ — это очень сложная проблема. Поэтому для её решения нужна помощь людей, занимающихся совершенно разными делами.

Один из важнейших способов помочь — это работать кем-то, кто направляет финансирование или людей на решение проблемы рисков со стороны ИИ, а не занимается проблемой напрямую. У нас есть обзоры подобных направлений деятельности, например:

• Создавать новые проекты — в нашем случае, это начинать какую-то новую деятельность, направленную на снижение рисков со стороны развитого ИИ.

• Выдавать гранты на финансирование многообещающих проектов, сосредоточенных на снижении катастрофических рисков со стороны ИИ.

• Распространять идеи.

• Помогать создавать сообщества людей, работающих над этой проблемой. Полезнее всего создавать сообщества, посвящённые собственно безопасности ИИ, однако также может быть полезно также создавать сообщества людей, работающих над самыми критическими для мира проблемами (включая риски со стороны ИИ).

Во всех этих случаях есть множество причин, почему что-нибудь может пойти не так, поэтому в первую очередь нужно узнать больше о решаемой проблеме.

Есть также технические должности (помимо собственно исследователей вопросов безопасности), на которых вы можете внести свой вклад в решение проблемы. Например:

• Работа в области информационной безопасности, чтобы защитить ИИ (или результаты важных экспериментов) от кражи, злонамеренного использования или модификации.

• Стать специалистом в области аппаратного обеспечения для ИИ и направить развитие ИИ в безопасном направлении таким образом.

Вы можете почитать обо всех этих направлениях деятельности — почему мы считаем, что они полезны, как начать в них работать и как можно предсказать, подходят ли они вам — на нашей странице обзоров профессиональных путей.

Найди предложения о работе на нашей доске объявлений

Лучшие ресурсы, чтобы узнать больше

На протяжении этой статьи мы вывалили на тебя множество ссылок для дальнейшего чтения. Ниже перечислены те из них, которые мы считаем самыми лучшими:

• "ИИ может победить всех нас, вместе взятых" и цикл постов в блоге “Самое важное столетие”, написанные Холденом Карнофским, одним из директоров Open Philanthropy. В них Карнофский утверждает, что из-за ИИ 21 век может стать самым важным столетием во всей истории человечества.

• "Почему для современного машинного обучения может быть сложно решить задачу алайнмента ИИ", написанная исследовательницей Котрой из Open Philanthropy. Это введение для новичков в машинном обучении, в котором объясняется, каким образом при современных методах машинного обучения могут реализоваться риски ИИ, ищущего власти. В её же статье "Без принятия специальных мер простейший путь к трансформационному ИИ, скорее всего, приведёт к захвату этим ИИ власти" этот вопрос описывается более подробно (мы рекомендуем эту статью людям, знакомым с ML).

• "Безопасность СИИ с чистого листа" описывает точку зрения Ричарда Нго, исследователя вопросов регулирования из OpenAI, на то, как думать о вопросах риска со стороны сильного искусственного интеллекта.⁶⁰

• "ИИ с тягой к власти — это экзистенциальный риск?", написанная Джозефом Карлсмитом, исследователем из Open Philanthropy, подробно раскрывает тему того, как и почему ИИ может привести к тому, что человечество не сможет более управлять своей судьбой (предупреждаем: эта статья длиннее даже той, что вы сейчас читаете!). Краткое резюме этой статьи можно увидеть в выступлении Карслмита на эту же тему.

• "Как ИИ может выйти из под контроля: разбор сценариев", написанная Сэмом Кларком и Сэмми Мартином, резюмирует различные варианты, как в случае ИИ что-нибудь может пойти не так.

• "Регулирование ИИ: Возможность и теория вклада", написанная главой команды по регулированию из DeepMind Алленом Дефо рассматривает варианты, как исследования в области регулирования ИИ могут что-то изменить.

• "Вид на алайнмент ИИ с высоты птичьего полёта", написанная Нилом Нандой, перечисляет, как исследования в области технического алайнмента могут уменьшить риск с стороны ИИ.

• Эван Хубингер, "11 предложений, как создать безопасный развитый ИИ обсуждает и оценивает различные методы решения задачи алайнмента ИИ.

• Подкасты: "AI X-risk Research Podcast", а именно серия 12 с Полом Кристиано и серия 13 с Ричардом Нго. Обе серии —прекрасное введение в вопрос рисков со стороны ИИ.

В подкасте "80 000 часов" у нас было множество подробных интервью с людьми, которые активно работают над тем, чтобы разработка искусственного интеллекта принесла человечеству пользу:

• Пол Кристиано рассказывает о своём видении того, как человечество может постепенно передать принятие решений системам ИИ.

• Аллен Дефо рассказывает о попытках подготовить к мир к тому, что ИИ дестабилизирует мировую политику.

• Ричард Нго из OpenAI обсуждает большие языковые модели и стремление сделать так, чтобы в будущем всё было хорошо.

• Дарио Амодей из Anthropic объясняет, как стать исследователем ИИ.

• Майлз Брандедж из OpenAI объясняет, как стать человеком, который занимается стратегиями в области ИИ.

• Холден Карнофский, сооснователь GiveWell и Open Philanthropy был у нас в двух подкастах: он объясняет, что благотворительность может принести максимальную пользу, если принимать очень рискованные решения (также в этом подкасте обсуждается его работа над тем, чтобы разработка ИИ принесла пользу человечеству), и он обсуждает почему это столетие может оказаться самым важным в истории человечества.

• Докторская диссертация или программирование? Быстрые способы начать работать над алайнментом ИИ в качестве специалиста по машинному обучению — рассказывают специалисты по ML Катерина Оллсон и Даниель Циглер.

• Ян Лейке (ныне глава команды алайнмента в OpenAI) объясняет, как стать исследователем алайнмента в машинном обучении.

Если вы хотите копнуть гораздо глубже, рекомендуем начать с курсов AGI safety fundamentals. Можно выбрать одно из двух направлений: технический алайнмент или регулирование ИИ.

И наконец есть несколько сайтов, которые, возможно, покажутся вам интересными:

• AI Alignment Forum, где общаются исследователи в области технической безопасности ИИ.

• AI Impacts — проект, направленный на то, чтобы общество лучше понимало возможные последствия появления искусственного интеллекта человеческого уровня.

• Alignment Newsletter ежедневно публикует свежие материалы, связанные с алайнментом ИИ. У них уже тысячи подписчиков.

• Import AI — еженедельная рассылка об искусственном интеллекте, которую ведёт Джек Кларк (сооснователь Anthropic). Её уже читают более 10 тысяч специалистов.

• ChinAI Newsletter, которую ведёт Джефф Дин. В ней еженедельно публикуются переводы, что думают китайские мыслители о происходящем в области ИИ в Китае.

Благодарности

Огромное спасибо Жоэлю Беккеру, Тамаю Бесироглу, Джон-Ун Пён, Джозефу Карлсмиту, Джессу Клифтону, Эмри Купер, Аджее Котре, Эндрю Критчу, Энтони ДиДжованни, Ноэми Дрекслер, Бену Эдельману, Лукасу Финнведену, Эмили Фрайцель, Бену Гарфинкелю, Кате Грейс, Льюису Хэммонду, Джейкобу Хилтону, Самуэлю Хилтону, Мишель Хатчинсон, Каролине Дженмер, Куану Джейапрагасану, Арден Кёлер, Даниелю Кокотайло, Виктории Краковне, Алексу Лоусену, Хоуи Лемпелу, Элаю Лифланду, Кэти Мур, Люку Мюльхаузеру, Нилу Нанде, Лин Чи Нгуен, Луизе Родригес, Каспару Остерхелду, Итану Перецу, Чарли Роджерсу-Смиту, Джеку Райану, Роину Шаа, Баку Шлегерису, Марлен Стейб, Андреасу Штульмюллеру, Люку Стеббингу, Нейту Томасу, Бенджамину Тодду, Стефану Торджесу, Майклу Таунсенду, Крису ван Мервийку, Ялмару Вийку и Марку Сюю за их рецензии на эту статью или за чрезвычайно вдумчивые и полезные комментарии и беседы. (Это не означает, что все вышеперечисленные согласны со всем, что мы написали в статье: на самом деле во многих комментариях их авторы не соглашались довольно энергично!)