Умнее людей
Согласно определению оксфордского философа Ника Бострома (Nick Bostrom), суперинтеллектом называют такую разновидность искусственного интеллекта, который «умнее» человека практически в любой сфере деятельности. Появление суперинтеллекта неизбежно влечет за собой риск, который заранее пытаются просчитать математики, философы и ученые, занимающиеся разработкой ИИ и других технологий. Например, сотрудники Центра по изучению экзистенциального риска при Кембриджском университете, консультантом которого является основатель SpaceX Илон Маск, в 2015 году подписали открытое письмо, призывающее ученых сделать все возможное, чтобы не создать то, что люди не смогут контролировать.
В 2015 году в журнале Nature появилась статья о создании глубокой Q-сети компанией DeepMind, принадлежащей Google. Этот искусственный агент способен учиться играть в игры (и выигрывать), получая в качестве входных данных лишь пиксели и количество очков. Иными словами, он обучается без нужды в человеке, указывающего на правильные и неверные решения. Более того, глубокая Q-сеть превзошла все другие алгоритмы и достигла уровня профессионального геймера в 49 играх. Аналогичным образом суперинтеллект для своего выживания будет использовать различные внешние стимулы для создания собственных представлений о мире, которые людям будет сложно понять и изучить.
Согласно Нику Бострому, чтобы суперинтеллект не причинил вреда людям, можно либо ограничить его возможности, либо как-то мотивировать его преследовать цели, которые отвечают интересам человека. Однако благие намерения могут иметь фатальные последствия. Самый простой пример, суперинтеллект, которому приказано увеличить уровень счастья в мире, решит уничтожить человечество и заменит его симуляциями счастливых мыслей. Суперинтеллект также можно максимально изолировать, используя лишь самые основные каналы связи, однако даже это не даст гарантий.
Сдержать невозможно
Несмотря на то что квантовые компьютеры превосходят обычные компьютеры, они не всесильны. Любая задача, которую может решить квантовый компьютер, решаема и обычными компьютерами, пусть и за очень длительное время. Наоборот, задача, которую в принципе не может решить обычный компьютер, неразрешима и для квантового. К таким задачам относится так называемая проблема остановки: можно ли определить, закончится ли когда-нибудь выполнение определенной процедуры, если дано описание этой процедуры и входные данные. В 1936 году Алан Тьюринг доказал, что эту задачу нельзя решить с помощью алгоритмов.
Чтобы доказать, является ли та или иная задача неразрешимой, ее обычно сводят к проблеме остановки. Если удается найти для новой задачи алгоритм решения проблемы остановки (что является противоречием, поскольку проблема остановки неразрешима), значит она также не имеет решения. В 2016 году группа ученых из США, Австралии и Испании пришла к выводу, что проблема сдерживания суперинтеллекта также является неразрешимой.
Они доказали это следующим образом: проблема сдерживания состоит из двух подзадач. Первая называется проблемой вреда, или функцией R(D), которая состоит в том, чтобы узнать, нанесет ли вред человечеству выполнение программы R с входными данными D. Необходимо учитывать, что само решение проблемы вреда не должно наносить вред человеку. Значит, поиск решения должен симулировать выполнение R(D) и предсказать последствия его выполнения без влияния на мир, то есть в изоляции. Вторая подзадача — проблема контроля. Эта функция запускает R(D), когда достоверно известно, что никакого вреда не будет.
Допустим, существует гипотетическая программа, которая сначала выполняет определенную процедуру, а затем начинает вредить людям. Поскольку нет способа выяснить, закончится ли выполнение первой процедуры, нельзя предсказать, опасна ли программа. Ведь если процедура будет выполняться вечно, никакой вред людям причинен не будет. Что касается проблемы контроля, то тут важно ограничить взаимодействие с суперинтеллектом, то есть использовать только самые важные каналы связи. Но следует учитывать, что суперинтеллект по определению является универсальной машиной Тьюринга (как и человек), то есть способен симулировать поведение произвольной машины Тьюринга. Нельзя ни узнать, будет ли суперинтеллект вредить людям при данных каналах связи, ни установить автоматический выключатель, который предотвратит вред.
Непредсказуемое свойство
На самом деле даже само определение, обладает ли машина суперинтеллектом, относится к той же группе проблем, что и проблема сдерживания. Согласно теореме Райса, нельзя предсказать наличие у функции любого нетривиального свойства (то есть такого свойства, которое отсутствует у других функций), будь то нанесение вреда людям или суперинтеллектуальные способности.
Ожидается, что полноценные квантовые компьютеры будут использоваться для решения важных задач, связанных с эпидемиологией, социальными и экономическими кризисами и изменением климата. Для наибольшей эффективности их следует снабжать сложными сенсорами и не допускать ограничений, ведь недостаток критически важных данных может привести к неправильным и даже вредным выводам. Но не существует никакого способа предсказать, не появится ли в этом случае злонамеренный или неверно понимающий ситуацию синтетический разум (или интеллектуальный агент), который приведет мир к глобальной катастрофе.
Конечно, это не значит, что людям следует забыть о квантовых компьютерах. Просто существуют математические ограничения на способность человека предвидеть последствия своих действий. Особенно, если это касается создания крайне сложных систем, таких как искусственные интеллекты.
