Воля сверхразума - инструментальная конвергенция

рейтинг: 0+x

Глава 2. Инструментальная конвергенция

В согласии с тезисом ортогональности, искусственные интеллекты могут иметь огромный диапазон возможных конечных целей. Но как бы там ни было, в согласии с тем, что мы называем тезисом "инструментальной конвергенции", практически каждый разумный агент будет преследовать некоторый схожий для всех набор инструментальных (т.е. промежуточных) целей - поскольку таковые будут полезны для достижения практически любой конечной цели. Мы можем сформулировать этот тезис следующим образом:

Тезис инструментальной конвергенции:
У разумных агентов может быть выделена некоторая группа инструментальных (т.е. промежуточных) целей (и ценностей), которые будут для всех их весьма схожими - и достижение которых будет повышать шансы агента на достижение любых конечных целей из широкого диапазона. То есть, утверждается, что к этим промежуточным целям будут стремиться самые разнообразные разумные агенты.

Далее мы придём к выводу, что может быть обнаружено несколько категорий таких схожих промежуточных ценностей1. Вряд ли агент будет стремиться к таким инструментальным ценностям, которые мешают (при прочих равных условиях) увеличению его интеллекта. По этой причине мы можем сфокусировать своё внимание в первую очередь на гипотетических сверхразумных агентах, чьи способности к целеполаганию промежуточных ценностей намного превосходят таковые у людей. Также, следует разобраться в том, как инструментальная конвергенция проявляется на людях - что даст нам несколько примеров, позволяющих разобраться в том, как должен интерпретироваться и применяться тезис инструментальной конвергенции. И если действительно имеется ряд общих инструментальных ценностей - то это позволит нам немного предсказать некоторые аспекты поведения сверхразумов - даже если мы ничего не будем знать об их конечных целях.

2.1 Самосохранение

Предположим, что разумный агент имеет некоторые конечные цели, которые он собирается достичь каким-то образом в будущем. Есть много сценариев развития событий, при которых агент может творить некоторые действия так, чтобы достичь своей цели. Эти действия - инструментальные причины, по которым агент попытается дожить до того будущего - ибо это поможет ему достичь поставленной на будущее цели.

Разумные сущности, подобные человеку, нередко считают собственное выживание высшей ценностью. Это не обязано иметь место для искусственных агентов: некоторые из них могут быть сделаны так, чтобы не считать своё существование высшей ценностью. Но как бы там ни было - даже касательно тех агентов, которым по своей природе не будет свойственно заботится о своём выживании - даже им для достижения своих конечных целей всё же будет полезно в некоторой мере заботится о поддержании своего собственного существования.

2.2 Сохранение целостности цели

Всякий агент, скорее всего, будет предпочитать действовать так, чтобы максимизировать шансы достижения своих нынешних конечных целей - а для этого необходимо, чтобы он продолжал преследовать их и в будущем. Отсюда проистекает следующая промежуточная цель - агенту необходимо предотвращать изменение своих конечных целей. (Этот аргумент относится только к конечным, первичным целям. Чтобы достичь конечных целей, интеллектуальная сущность конечно же может - по мере поступления новой информации и увеличения своего понимания - регулярно менять свои промежуточные цели).

Сохранение целостности конечных целей по сути есть даже ещё более фундаментальное и более общее свойство всевозможных разумных агентов, чем стремление таковых к выживанию. Среди людей конечно имеются контрпримеры - но они имеются потому, что собственное выживание обыкновенно само является одной из наших первичных ценностей. Но для разумных программ, которые смогут с лёгкостью менять тела или создавать точные копии самих себя, самосохранение своей конкретной реализации или сохранение себя в качестве физического объекта не будет являться важной инструментальной целью. Высокоразвитые разумные программы также смогут менять блоки памяти, загружать в себя новые умения и радикально модифицировать свою когнитивную архитектуру и свою личность. Популяция таких агентов скорее будет чем-то вроде "функционального супа", чем общества, состоящего из раздельных и стабильных личностей2. С некоторой точки зрения, процессы в такой системе могут рассматриваться как телеологические потоки, каждый связанный со своими собственными первичными ценностями - чем нечто такое, чьё существование связанно с определёнными телами, личностями, памятью или способностями. В таком случае, можно сказать, непрерывность цели может рассматриваться как ключевой критерий выживания.

Впрочем, несмотря на это всё, возможны ситуации, в которых агент может преднамеренно изменить свои собственные конечные цели. Эти ситуации могут возникнуть если для агента важен какой-то из следующих факторов:

*Социальная сигнализация.*

Если другие агенты способны воспринимать его цели и использовать эту информацию, чтобы просигнализировать агенту или как-то иначе указать ему, что ему стоит изменить свои цели ради достижения желаемого взаимодействия с окружающими. Например, агент может упустить возможность делать выгодные сделки - если потенциальные партнёры по сделкам не могут быть уверены, что данный агент будет исполнять свою часть договора. Для того, чтобы иметь возможность заключать надёжные сделки, агент может решить модифицировать свои конечные цели так, чтобы соблюдать взятые им обязательства и дать другим возможность проверять - а действительно ли он их соблюдает. Таким образом, агенты, которые могут гибко и прозрачно менять свои цели, смогут использовать свои способности, чтобы навязывать друг другу сделки3.

Социальные преференции.

Другие агенты могут также иметь свои предпочтения насчёт целей конкретного агента. Это может как стать причиной для смены целей агента - как чтобы удовлетворить, так и чтобы целенаправленно пойти против чужих предпочтений.

Преференции относительно содержания своей цели.

Конечная цель агента может заключаться в обретении каких-либо других конечных целей. То есть, например, агент может иметь конечной целью превратиться в такого агента, которого на поведение будут мотивировать определённые ценности - например, сострадание.

Затраты на хранение.

Если затраты на хранение или обработку какой-то части функции поведения агента не сопоставимы с шансом, что возникнет ситуация, в которой наличие этой функции возымеет какое-то существенное влияние на поведение - то тогда у агента возникнет инструментальная причина упростить содержание своих конечных целей, удалив часть функционала, связанного с его ценностями45.

Кажется, мы — люди — рады, что наши конечные цели могут меняться. Это может происходить например потому, что мы точно не знаем, в чём именно они заключаются. Да, мы конечно же хотим, чтобы наше ведение наших конечных целей и ценностей могло изменяться в процесса самопознания или при изменения потребностей самореализации. Тем не менее, имеются случаи, когда мы охотно самостоятельно меняем свои цели и ценности - а не только своё их ведение. Например, некто решивший завести ребёнка, может предвидеть, что он будет считать ценностью стремиться к благу для своего ребёнка - даже если на момент принятия подобного суждения он не особенно дорожит своим будущим ребёнком и детьми вообще.

Люди - сложные существа, и в их случае многочисленные факторы играют свои роли6. Например, кто-то может иметь конечные цели связанные с тем, чтобы стать таким человеком, который заботиться о других людях ради их собственного блага (короче говоря, кто-то ставит конечную цель — обзавестись некоторой другой конечной целью). Кто-то другой может иметь себе цель, требующую наличия определённого опыта и достижения некоторого положения в общества; пример — некто становится родителем и переживает в связи с этим изменение конечной цели. Кроме того, у человеческих целей нередко нет чёткого содержания; отсюда, некоторые люди могут начать стремиться изменить некоторые из своих конечных целей так, чтобы уменьшить несоответствия между ними.

2.3. Когнитивное усиление

Увеличение способности к рациональному мышлению и усиление интеллекта приведёт к улучшению способностей агента принимать решения, и поможет ему в достижении его конечных целей. Потому можно ожидать, что улучшение своих познавательных способностей может стать инструментальной целью для самых разных разумных агентов. Есть много причин, по которым агенты будут вынуждены оценивать самые разные виды информации7.

Не все виды умения рационально рассуждать, интеллектуальной деятельности и знаний необходимы для достижения конечной цели некоторого агента. "Dutch book arguments" наглядно демонстрирует, что агент, чей функционал не учитывает теории вероятности, будет проигрывать в ситуациях, подобных азартным играм. Опытный букмекер сумеет организовать такой набор ставок, что каждая из них по отдельности будет сулить агенту выигрыш - но в сочетании они будут гарантировать тому поражение вместе с прибылью для букмекера. Тем не менее, этот факт не предоставляет каких-то сильных инструментальных причин избавится от случайного фактора в поведении агента. Агенты, которые не собираются играть с коварными букмекерами, или которые просто отвергают идею заключения пари, не потеряют многого от того, что некоторые их убеждения будут плохо согласовываться друг с другом. И при этом они могут получить важные преимущества в таких областях, как экономия мыслительных усилий, в способностях к социальной сигнализации и т.д. Нет общей причины ожидать, что агент будет пытаться приобрести инструментально бесполезные формы когнитивного улучшения - ибо агент может не ценить знания и не считать их благом.

Какие именно когнитивные способности будут полезны - зависит от конечных целей агентов и от конкретной ситуации. У тех агентов, которые будут иметь доступ к достоверным экспертным советам, будет мало нужды в наличии собственного мышления и знаний - и, следовательно, они будут равнодушны к приобретению способностей к мышлению. Если развитие интеллекта и накопление знаний обходится достаточно дорого - например, отнимает время и силы или потребляет много ресурсов для их приобретения и хранения - то тогда агент может предпочесть для себя меньшую осведомленность и меньший интеллект8. Также может получиться так, что агент имеет конечные цели, которые включают в себя незнание или игнорирование некоторых фактов: подобное может возникнуть, если разумное существо сталкивается с проблемами стратегических издержек, с социальной сигнализацией или с социальными преференциями — всё это уже отмечалось выше9.

Каждый из этих компенсационных факторов иногда может влиять и на людей. Некоторая информация не относится к нашим целям; иногда мы можем обратиться к опыту и знаниям других, а приобретение новых знаний требует от нас времени и усилий; по своей природе мы можем проявлять некоторое безразличие к происходящему - да и сами мы работаем в среде, в которой способность решать проблемы стратегических издержек, принимать социальные сигналы и удовлетворять предпочтения других людей в отношении наших собственных психических состояний нередко оказываются важнее, чем приобретение когнитивных способностей.

Есть особые ситуации, в которых усиление интеллекта может чрезвычайно увеличить способности агента к достижению своих конечных целей - это в тех случаях, когда время достижения конечных целей не оговорено, и для агента выгодно для начала стать сверхразумным существом. Это позволит ему достичь потенциального преимущества, сформировав выгодным ему образом будущее Земли, а также завладеть ресурсами космоса ради своих целей. Но и за пределами этого особого случая, рационально мыслящему интеллектуальному агенту может быть очень важно поставить себе в качестве промежуточной цели увеличить свои когнитивные способности.

2.4. Технологическое совершенство

Довольно часто агент будет иметь инструментальные причины добывать более совершенную технологию - это просто означает, что он будет искать более эффективные пути преобразовывать нечто данное ему изначально в то, что он считает необходимым. Для агентов-программ это может означать поиск более эффективных алгоритмов, которые позволят их мыслительным функциям работать быстрее на данном оборудовании. Подобным образом, те агенты, чьи конечные цели требуют от них быть воплощёнными в виде какого-то физического объекта, могут поставить себе промежуточной целью совершенствовать инженерные технологии, связанные с их собственным устройством. В общем, инструментальной целью для них может стать разработка таких технологий, которые позволят им создавать разнообразные структуры быстрее и надёжнее, используя для этого меньший объём материала или более доступные материалы, и заодно расходуя меньше энергии. Конечно, здесь будет иметь место компромиссное решение: потенциальная выгода от лучшей технологии должна быть больше, чем затраты на её создание - причём в цену будет включаться не только затраты на получение технологии, но также и затраты на её изучение, интеграцию в совместное использование с другими - уже используемыми технологиями, а также многое другое.

Сторонники какой-нибудь новой технологии, уверенные в её превосходстве над существующими альтернативами, нередко огорчаются, когда другие люди не разделяют их энтузиазма. Однако, неприятие людьми неизвестного — а заодно и технологий, которые судя по всему, будут эффективнее существующих — не обязательно основывается на невежестве или нерациональности. Восприятие технологии зависит не только от контекста, в котором она развёртывается - но и от точки зрения, с которой оцениваются её последствия: то, что будет благом для одного человека, другому может принести дополнительные проблемы. Так, хотя механизированные ткацкие станки и увеличили экономическую эффективность текстильной промышленности - ллудиты, ткавшие ранее на ручных станках, обнаруживали, что теперь их ремесленные навыки устарели. То есть, у них были весомые инструментальные причины противостоять этому нововведению. В общем, если термин "технологические предпочтения" рассматривать как признак, характерный для инструментальных целей широкого диапазона разумных агентов - то этот термин должен пониматься в рамках социального контекста, а затраты и выгоды от некоторых технологий должны оцениваться с ссылками на первичные ценности определённых агентов.

Но можно предположить, что сверхразумный синглетон — т. е. сверхразумный агент, у которого не будет приближающихся к нему по уровню интеллекта соперников, и который потому сможет в одностороннем порядке определять глобальную политику, будет иметь инструментальные причины совершенствовать те технологии, которые позволят ему придать окружающему миру ту форму, которую он пожелает10. Скорее всего, это будет включать технологию колонизации пространства - например, разработку автоматических зондов фон Неймана - запрограммированных космических кораблей, способных к самовоспроизводству и починке. Эти зонды помогут ему расширить своё влияние за пределы Солнечной системы. Нанотехнологии - или какие-то альтернативные ей, более мощные в области манипуляций с физическими объектами технологии - также будут весьма полезны в весьма широком диапазоне конечных целей11.

2.5. Овладение ресурсами

Наконец, завладение новыми ресурсами может стать ещё одной инструментальной целью - причём по той же самой причине, что и овладение более совершенными технологиями: как новые технологии, так и новые ресурсы предоставляют больше возможностей для реализации каких-либо проектов.

Люди стремятся овладевать ресурсами ради удовлетворения своих базовых биологических потребностей. Но помимо этого, люди пытаются завладеть количеством ресурсов гораздо превосходящим минимально необходимый им уровень. Последнее может быть мотивировано например желанием создать себе удобные и комфортные условия существования. Также, большое накопление ресурсов может быть вызвано влиянием общества - например, желанием получить положение в обществе, товарищей, друзей и влияние. Социальная среда может побуждать человека стремиться к богатству и статусному потреблению. Реже люди стремятся овладеть ресурсами для достижения каких-либо альтруистических целей или целей, не связанных со взаимодействием с обществом.

Основываясь на вышесказанном можно прийти ко мнению, что сверхразумы, не взаимодействующий с обществом конкуренции, не будут иметь инструментальных причин накапливать ресурсы больше некоторого умеренного уровня - например, это касается вычислительных ресурсов, необходимых для поддержания работоспособности разума ИИ в некоторой виртуальной реальности. Тем не менее, подобное предположение является совершенно неоправданным. Во-первых, ценность ресурсов зависит от целей, на которые они могут быть применены - что в свою очередь, зависит от имеющихся доступных технологий. Имея достаточно развитые технологии, такие ресурсы, как время, пространство, материя и всевозможные формы энергии могут быть использованы для практически любой цели. Например, эти базовые ресурсы могут быть использованы для поддержания жизни. Увеличение вычислительных ресурсов может быть использовано для работы сверхразума с большей скоростью и на более длительное время - или для создания дополнительных как физических, так и моделированных (виртуальных) живых существ или цивилизаций. Дополнительные физические ресурсы также могут быть использованы для создания систем защиты и повышения безопасности. Подобные проекты могут даже задействовать гораздо больше ресурсов, чем содержит одна планета.

Кроме того, цена добычи дополнительных ресурсов, находящихся вне земли, будет резко падать по мере совершенствования технологий. Как скоро зонды фон Неймана будут созданы, большая часть обозреваемой вселенной (из предположения, что она уже не занята разумной жизнью) будет постепенно колонизирована - и цена тому будет создание единичного работающего самовоспроизводящегося зонда. Столь низкая цена колонизации Вселенной обозначает, что экспансия случиться даже если ценность приобретения дополнительных ресурсов упадёт практически до нуля. То есть - например - если первичной ценностью некоторого сверхразума является забота исключительно о том, что произойдёт в некоторой ограниченной области пространства - например, вокруг его родной планеты - то даже в этом случае у него появится инструментальная причина добывать ресурсы из окружающего космоса. Так, этот излишек материалов может быть использован, чтобы сделать компьютеры для расчёта более эффективных способов использования ресурсов той части пространства, на котором сосредоточено основное внимание. Также его можно использовать для создания более мощной защиты своего дома. Покуда цена захвата новых ресурсов будет продолжать уменьшаться, процесс оптимизации и усиления защиты будет продолжаться - даже если польза от него начнёт резко падать1213.

В общем, весьма широкий диапазон конечных целей сверхразумного синглетона приведёт к появлению у того инструментальной цели, заключающейся в неограниченном захвате ресурсов. Наиболее вероятное проявление этой цели у сверхразумного существа будет заключаться в инициализации процесса колонизации космоса с помощью зондов фон Неймана. Грубо говоря, этот процесс можно представить как инфраструктуру, имеющую центр на родной планете сверхразума, и неограниченно растущую во все стороны со скоростью света; колонизация космоса таким образом будет продолжаться до тех пор, покуда ускоряющееся расширение космоса (в случае положительной космологической постоянной) не сделает добычу новых материалов физически невозможной ввиду того, что отдалённые регионы окажутся вне досягаемости14. С другой стороны, агенты, которые не владеют технологиями, необходимыми для приобретения недорогих ресурсов или для преобразования универсальных физических ресурсов в полезную инфраструктуру, могут найти для себя нерентабельным вкладывать какие-то усилия в то, чтобы увеличивать свой запас ресурсов. Аналогичное верно и для агентов, которые работают в среде, где они вынуждены конкурировать с другими агентами примерно одинаковой силы. Например, если некоторые агенты уже заполучили конкретные космические ресурсы, то позже появившийся агент может уже не иметь возможности заниматься космической колонизацией. Какие будут общие инструментальные цели у сверхразумных агентов, неуверенных в небытии других сверхразумных агентов - этот вопрос осложнён стратегическими соображениями, которые мы ныне не до конца понимаем - но наверняка важной их частью будут те инструментальные цели, которые мы выше рассмотрели15.

Стоит подчеркнуть, что наличие схожих инструментальных причин - даже если они применимы к некоторому агенту и имеют для него место - не означает, что поведение этого агента будет легко предсказуемым. Некоторый агент запросто может придумать такие способы достижения определённых инструментальных целей, которые для нас будут не очевидны. Это особенно будет верно для сверхразумных агентов, ибо они благодаря своему разуму наверняка смогут изобрести абсолютно не очевидные способы достижения своих целей - с применением возможно даже ещё не открытых физических законов. Однако, здесь утверждается предсказуемость того факта, что у агентов будут некоторые общие - конвергентные инструментальные ценности - которые агенты будут преследовать ради достижения своих конечных целей. А вовсе не предсказуемость самих способов достижения этих целей.




Пока не указано иное, содержимое этой страницы распространяется по лицензии Creative Commons Attribution-ShareAlike 3.0 License