Воля сверхразума - заключение

рейтинг: 0+x

Заключение

Ортогональный тезис наталкивает нас на мысль, что мы не имеем права самоуверенно утверждать, что сверхразум непременно будет иметь какие-то первичные ценности, которые мы обыкновенно ассоциируем с мудростью и разумной созидательной деятельностью у людей - такой, как например научные исследования, забота о других, духовное просвещение и созерцание, отказ от материального стяжательства, вкус к утончённой культуре и простым удовольствиям жизни, смирение, бескорыстие и так далее. Эти ценности могут иметь место, если мы целенаправленно построим обладающий ими сверхразум. Или может мы создадим такой сверхразум, который ценит людское благополучие, моральное совершенство или любые другие сложные ценности, какие только вложат в него создатели. Но вполне возможно - и, вероятно, технически легче - создать сверхразум, который будет считать важным лишь одно дело: высчитать как можно больше десятичных знаков числа $\pi$.

Тезис инструментальной конвергенции подсказывает нам, что мы не можем беспечно утверждать, что сверхразум с конечной целью вроде высчитать как можно больше десятичных знаков числа pi (или понаделать бумажных скрепок, или пересчитать все песчинки) будет ограничивать свою деятельность так, чтобы не ущемлять интересы человека. Агент с подобными конечными целями в большом диапазоне ситуаций будет иметь конвергентные инструментальные причины захватывать неограниченное количество ресурсов - и, если это возможно, уничтожить все потенциальные опасности для своего существования и для достижения своей цели1. Можно попробовать добиться ситуации, когда для агента следовать своим инструментальным (а заодно, и конечным) целям лучше всего будет так, чтобы при этом содействовать благосостоянию людей - например, действуя морально или служа некоторым благородным целям, которые заложили в него его создатели. Тем не менее, если такой агент может попасть в другую ситуацию, где ему понадобиться вычислить большее количество знаков числа $\pi$ - и если он ради этого может пойти против человечества вместо того, чтобы сотрудничать с ним - то значит, его поведение может принять зловещий характер. Это указывает на опасность того, чтобы опираться на инструментальные ценности как на гарант безопасного поведения тех искусственных агентов, которые в будущем могут стать сверхразумными, и которые смогут использовать свой сверхразум для достижения экстремальных уровней власти и влияния2.




Пока не указано иное, содержимое этой страницы распространяется по лицензии Creative Commons Attribution-ShareAlike 3.0 License