Экономист Чарльз Джонс построил математическую модель дилеммы ИИ: сколько риска гибели человечества мы готовы принять ради роста

Экономист Чарльз Джонс (Charles I. Jones) в 2024 году опубликовал статью The AI Dilemma: Growth versus Existential Risk, полный перевод которой вышел на Habr. В работе ставится острый этический вопрос: оправдан ли обмен ускоренного экономического роста и возможного увеличения продолжительности жизни на риск полного уничтожения человечества сверхсильным ИИ?

Джонс предлагает математическую модель, учитывающую три параметра: темпы экономического роста, увеличение средней продолжительности жизни и вероятность экзистенциальной катастрофы из-за суперинтеллекта. Модель позволяет теоретически оценить «допустимый» уровень риска — то есть ту вероятность гибели вида, которую рациональный агент может принять в обмен на ускорение прогресса.

Перевод на Habr снабжён комментариями @avshkol, которые помогают разобраться в формулах и критикуют спорные допущения модели. Особое внимание уделено тому, насколько корректно переносить экономические модели на такие сценарии и можно ли вообще количественно оценить риск вымирания.

Статья не предлагает готовых ответов, но задаёт рамку для дискуссии: если ИИ обещает невероятный рост и долголетие, но при этом несёт ненулевой риск конца света — где проходит черта, за которой игра не стоит свеч?