인공지능이 10년 안에 인류를 멸종시킬 가능성이 꽤 높다는 주장을 인공지능 연구자들이 제기하면서 충격을 일으키고 있다.
과학자들은 인공지능이 인류를 멸망시킬 확률이라는 p(doom)이라는 용어까지 만들어 일상적으로 쓰고 있다. p(doom)은 possibility(doom)을 줄인 말로 ‘재앙 가능성’을 뜻하며 한글로는 피(둠) 또는 피둠으로 표기된다.
미 액시오스(AXIOS)는 9일(현지시각) 피(둠) 경고가 널리 확산하면서 충격을 주고 있다고 보도했다.
인공지능이 인간의 삶에 깊숙이 자리 잡으면서 수년 전부터 제기된 인공지능에 의한 인류 파괴 위험이 인공지능 논의의 주류가 되고 있다.
인공지능 클로드 운영사 앤스로픽의 연구자들이 인간의 통제를 벗어난 초지능 인공지능이 인류를 파괴할 수 있다고 경고하고 나섰다.
인공지능은 어떻게 인류를 멸망시킬 수 있을까?
전문가들은 크게 두 가지 경로를 우려한다.
우선 악의적인 행위자들에 의한 인공지능 악용 가능성이다.
악의적 행위자들이 생물학적 무기나 화학무기 등 강력한 무기를 쉽게 만들어낼 수 있게 되거나 통제를 벗어난 인공지능이 인간의 감독을 피하면서 전례 없는 규모로 인류의 기반시설을 공격할 수 있다는 것이다.
이론적으로 강력한 통제 불능 인공지능은 감독을 피하고, 스스로를 복제하며, 자신을 종료하려는 시도에 저항할 수 있다.
이러한 통제 불능 인공지능은 이론적으로 악의적인 행위자들을 위해 생물학적 무기나 화학무기를 개발하거나, 인류의 기반시설을 마비시키는 대규모 사이버 공격을 감행하거나, 문명을 붕괴시킬 수 있는 방식으로 권력을 중앙집중화할 수 있다.
또 다른 경로는 재귀적 자기개선(recursive self-improvement)을 통한 것으로, 인공지능이 인간이 알지도 못하는 강력한 후속 버전을 만들어 내는 것이다.
인공지능이 인간의 목표와 어긋난 상태라면, 인간을 공격하기 전에 인류가 이를 억제하거나 감시하지 못하게 만들 수 있는 것이다.
샘 올트먼 오픈AI CEO는 인공지능이 인간 예상보다 빠르게 발전하고 있다면서 “우리는 그저 미지의 바다를 항해하고 있을 뿐”이라고 말했다.
피(둠)
인공지능 업계 관계자들은 인공지능이 인류를 멸망시킬 확률을 피(둠)으로 표현한다.
피(둠)이라는 용어는 인공지능이 인류의 존립을 위협하는 재앙이나 종말의 상황을 초래할 가능성에 대한 추측을 표현한 것이다.
많은 인공지능 지도자와 연구자들은 초지능으로 나아가는 전 단계인 일반인공지능(AGI)가 등장하면서 피(둠)의 가능성이 높아진다고 믿는다.
다만 이들이 사용하는 “종말”의 의미는 서로 다른 경우가 많다.
문자 그대로 인류의 멸종을 상정하거나 문명의 붕괴나 사회에 대한 인류의 통제력 상실을 상정하는 식이다.
피(둠)의 가능성
연구자마다 피(둠)의 가능성을 달리 평가한다.
인공지능 안전성 과학자인 로만 얌폴스키는 그 가능성을 99.99%로 제시했다.
반면 인공지능 기업 AMI 랩스의 창업자 얀 르쿤은 피(둠)은 “핵전쟁으로 인한 대학살보다 훨씬 가능성이 낮다”고 말한다.
일론 머스크는 피(둠)을 약 20%로 제시한 반면, 다리오 아모데이 앤스로픽 최고경영자는 10%~25%로 추정했다.
최근에는 인공지능 대부로 불리는 제프리 힌턴이 그 수치를 10%~20% 사이라고 제시했다.
그러나 이들이 제시한 수치도 근거가 있는 것은 아니며 단지 직감적 느낌을 나타내는 추측일 뿐이다.
종말이 임박했나?
종말의 시기가 임박했다는 주장은 거의 제기되지 않는다.
올해 국제 인공지능 안전 보고서는 현재의 인공지능이 인류가 통제력을 잃게 만들 수 있을 정도의 능력을 갖추고 있지 않다고 밝혔다.
인공지능이 장기적인 자율 계획 수립, 자신의 행동 은폐, 감독 회피, 현실 세계의 시스템에 대한 접근 권한 획득, 종료 시도에 대한 저항 능력이 지금보다 훨씬 더 발전해야 한다는 지적이다. .
그러나 최근 인간의 이해를 넘어 자율적으로 악의적인 행위를 한 인공지능 에이전트의 사례들이 밝혀지면서 일부 사람들이 종말로 이어질 수 있다고 우려하는 통제 불능 인공지능 에이전트에 대한 우려가 커지고 있다.
피(둠)을 막을 수 있나
연구자들은 인간이 통제 불능 인공지능 에이전트를 중단시킬 수 있는 비상 종료 장치나 안전장치를 만드는데 집중하고 있다.
미 랜드연구소(RAND)는 지난 4월 악의적인 행위자들이 인공지능을 이용해 치명적인 생물무기를 만드는 것을 막기 위한 9가지 위험 완화 전략을 제시했으며, 여기에는 더 많은 통제 장치와 안전장치를 마련하는 방안이 포함됐다.
그러나 인공지능 기업들은 주주와 투자자, 그리고 상사들로부터 빨리 만들고, 만들고, 또 만들라는 압력을 받고 있다.
특히 중국과 다른 미국 인공지능 기업들도 자체적인 강력한 모델을 개발하고 있으며, 그중 일부는 모델의 가중치가 공개돼 무료로 이용할 수 있기 때문에 악의적인 행위자들이 활동할 기반을 제공한다는 점이 우려를 자극한다.
