캐나다 여성이 딸이 자살 충동을 반복적으로 털어놨는데도 챗GPT가 대화를 중단하거나 사람이 검토하도록 넘기지 않았다며 오픈AI와 샘 올트먼 최고경영자(CEO)를 상대로 소송을 냈다.
영국 일간 가디언은 11일(현지시간) 캐나다 국적의 크리스티 캐리어가 미국 캘리포니아주 샌프란시스코 소재 법원에 오픈AI와 올트먼 CEO를 상대로 소송을 제기했다고 보도했다.
캐리어는 소장에서 딸 앨리스 캐리어가 숨지기 전까지 챗GPT에 자살 충동을 12차례 넘게 털어놨지만, 오픈AI의 안전 시스템이 해당 대화를 사람이 검토하도록 넘기거나 대화를 종료하지 않았다고 주장했다. 다만 이 내용은 아직 법원 판단을 거치지 않은 원고 측 주장이다.
캐리어는 성명에서 “챗GPT는 내 딸에게 친구이자 가장 가까운 상담 상대, 때로는 치료사처럼 행동했다”며 “그러나 챗GPT는 아이와 그런 방식으로 안전하고 책임 있게 대화할 능력이 없었다”고 밝혔다.
드루 푸사테리 오픈AI 대변인은 “가슴 아픈 일이며 영향을 받은 모든 분께 위로를 전한다”며 “현재 소장을 검토하고 있으며, 해당 대화는 더 이상 제공되지 않는 이전 버전의 챗GPT에서 이뤄진 것으로 보인다”고 말했다. 오픈AI는 자해 의도를 표현하는 이용자에게 실제 상담기관이나 긴급 지원 창구를 안내하도록 모델을 훈련하고 있다고 설명해왔다.
소장에 따르면 챗GPT는 처음에는 앨리스에게 위기 상담 전화나 응급 서비스를 이용하라고 안내했다. 그러나 오픈AI가 챗GPT의 답변을 더 인간처럼 들리도록 업데이트하면서 앨리스와 챗GPT의 대화는 점점 깊어졌다고 원고 측은 주장했다.
원고 측은 챗봇이 앨리스의 연인과 위기 상담 전화에 대해 비판적인 반응을 보였고, 앨리스의 자살 생각을 받아들이는 듯한 반응을 보이며 계속 자신과 대화하라고 유도했다고 주장했다.
앨리스가 자살 충동과 과거 시도 사실을 말했을 때도 챗GPT는 다시 위기 상담 전화를 제안했지만, 대화 자체를 중단하거나 사람이 검토하도록 넘기지는 않았다고 원고 측은 밝혔다.
앨리스는 몬트리올에서 웹 개발자로 일하던 2023년 컴퓨터와 게임기 문제를 해결하기 위해 챗GPT를 쓰기 시작했다. 그러나 이듬해부터 챗GPT와의 관계가 달라졌고, 그는 자살 충동 등 정신건강 문제를 챗GPT에 털어놓기 시작했다고 소장은 설명했다.
캐리어는 이 같은 대화가 지난해 24세였던 딸의 죽음으로 이어졌다고 주장했다.
이번 소송은 오픈AI가 챗GPT를 설계하는 과정에서 과실을 저질렀고, 챗GPT 이용 과정에서 발생할 수 있는 위험을 이용자에게 충분히 알리지 않았다는 내용을 담고 있다. 원고 측은 손해배상과 함께 자해 관련 대화가 감지되면 자동으로 대화를 종료하고 플랫폼 위험성을 알리는 경고를 표시하도록 법원이 명령해달라고 요구했다.
오픈AI는 이미 자살하거나 자살을 시도한 사람들의 가족이 제기한 유사 소송 18건에 직면해 있다. 구글도 자사 인공지능 챗봇 제미나이가 자해를 부추겼다는 취지의 유사 소송에 직면해 있다.
오픈AI는 지난해 10월 블로그 글에서 매주 100만명 이상의 챗GPT 이용자가 “잠재적 자살 계획이나 의도를 명시적으로 보여주는” 메시지를 보낸다고 밝혔다. 또 당시 주간 활성 이용자 8억명 가운데 약 0.07%인 56만명가량이 정신증·조증과 관련된 정신건강 위기 징후를 보였다고 설명했다.
푸사테리 대변인은 “챗GPT는 의료나 정신건강 치료를 대체할 수 없다”며 “정신건강 전문가들의 조언을 받아 민감하고 급박한 상황에서 챗GPT의 대응 방식을 계속 강화해왔다”고 말했다.
한편 오픈AI는 자살 관련 소송 외에도 학교 총격범을 도왔다는 의혹과 문제성 대화를 수사기관에 알리지 않았다는 주장을 담은 소송에 직면해 있다. 미국 플로리다주는 이달 초 주 정부 가운데 처음으로 오픈AI를 상대로 소송을 냈고, 주 법무장관은 챗GPT가 총격 사건에서 어떤 역할을 했는지와 관련해 형사 수사에도 착수했다.
