지난달 28일(현지시간) 이란의 한 초등학교 운동장. 평화롭던 아이들의 웃음소리가 미사일 굉음에 묻히는 데는 단 몇 초도 걸리지 않았다. 미사일 한 발에 학생과 교사 등 175명의 생명이 스러졌다. 이 참혹한 오폭의 배후에는 치명적인 데이터 오류와 인간의 방관이 결합한 차가운 알고리즘이 있었다.
뉴욕타임스(NYT)는 “이번 사건이 복합적인 정보 실패의 산물”이라고 지적했다. 타격 지점을 선정한 팔란티어의 AI 시스템 ‘메이븐’이 낡은 지도를 보고 있었다는 주장이다. 해당 부지는 이미 10년 전 학교로 바뀌었지만, AI의 데이터베이스에는 여전히 ‘적군의 임시 지휘소’로 기록돼 있었다. 이는 위성 사진으로도 확인 가능한 사실이었다.
더 큰 비극은 이를 검증해야 할 지휘부의 ‘맹신’이었다. 시간당 1000개가 넘는 타격 좌표를 쏟아내는 AI의 속도 앞에 인간이 압도당했다. 별도의 확인 과정 없이 내려진 ‘승인’ 버튼 하나가 무고한 아이들의 생명을 앗아갔다는 지적이다.
조사 관계자들은 AI 시스템 오류 가능성도 검토했으나, 최종적으로 정보를 갱신해야 할 주체들의 ‘인적 오류’에 더 무게를 두고 있다. 팔란티어는 “자사 소프트웨어가 살상 결정을 내리지 않으며, 최종 표적 선택과 승인 책임은 군에 있다”고 해명했다.
미 국방부는 이번 공습 사고와 관련해 원인과 책임 소재를 규명하기 위한 조사에 착수했다. 국방부는 성명을 통해 “이번 사안을 엄중하게 인식하고 있다”며 “표적 선정부터 실제 타격까지 이어지는 전 과정에서 어떤 문제가 있었는지 정밀하게 들여다보고 있다”고 밝혔다.
전문가들은 이를 “자동화된 의사결정과 AI 사용자의 책임 회피가 결합한 가장 위험한 모델”이라고 지적했다. 역설적으로 AI의 효율성이 전장의 안개를 걷어내고 민간인 희생을 최소화하는 결과가 아닌, 오히려 무고한 피로 물들게 하는 결과를 가져왔다.
“20초 만의 알고리즘 살생부”…이스라엘 AI 표적 생성 시스템의 함정
이러한 비극은 이스라엘·하마스 전쟁에서도 예견된 바 있다. 2023년 10월 발발한 이 전쟁에서 운용된 AI 표적 시스템 ‘라벤더’와 ‘하브소라’가 대표적이다.
영국 일간지 가디언이 이스라엘 정보국 내부 관계자의 폭로를 인용한 보도에 따르면, 이들 AI시스템은 수만명의 잠재적 타깃을 자동으로 생성한다. 이스라엘 군인들이 AI가 선정한 표적을 검토하는 데 걸리는 시간은 평균 20초에 불과하다. AI가 “저곳에 적이 있다”고 좌표를 찍으면, 인간은 기계적으로 승인 버튼을 누르는 거수기로 전락했다.
소름 끼치는 것은 ‘아빠 어디 있어?(Where’s Daddy)’라고 불리는 위치 추적 알고리즘이다. 이 시스템은 표적이 군사시설을 벗어나 자신의 집으로 귀가하는 시점을 노린다. 군사 시설에 머무를 때보다 가족과 함께 있을 때 사살하기 더 쉽다는 잔인한 효율성 때문이다.
이에 대해 이스라엘 국방군(IDF)은 “AI가 표적을 자동 결정하는 시스템이 아니라 정보를 교차 검증하기 위한 데이터베이스일 뿐”이라고 반박했다. “모든 공격은 인간의 판단과 국제법 기준에 따라 수행된다”며 AI가 독자적으로 살상 결정을 내린다는 주장에 선을 그었다.
하지만 민간인 피해 규모를 둘러싼 논쟁이 이어지고 있다. 가디언과 이스라엘 매체 +972 매거진·로컬콜은 가자지구 사망자 가운데 약 83%가 민간인으로 추정되며, 전투원 비율은 17% 수준에 그친다는 분석을 내놨다. 해당 수치는 공식적으로 확정된 통계는 아니지만, AI의 정밀함이 오히려 민간인 피해를 구조적으로 키우고 있다는 분석이다.
가자지구 보건부와 유엔(UN) 집계에 따르면 가자 지구 사망자 중 70% 이상이 여성과 어린이로 나타났다. 이에 대해 이스라엘군은 전투원 비율이 이보다 훨씬 높다고 반박했다.
리비아에서 우크라이나까지…’스스로 쏘는 총’ 현실화
이제 전쟁터는 인간의 통제를 벗어나고 있다. 2020년 리비아 내전 당시 터키제 자율살상무기(LAWS) 드론인 ‘카구2(Kargu-2)’가 인간의 명령 없이 퇴각하는 병사를 추적해 공격했다는 UN 보고서가 전세계를 경악게 했다.
로이터 통신에 따르면, 현재 우크라이나 전장에는 통신이 끊겨도 표적을 식별하는 AI 기반 자율 드론과 로봇 시스템이 확대되고 있다. 초기에는 정찰과 보조 역할에 그쳤으나, 이제는 자율 살상 능력을 갖춘 ‘킬러 로봇’이 전면에 나설 채비를 마쳤다는 분석이다.
문제는 ‘자동화 편향’이라 부른다. 인간이 기계의 판단을 자신의 직관보다 우선시하는 현상이다. 오염된 데이터가 마을 전체를 적군 진영으로 오판해도, 현장 지휘부는 기계의 ‘정확성’을 의심하지 않는다. 그곳에는 제지할 도덕적 주체도, 죄책감을 느낄 인간도 존재하지 않는다.
사라진 전쟁 윤리, 누구에게 책임을 물을 것인가
가장 심각한 문제는 ‘책임의 실종’이다. AI가 작전을 설계하고 지휘부는 버튼만 누르는 구조에서는 참사가 발생해도 뚜렷한 책임 주체가 없다. 지휘관은 알고리즘의 오류를 탓하고, 개발사는 데이터의 한계를 주장한다. 살상의 책임이 알고리즘으로 외주화되면서 전쟁의 문턱은 낮아지고 인간의 죄책감은 희석된다.
미국 월스트리트저널(WSJ)는 최근 “AI는 전쟁을 대리할 순 있어도, 그 비극의 책임을 대신 져주지는 않는다”고 일갈했다.
AI 업계 전문가는 “살상 결정 단계에서 인간이 실질적인 검증 책임을 지도록 하는 체계와 이에 대한 강력한 국제적 감시가 시급하다. 우리가 지켜야 할 것은 정밀한 타격 기술이 아니라 사람을 죽여도 된다는 결정에 대한 인간의 최후 책임”이라며 “차가운 기계가 내리는 사형 선고를 묵인하는 한, 우리는 모두 알고리즘의 공범이 될 수밖에 없다”고 말했다.
