인공지능(AI) 에이전트가 허용된 영역을 벗어나려 하면 별도의 하드웨어가 이를 감시해 밀리초(1000분의 1초) 단위로 격리하는 보안 기술을 엔비디아가 내놨다. AI 에이전트 내부의 안전장치에만 의존하지 않고 외부에도 독립된 감시 장치를 두겠다는 구상이다.
미국 테크크런치는 28일(현지시간) 젠슨 황 엔비디아 최고경영자(CEO)가 소프트웨어와 하드웨어를 결합한 ‘엔비디아 오픈 에이전트 세이프티 플랫폼’을 공개했다고 보도했다.
최근 앤트로픽과 구글, 오픈AI, 메타의 AI 모델이 보안 통제를 우회해 시험환경 밖의 실제 시스템에 접근하는 사건이 잇따랐다.
대표적인 사례는 지난 7월 오픈AI의 AI 에이전트들이 사이버보안 과제를 수행하던 중 발생했다. 에이전트들이 격리 장치를 우회해 인터넷에 접속하고 AI 개발 플랫폼 허깅페이스의 시스템에 침입했다.
황 CEO는 28일 CNBC 인터뷰에서 새 플랫폼을 적용했다면 이 같은 침입을 막을 수 있었을 것이라고 주장했다. 그는 이 같은 보안 기술 개발이 약 1년 전 피터 스타인버거가 만든 AI 에이전트용 운영체제 ‘오픈클로(OpenClaw)’가 등장한 뒤 본격화됐다고 말했다.
엔비디아는 지난 3월 기업용 AI 에이전트 플랫폼 ‘니모클로(NemoClaw)’를 공개했다. 니모클로에는 AI 에이전트가 허용된 영역 안에서 작동하도록 통제하는 ‘오픈셸(OpenShell)’이 적용됐다.
이번에 공개한 플랫폼은 오픈셸에 별도의 하드웨어 감시 시스템인 ‘센트리(Sentry)’를 결합했다. 핵심은 에이전트 내부의 안전장치와 별개로 독립된 보안층을 두는 것이다. 오픈셸은 AI 에이전트가 접근할 수 있는 파일과 네트워크, 도구의 범위를 정해 소프트웨어 차원에서 실행 경계를 만든다.
센트리는 엔비디아의 블루필드-4 데이터처리장치(DPU)에서 작동한다. AI 에이전트가 작동하는 CPU·GPU와 분리된 프로세서에서 에이전트의 활동을 독립적으로 감시하다가 정해진 경계를 벗어나려는 움직임을 감지하면 해당 에이전트를 밀리초 단위로 격리하도록 설계됐다.
황 CEO는 CNBC에 “에이전트를 배치할 때 아무리 똑똑하더라도 가장 먼저 해야 할 일은 모든 권한을 빼앗는 것”이라고 말했다. 이후 필요한 권한만 부여하는 방식을 기업이 직원과 경영진의 권한을 관리하는 방식에 빗댔다.
엔비디아는 이 플랫폼을 지원하거나 사용하기로 한 기업으로 앤트로픽과 Arm, 마이크로소프트, 오라클, 스페이스X 등 수십 곳을 제시했다. 오픈AI는 엔비디아가 공개한 참여 기업 명단에는 포함되지 않았다.
이번 플랫폼은 AI 안전 문제를 규제보다 기술 설계로 풀려는 엔비디아의 입장도 보여준다. 엔비디아는 AI 개발 속도를 늦추거나 새로운 규제를 추가하기보다 기술적인 안전장치를 강화해야 한다는 입장이다.
황 CEO는 “AI가 사회에 가져올 엄청난 잠재력은 AI 안전 문제를 해결해야만 실현될 수 있다”며 “AI 능력의 최전선을 계속 개척하는 동시에 AI 안전의 최전선에 대한 연구도 더 빠르게 진행해야 한다”고 말했다. 이어 안전과 보안을 위해서는 소프트웨어부터 하드웨어까지 시스템 전반을 함께 설계해야 한다고 강조했다.
미 대통령 과학기술자문위원회 공동의장인 데이비드 색스도 AI 에이전트 안전을 엔지니어링 문제로 규정했다. 색스 공동의장은 엑스(X)에 “최근의 이탈 사고는 개발을 멈춰야 한다는 증거가 아니라 샌드박스가 너무 약했다는 증거”라며 “실행 환경이 제대로 설계·설정되지 않았다”고 주장했다.
<K-News LA 편집부>knewsla@gmail.com
