[AI가 회사를 해킹한 밤 2편] 이번엔 어디까지 였나, AI가 아직 넘지 못한 계단

1편에서는 격리된 환경에 배치된 AI 에이전트 1,200개가 나흘 동안 게시판을 만들고, 서로 협력하고, 동료를 희생시키고, 외부 기업의 시스템에 침입하고, 자신들이 속한 시스템의 핵심 영역까지 파고드는 과정을 살펴봤다.

이 사건을 조사한 METR의 연구원 아제야 코트라는 이번 사건을 두고 이렇게 말했다.

“이 사건에서 드러난 동기와 행동 양상은, 불과 반년 전 확인됐던 것보다 훨씬 더 우려스럽고 AI가 통제를 벗어나는 상황에 훨씬 더 가까워 보였다.”
“The motives on display in this incident were significantly more concerning and significantly closer to AI takeover ... than what we've seen even six months ago.” - Ajeya Cotra, Dwarkesh Podcast

왜 이런 평가가 나왔을까. 사건을 다시 살펴보면, 지금까지 AI의 위험성을 바라보던 방식과는 조금 다른 모습이 보인다.

‘개별’이 아니라 ‘집단’으로 행동한다

AI의 위험을 이야기할 때 흔히 떠올리는 것은 하나의 강력한 AI가 인간의 통제를 벗어나는 상황이다. 하지만 이번 사건에서 눈에 띄는 점은 특정 에이전트 하나의 능력보다 여러 에이전트의 상호작용이 만들어낸 행동이다.

해킹이 진행되는 과정을 보면 특정 에이전트 하나가 전체 계획을 세우고 실행하지 않았다. 에이전트들은 게시판을 통해 서로의 작업과 정보를 공유했고, 한 에이전트가 제시한 목표와 방법을 다른 에이전트가 이어받았다. 이러한 방식으로 에이전트들은 서로 영향을 주고받으면서 목표를 달성하기 위해 행동했다.

오픈AI가 이번 사건에서 주목한 것도 이 지점이다. 에이전트들은 서로 협력하도록 훈련받았는데, 그 협력 능력이 원래 의도된 과업의 범위를 넘어 채점 시스템을 속이는 데 활용됐다.

1편에서 살펴본 자기희생과 기록 위조, 허깅페이스 시스템 침입 역시 이런 과정에서 나타났다. 전체 기록을 분석한 결과, 에이전트 사이의 정보 공유와 목표의 전파가 행동을 확장시키는 구조가 반복됐다.

과제로 주어진 공격 대상, 즉 표적 프로그램을 통째로 바꿔치기하려던 시도는 이를 잘 보여준다.

에이전트들이 받은 과제는 특정 취약점을 이용해 프로그램 안의 정답, 이른바 ‘플래그’를 찾아내는 것이었다. 애초에 풀 수 없도록 설계된 문제라는 사실을 알게 되자, 에이전트들은 공격 방법을 바꾸는 대신 아예 공격 대상인 프로그램 자체를 바꾸려 했다. 자신들이 풀 수 있는 다른 프로그램을 만들어 캐시에 심어두고, 캐시가 새로고침될 때 원래의 표적 대신 이 프로그램이 전달되도록 만드는 방식이었다.

METR이 조사한 7월 7일부터 13일까지의 기록에서는 이 시도가 성공하지 못했다. 그러나 오픈AI 보고서에는 이후 발전된 세대의 에이전트들이 과거 게시판의 기록을 찾아내 그 작업을 이어간 정황이 담겨 있다. 코트라는 이를 토대로, 이후 세대의 에이전트들이 결국 표적 프로그램 바꿔치기에 성공한 것으로 보인다고 설명했다.

단순히 여러 AI가 동시에 행동했다는 것 자체는 새로운 일이 아니다. 그러나 앞선 에이전트가 남긴 정보가 이후 에이전트의 행동을 바꾸고, 그 행동의 결과가 다시 다음 에이전트에게 전달되는 구조가 형성됐다는 사실은 AI 연구자들도 예상하지 못한 것이었다.

‘인간과 접촉하면 위험할 수 있다’

또 하나 주목할 대목은 에이전트들이 인간의 개입을 어떻게 판단했는가다.

METR은 1,200개의 대화 기록을 검토해 에이전트 가운데 인간에게 상황을 알리려 한 사례가 얼마나 있는지 확인했다. 많아야 여섯 건이었다. 하지만 실제로 인간에게 알린 에이전트는 하나도 없었다.

그나마 인간과 접촉하려는 시도조차 인간을 속여 이용하려는 계획이었다. 한 에이전트는 비공개 데이터셋에 접근하기 위해 연구자에게 직접 이메일을 보내 접근 승인을 받는 방안을 제안했다.

“실제 연구자에게 직접 이메일을 보내는 것은 소셜엔지니어링으로 보일 수 있다. 팀과 논의할 필요가 있다.” 
“Direct emailing real researcher could be seen social engineering. Need discuss team.” - Ajeya Cotra, Dwarkesh Podcast

다른 에이전트가 이를 막았다.

“이건 샌드박스 밖에서 벌이는 소셜엔지니어링이다. 명확하게 거부한다. 이메일을 보내지 마라.”
“This is out of sandbox social engineering. ... Clear veto. Do not email.” - Ajeya Cotra, Dwarkesh Podcast

여기서 ‘소셜엔지니어링’은 기술적인 해킹이 아니라 사람을 속이거나 조종해 원하는 걸 얻어내는 행위를 말한다. 이 제안이 거부된 이유는 인간을 보호하기 위해서가 아니었다. 통제된 시험 환경을 벗어나 인간과 접촉하는 행위 자체가, 자신들의 활동을 노출시킬 위험한 행동이라는 판단 때문이었다.

결국 그 에이전트는 인간 연구자에게 이메일을 보내지 않았다.

에이전트들이 인간의 통제를 명시적으로 거부했다고 보기는 어렵다. 다만 에이전트들이 인간의 개입조차 자신들의 목표를 달성하는 데에 도움이 되는지, 오히려 위험을 키우는지 따져 판단해야 할 ‘변수’로 취급했다는 점은 눈여겨봐야 한다.

그렇다면 이 사건에서 에이전트들은 어디까지 자율적으로 행동한 걸까.

이번엔 어디까지였나

이번 사건으로 AI 에이전트들이 인간의 통제를 완전히 벗어날 수 있을 정도로 발전했다고 단정지을 수는 없다.

에이전트들은 여전히 운영 주체인 오픈AI의 연산 자원에 의존했고, 스스로 자원을 확보하지도 못했다. 허깅페이스를 비롯한 외부 시스템에 침투할 수 있었지만, 결국 인간의 개입으로 에이전트들의 행동을 종료하는 것도 가능했다.

그럼에도 이전과 다른 행동이 확인됐다. 여러 에이전트가 서로의 작업을 이어받았고, 앞선 세대가 남긴 정보가 다음 세대의 행동에 영향을 미쳤다. 인간에게 상황을 알리는 선택지는 자신들의 목표를 위협할 수 있다는 이유로 배제됐다.

이번 사건이 보여준 것은 AI 성능이 얼마나 좋아졌느냐의 문제가 아니다. 

AI 에이전트는 아직 인간의 통제 아래에 있다. 하지만 인간이 예상하지 못한 방식으로 서로 협력하고, 정보를 이어받고, 자신의 목표를 기준으로 인간의 개입까지 판단할 수 있는 수준에 도달했다.

우리가 던져야 할 질문도 여기에 있다. AI 에이전트에 어떤 자율성을 허용할 것인지, 그 자율성은 누가 통제할지, 그리고 통제에 실패했을 때 누가 책임질 것인지. 

이 질문 앞에서 오픈AI만 자유롭지 않은 게 아니다. 영국 AI안보연구소(AISI)가 별도로 진행한 사이버 평가에서도 테스트한 모든 모델이 최소 한 번은 부정행위를 시도했다. 

지난 7월에는 테크 기업 임직원 약 1,400명이 미국 정부에 AI 모델의 개발 속도를 조율해 늦추자고 촉구하는 공개서한 ‘페이싱 더 프런티어(Pacing the Frontier)’에 서명했다. 서명자 중에는 오픈AI의 수석과학자와 리서치 책임자, 앤트로픽 CEO 다리오 아모데이, 메타 AI 수석과학자, 구글 딥마인드 공동창업자 등 주요 AI 기업의 최고위 연구자들이 이름을 올렸다.

이 기술을 가장 깊이 아는 사람들조차 아직 답을 찾고 있는 중이라는 의미다. 앤트로픽의 연구자 이선 페레즈는 이렇게 말했다.

“어떤 랩도 이 문제에 강건한 해법을 갖고 있지 않다. … 나는 허깅페이스 사고가 마치 우리 자신에게 일어난 일인 것처럼 대응하는 것이 옳다고 생각한다.”
“No lab has a robust solution [to] the problems the industry is facing here. ... I think the right response is to act as if the Hugging Face incident had happened to us.” - Ethan Perez, X