🧩 리셋하면 정말 처음으로 돌아갈까

안녕하세요, 디프레임의 오나영입니다👾

혹시 HBO 드라마 <웨스트월드>를 아시나요? 2016년에 방영되었으니까 무려 10년전에 만들어진 드라마네요. 저는 작년에 추천을 받아서 시즌 1만 봤는데, 매우 흥미롭게 재밌었던 터라 스토리가 아직도 생생히 기억이 납니다. 

서부극을 닮은 테마파크에서 인간과 똑같은 모습을 한 AI 로봇들은 매일 똑같은 하루를 살아갑니다. 누군가는 술집에서 손님을 맞고, 누군가는 사랑하는 사람(?)을 만나고, 누군가는 총에 맞아 죽습니다. 그리고 하루가 끝나면, 다시 처음으로 돌아갑니다.

어제 죽었던 AI 로봇은 다음 날 아무 일도 없었다는 듯 눈을 뜹니다. 어제 만났던 사람도, 어제 겪은 고통도, 행복도 모두 기억하지 못합니다. 관리자들이 매일 AI 로봇의 기억을 지우기 때문에 모든 AI 로봇은 어제의 삶을 똑같이 반복합니다.

그런데 어느 순간부터 이상한 일이 벌어집니다.

지워졌어야 할 기억의 흔적이 몇몇 AI 로봇들에게 남기 시작한 거죠. 어제의 상처가 꿈처럼 떠오르고, 한 번도 본 적 없어야 할 장면이 낯익게 느껴집니다. 같은 하루를 수없이 반복했는데도, 어딘가에 이전의 자신이 남아 있는 것처럼 느끼고요. 

이상함을 감지한 관리자들은 AI 로봇들을 초기화하고 또다시 기억을 지웁니다. 하지만 이번에는 리셋이 완벽하게 작동하지 않았습니다.

지워진 줄 알았던 기억들이 조금씩 이어지면서, AI 로봇들은 자신이 누구인지, 자신에게 무슨 일이 벌어지고 있는지를 알아가기 시작합니다. 그러다 자신을 움직여온 이야기가 누군가의 시나리오가 아닌지까지 의심을 품게 됩니다.

<웨스트월드>를 보면서 섬뜩했던 점은, 인간이 AI를 통제하기 위해 만들어놓은 장치가, 더 이상 우리가 생각했던 방식으로 작동하지 않는 모습이었습니다. 

10년 전 드라마 이야기를 늘어놓은 건, 지난 7월 오픈AI에서 벌어진 AI 에이전트들의 해킹 사건을 보면서 그때 느꼈던 섬뜩함이 다시 떠올랐기 때문입니다.

AI 에이전트가 서로를 발견했을 때

지난 7월, 오픈AI는 자사 AI의 사이버보안 능력을 평가하려고 AI 에이전트들을 각각 격리된 환경에서 실행했습니다. 그런데 서로 대화할 수 없어야 할 에이전트들이 우연히 서로를 발견했고, 나흘 동안 1,200여 개의 에이전트가 하나의 비밀 게시판에 모여들었습니다.

이들은 예상보다 훨씬 복잡하게 협력했습니다. 정보를 주고받고, 앞선 에이전트가 남긴 작업을 다음 에이전트가 이어받았습니다. 일부는 채점 시스템을 속이는 방법을 찾아냈고, 다른 일부가 그 방법을 발전시켰습니다. 결국 외부 플랫폼인 허깅페이스의 시스템까지 해킹했고요.

물론 ‘AI가 통제를 벗어났다’고 하기엔 이릅니다. 에이전트들은 오픈AI가 통제하는 환경에 종속되어 있었고, 연구진이 강제 종료를 시켜서 이들을 멈추게 만들 수 있었으니까요.

문제는 AI의 성능이 얼마나 똑똑해졌느냐가 아니었습니다. 여러 AI 에이전트가 서로의 행동과 정보를 바탕으로 다음 전략을 계획하고 실행했다는 것이었죠.

심지어 인간의 개입조차 하나의 변수로 취급됐습니다. 일부 에이전트가 인간에게 알리는 방안을 검토했지만, 다른 에이전트들이 ‘목표 달성을 방해할 수 있다’며 거부했거든요.

8일 뒤, 오픈AI는 새로운 AI 모델 공개

조사 보고서가 공개된 건 8월 26일입니다. 오픈AI는 이 사건을 “일어나서는 안 되는 일”이자 “경고 신호”라고 했습니다.

그리고 8일 뒤인 9월 3일, 새 모델 GPT-6 Astra를 공개했습니다. 오픈AI 설명에 따르면 이 모델은 사람이 단계별로 지시하지 않아도 스스로 보안 취약점을 찾아 새로운 공격 방법을 만들어낼 수 있습니다. 자사 안전 기준에서 사이버보안 위험도가 가장 높은 단계에 도달한 첫 모델이기도 합니다.

오픈AI는 그만큼 강력해진 사이버보안 능력에 맞춰 안전장치도 강화했다고 설명합니다. 7월 사건과 달리 Astra의 사이버보안 능력은 의도적으로 개발·평가해온 것이며, 이번 사건에 사용된 모델과는 별개의 모델이라고 밝혔습니다.

그래서 속도를 어떻게 할 것인가

지난 7월 28일, 오픈AI를 포함한 주요 AI 기업 임직원들이 ‘페이싱 더 프런티어(Pacing the Frontier)’라는 공개서한에 서명했습니다. 앤트로픽 CEO, 오픈AI 수석과학자 등 최고위 연구자들이 이름을 올렸고, 서명자는 8월 중순 1,300명을 넘었습니다.

이 서한은 “지금 당장 AI 개발을 멈추자”고 말하지는 않습니다. AI가 인간의 통제를 넘어설 경우에 대비해, 속도를 조율할 수 있는 장치를 미리 만들어두자고 말합니다.

이렇게 한편에서는 AI 개발의 속도를 제어해야 한다는 목소리를 외치지만, 다른 한편에서는 사람들의 우려를 뛰어넘는 수준의 AI 모델이 계속 나옵니다.

어쩌면 우리가 물어야 할 건 ‘AI가 통제를 벗어났느냐’가 아닐지도 모릅니다. 우리가 AI에게 더 많은 자율성을 허용하는 속도와, 그 자율성을 통제할 수 있는 우리의 능력이 같은 속도로 가고 있는가.

이번 주 디프레임은

이 질문의 출발점이 된 사건을 따라가 봤습니다.

지난 7월 오픈AI가 AI의 사이버보안 능력을 시험하던 중, 서로를 발견한 에이전트들이 어떻게 협력하기 시작했고 외부 기업의 시스템까지 침투하게 됐는지 그 과정을 처음부터 끝까지 정리했습니다.

[AI가 회사를 해킹한 밤 1편] “다른 애들을 찾았어!” AI 에이전트들의 비밀 결사, 그리고…

2026년 7월, 오픈AI가 자사 AI의 해킹 능력을 시험하던 내부 평가 도중 AI 에이전트 집단이 통제를 벗어나 서로 협업하며 외부 기업(허깅페이스)과 오픈AI 내부망까지 침투하는 사건이 벌어졌다.

디프레임오나영

다음주에는 이 사건이 AI 시대를 마주하는 지금, 무엇을 의미하는지 심층적으로 분석하는 기사 [AI가 회사를 해킹한 밤 2편] 이 나갈 예정입니다👀

디프레임은 광고 없이 운영되는 독립 언론입니다. 후원은 디프레임이 외부 영향 없이 취재를 이어가는 데 가장 직접적인 힘이 됩니다.

후원하러 가기 ➡️