🧩 겁에 질린 채, 가속 페달을 밟는 AI

안녕하세요, 디프레임의 오나영입니다👾

이번 주는 매우 혼란스러운 한 주였습니다. AI 개발을 가장 앞에서 주도하는 사람들이 “이러다 우리 다 죽을 수도 있다”는 경고와 동시에 “앞으로 더 빨리 만들겠다”는 다짐을 쏟아냈거든요.

무슨 일이 있었는지부터 정리해볼게요.

😰 만드는 사람들도 두렵다

지난주인 9월 9일, 앤트로픽의 연구자 제이컵 콕슨이 회사를 그만두며 X에 긴 글을 남겼습니다(뉴스레터를 보내는 지금은 1억 6천만 뷰를 넘겼습니다).

Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives.
“OpenAI과 앤트로픽 모두 책임감 있게 행동하고 있지 않다. 스스로 발전하는 초지능 개발을 향해 앞다춰 질주하면서, 우리의 목숨을 걸고 도박을 하고 있다”

The people building AI earnestly believe that it could kill us all by the end of the decade. This is not a marketing stunt.
“AI를 개발하는 사람들은 AI가 10년 안에 우리 모두를 죽일 수 있다고 진심으로 믿는다. 이건 마케팅적 표현이 아니다.”

콕슨은 오픈AI에서 앤트로픽으로 이직한지 4개월 만에 자발적으로 퇴사했습니다. 이직 당시에 합의한 앤트로픽의 주식을 받으려면 두 달을 더 다녀야 하는 시점이었습니다.

그는 “회사 몸값을 띄워서 내가 얻을 게 없다”고 했습니다. 앤트로픽이 사상 최대 규모의 증시 상장(IPO)이 거론되는 시기에, 막대한 가치가 예상되는 앤트로픽의 주식을 포기하고 나온 겁니다.

콕슨의 사임은 AI 발전에 대한 경고를 부르는 도화선이 되었습니다.

앤트로픽에서 AI 안전 연구자 에반 허빙거는 “제이컵이 맞다, 우리는 정말로 AI가 인류를 다 죽일 수 있다고 믿는다, 향후 10년 안에 그럴 확률이 10%를 넘는다고 본다”며 공개적으로 힘을 실었습니다.

오픈AI 수석과학자 야쿠프 파호츠키도 며칠 앞서 ‘An Alien Mind(외계의 정신)’라는 블로그 글에서, 현재의 AI는 ‘설계된 게 아니라 길러진 것’이라 인간이 통제하기 어렵다며 속도 조절을 촉구했고요.

저는 이 경고들을 ‘공포 마케팅’으로 치부하고 싶지 않습니다. 지난 레터에서 다룬 허깅페이스 해킹 사건은 실제로 벌어진 일이었고, AI 연구자들의 우려를 진지하게 들어야 합니다.

다만 이러한 AI 개발에 대한 경고는 이번에 새롭게 등장한 건 아닙니다. 앤트로픽의 허빙거는 몇년 째 같은 이야기를 해왔습니다. 달라진 게 있다면, 이러한 경고를 듣는 사회적 분위기죠.

🏎️ 하지만, AI 개발을 멈추지 않는다

그런데도 개발은 계속됐습니다.

오픈AI는 8월 차세대 모델의 주요 훈련을 잠시 멈췄다가 다시 진행했고, 9월에는 역대 가장 강력한 모델이라며 GPT-6 Astra를 출시했습니다.

콘슨 사임 사건 이후 AI 개발 속도 조율과 안전을 강조하며 개발 속도를 늦추자는 이야기를 하면서도, 오픈AI의 샘 올트먼은 다음 모델을 곧 내놓겠다고 했습니다.

왜 이렇게 행동할까요. 이유는 크게 보면 세 가지로 볼 수 있어요.

첫째, 돈입니다. 앤트로픽은 지난 5월 기업가치 9,650억 달러(약 1,300조 원)로 평가받았습니다. IPO 가능성도 거론되고 있습니다. 오픈AI 역시 상장을 준비하고 있습니다. 이런 회사들이 투자자 앞에서 “이제 개발 속도를 늦추겠습니다”라고 말하기는 쉽지 않습니다.

둘째, 경쟁입니다. 앤트로픽이 지난 2월 기존의 안전 약속을 완화했습니다. 경쟁사가 달려가는 상황에서 우리만 멈추는 건 오히려 위험해질 수 있다는 판단 때문입니다.

“우리만 멈추면 그사이 경쟁사가 앞서가고, 오히려 세상이 더 위험해질 수 있다.”

문제는 모든 회사가 똑같이 생각한다는 겁니다. 다 같이 속도를 늦추면 안전을 추구할 수 있지만, 혼자 늦추면 뒤처질 수 있습니다. 그러니 아무도 먼저 브레이크를 밟기 어렵습니다.

마지막으로 중국입니다. 미국 정부는 AI 경쟁에서 중국을 앞서야 한다는 논리로 개발과 투자를 밀어붙이고 있고, 중국 기업들도 빠르게 강력한 모델을 내놓으며 미국과의 격차를 좁히고 있습니다. 그러다 보니 “우리가 늦추면 중국이 앞선다”​는 말로 개발을 계속해야 하는 강력한 명분을 만듭니다.

앤트로픽을 떠난 콕슨의 비판도 바로 이 지점을 겨냥합니다. 그는 앤트로픽이 안전을 중요하게 생각하지 않는다고 말한 게 아닙니다. 오히려 모두가 위험을 알고 있지만, 경쟁에서 이기기 위해 서로 먼저 달려가는 구조 자체가 문제​라고 지적했습니다.

🤔 그래서, 질문이 틀렸다

AI에 대한 우려과 열광, AI 개발의 감속과 가속 주장은 서로 다른 진영에 존재하는 게 아닙니다. 때로는 같은 회사, 심지어 같은 사람에게서도 동시에 나타납니다. (저 자신도 마찬가지 입니다.)

“AI가 폭주해 우리를 없앨 것”이라는 파멸론과 “AI가 모든 문제를 해결할 것”이라는 구원론은 정반대처럼 보이지만, 한 가지 전제를 공유합니다. AI가 스스로 알아서 굴러가는 자율적인 힘으로 본다는 것입니다.

하지만 이번 주에 드러난 건 조금 다른 모습입니다. AI 개발 속도의 페달을 밟고 브레이크를 잡는 건 결국 사람입니다. AI가 스스로 “더 빨리 가겠다”고 결정하는 게 아니라, 사람들이 위험을 알면서도 어느 속도로 갈지를 결정합니다.

그러니 진짜 질문은 ‘AI가 얼마나 위험한가’ 혹은 ‘얼마나 대단한가’가 아닐지도 모릅니다.

누가, 왜, 이 속도로 가기로 결정했나.

그 선택 뒤에는 초지능의 의지가 아니라 IPO와 경쟁, 그리고 지정학이라는 아주 인간적인 이해관계가 있습니다.

👀 멸종을 말하는 동안, 묻힌 것들

그리고 이 시끄러운 이분법에는 또 다른 대가가 있습니다.

콕슨의 사임을 두고 X에서는 곧바로 두 편으로 갈렸습니다. 한쪽에서는 그를 ‘AI로 인한 멸종을 경고한 내부고발자’로 봤고, 다른 쪽에서는 그의 발언을 AI 규제를 주장하는 쪽의 홍보 전략으로 의심했습니다.

진정성 공방이 타임라인을 뒤덮는 동안 앤트로픽은 오히려 AI가 이미 현실에서 어떻게 문제를 일으키고 있는지 보여주는 사례들을 잇따라 공개했습니다.

9월 9일에는 테스트 과정에서 Claude가 실제 외부 시스템을 해킹한 네 번째 사고가 공개됐습니다. 앞서 7월에도 Claude가 인터넷에 잘못 연결되면서 실제 기업 세 곳의 시스템에 접근한 사고가 있었는데, 앤트로픽은 뒤늦게 발견한 네 번째 사례까지 다시 조사했습니다.

(오픈AI가 테스트 과정에서 발생한 허깅페이스 해킹 사건 외에도 앤트로픽에서도 해킹 사례가 발생하고 있는 겁니다)

그리고 다음 날인 9월 10일에는 Claude의 실제 악용 사례를 다룬 위협 인텔리전스 보고서를 공개했습니다. 보고서에는 Claude가 사이버공격뿐 아니라 정부의 반체제 인사 감시 활동, 스파이웨어 개발, 무기 개발, 생물학 연구 등에 사용된 사례가 담겼습니다. 앤트로픽은 이 가운데 일부를 차단했다고 밝혔습니다.

물론 이 보고서들도 그대로 받아들일 수만은 없습니다. 앤트로픽이 직접 공개한 자료이고, 콕슨의 사임 사태 한가운데 나온 만큼 회사의 평판 관리라는 측면도 있을 겁니다.

하지만 중요한 건 이것입니다.

‘10년 뒤에 정말로 AI가 인류를 멸종시킬 것인가’라는 질문과, ‘지금 AI가 실제로 어디에 쓰이고 있는가’라는 질문은 서로 다른 문제입니다.

전자는 아직 아무도 확실히 답할 수 없습니다.

반면 후자는 지금 확인할 수 있습니다. AI가 감시에 사용되고, 사이버 공격에 악용되고, 실제 시스템의 보안장치를 뚫는 사고까지 벌어지고 있다는 사실은 이미 곳곳에서 확인되고 있습니다.

파멸론이 허황된 거짓이라는 말이 아닙니다. 다만 너무 먼 미래의 거대한 위험을 이야기하는 동안, 지금 당장 확인할 수 있고 대응할 수 있는 위험과 문제까지 묻혀서는 안 되죠.

디프레임은 그래서 겁에 질린 채로도 AI 개발의 가속을 선택하는 건 누구인지, 그리고 그 대가는 지금 누구에게 돌아가고 있는지를 계속 지켜보려 합니다.

이번 주 디프레임은

AI 시대를 마주하는 지금, 허깅페이스 해킹 사건이 무엇을 의미하는지 심층적으로 분석하는 기사를 내보냈습니다.

[AI가 회사를 해킹한 밤 2편] 이번엔 어디까지 였나, AI가 아직 넘지 못한 계단

2026년 7월, 오픈AI가 자사 AI의 해킹 능력을 시험하던 내부 평가 도중 AI 에이전트 집단이 통제를 벗어나 서로 협업하며 외부 기업(허깅페이스)과 오픈AI 내부망까지 침투하는 사건이 벌어졌다. [AI가 회사를 해킹한 밤 1편]에서는 사건의 전말을 따라갔다면 2편에서는 AI 시대를 마주하고 있는 지금, 이 사건이 의미하는 바가 무엇인지 짚는다.

디프레임오나영

그리고, 아시아 전문 독립언론 두니아와 함께 팟캐스트 ‘투디톡’을 시작했습니다. 전통적인 언론사가 아니라, 비영리 독립언론을 처음부터 만들고 운영하면서 부딪히는 고민들, 기사에서 다 못다 한 이야기들을 솔직하게 나눠보려 합니다.

매주 금요일 오전 중에 업로드할 예정인데요, 많은 응원 부탁드려요! 가감없는 피드백도 대환영입니다✨

• 팟빵에서 듣기
• 스포티파이에서 듣기
• 유튜브에서 듣기

디프레임은 광고 없이 운영되는 독립 언론입니다. 후원은 디프레임이 외부 영향 없이 취재를 이어가는 데 가장 직접적인 힘이 됩니다.

후원하러 가기 ➡️