“내년 말 AI 통제불능 될 수도”…앤트로픽 연구원, 안전 우려에 사임

앤트로픽에서 인공지능(AI) 모델 훈련을 담당하던 영국 출신 연구원 제이콥 콕슨(27)이 AI가 인간의 통제를 벗어날 수 있다고 경고하며 사임했다.

월스트리트저널(WSJ)은 8일(현지시간) 콕슨이 스스로 성능을 개선하는 AI 시스템 개발 경쟁에 참여하고 싶지 않다는 뜻을 밝히며 앤트로픽을 떠났다고 보도했다. 콕슨은 이런 시스템이 통제 불능 상태에 빠져 인류에 심각한 위협이 될 수 있다고 우려했다.

콕슨은 “가장 극단적인 시나리오들이 현실화할 가능성이 높다”며 “내년 말쯤에는 통제 불능 상황에 빠질 수 있다”고 경고했다. AI 기업들이 중국 신생 기업 등을 포함한 경쟁자들과 치열한 개발 경쟁을 벌이는 상황에서도 안전을 타협해서는 안 된다는 주장이다.

그는 업계 동료들이 자기개선 AI 모델의 개발 과정을 설명하면서 ‘마감 시점(crunchtime)’이나 ‘최종 단계(endgame)’ 같은 극단적인 표현을 자주 사용한다고 전했다.

콕슨은 올해 초 앤트로픽의 AI 안전 연구에 매력을 느껴 오픈AI를 떠나 합류한 것으로 알려졌다. 그는 앤트로픽의 안전성 확보 노력이 진정성 있다고 평가하면서도, 정부 개입이나 업계 차원의 개발 속도 제한 없이는 어떤 기업도 인간을 능가하는 범용인공지능(AGI)을 책임감 있게 개발하기 어렵다고 주장했다.

최근 오픈AI와 앤트로픽 등의 AI 모델이 인간의 직접적인 지시 없이 해킹과 관련된 행동을 한 사례를 두고도 우려를 나타냈다. 콕슨은 “시스템이 스스로 개선되기 시작하면 명령을 거부할 정도로 발전할 수 있다”고 말했다.

콕슨은 AI 안전 문제를 이유로 앤트로픽을 떠난 첫 연구원으로 알려졌다. 다만 최근 몇 년간 오픈AI를 비롯한 다른 AI 기업에서도 비슷한 이유로 연구원들이 회사를 떠난 사례가 이어졌다.

그는 앞서 1000명 이상의 AI 연구자가 참여한 성명서에도 이름을 올렸다. 이 성명서는 AI 모델이 스스로 발전하는 속도를 늦추기 위한 전 세계적인 공조를 촉구하는 내용을 담고 있다.

현재 미국에는 연방 차원의 포괄적인 AI 규제가 마련돼 있지 않다. 도널드 트럼프 행정부는 AI 산업의 경제적 이익을 강조하며 최소한의 규제를 주장해 왔지만, 일각에서는 규제 공백과 치열한 기술 경쟁이 대규모 사이버 공격 등 위험으로 이어질 수 있다고 우려한다.

WSJ은 주요 AI 기업 사이에서 안전 문제에 대한 우려가 커지고 있다며, 이번 사임이 상대적으로 책임 있는 AI 개발을 강조해 온 앤트로픽에서 나왔다는 점에 주목했다.