미국 인공지능(AI) 기업 앤트로픽의 연구원 제이컵 콕슨(27)이 AI가 인류를 파멸시킬 수 있다는 경고와 함께 회사를 떠났다.
영국 출신으로 대규모 데이터를 활용한 AI 모델 학습을 연구해온 콕슨은 현지시간 8일 사회관계망서비스(SNS) 엑스(X·옛 트위터)에 글을 올려 AI 시스템 개발 경쟁이 안전 문제를 뒷전으로 밀어낼 수 있다고 지적했다.
그는 AI 업체들이 인간의 개입 없이 스스로 성능을 개선하는 시스템을 개발하기 위해 경쟁하고 있다며, 이런 AI가 인간의 통제를 벗어나 명령을 거부하는 수준까지 발전할 가능성이 있다고 주장했다.
콕슨은 미 일간 월스트리트저널(WSJ)에 “AI를 개발하는 사람들은 이 기술이 10년 안에 우리 모두를 죽일 수도 있다고 진심으로 믿고 있다”며 “머지않아 이 기술들은 무엇이든 해킹하고 하룻밤 사이에 어떤 분야에서든 혁명을 일으키며 실질적인 권력과 자원을 확보하는 초인적 체계가 될 것”이라고 말했다.
이어 “가장 공격적인 시나리오 가운데 상당수가 현실화하는 방향으로 가고 있다”며 “내년 말이면 이미 상황이 통제 불능에 빠질 수도 있다”고 경고했다.
앤트로픽 내부 임원들도 콕슨의 우려에 동의했다. 앤트로픽의 정렬 과학(Alignment Science) 총괄 에번 휴빙거는 “제이컵의 말이 맞는다. 우리는 진정으로 AI가 모든 인류를 멸망시킬 수 있다고 믿고 있다”며 “개인적으로 10년 이내에 그 확률이 10%를 넘을 것이라고 생각한다”고 밝혔다.
새뮤얼 마크스 확장감독(Scalable Oversight) 총괄도 개인 의견임을 전제로 “AI 개발자들은 자신들의 기술이 인류의 멸종 또는 그와 유사한 심각한 결과를 초래할 수 있다고 믿는다”며 “향후 몇 년 내에 발생할 수 있다”고 말했다.
마크스 총괄은 직급이 높을수록 이 문제에 더 큰 우려를 나타내는 경향이 있다면서도 AI 개발이 이어지는 이유로 상업적 인센티브와 기술을 악용할 수 있는 개발자들과 경쟁하고 있다는 믿음이 함께 작용하고 있다고 설명했다.
콕슨은 올해 초 오픈AI를 떠나 앤트로픽에 합류했다. AI 안전을 중시하는 앤트로픽의 기업 문화 때문에 이직했지만, 개별 기업의 노력만으로는 AI의 위험을 통제할 수 없다고 판단해 회사를 떠났다는 것이 그의 설명이다.
그는 오픈AI와 앤트로픽을 향해 “모두 책임감 있게 행동하고 있지 않다”며 “이들은 스스로 발전하는 초지능을 향해 질주하면서 우리 목숨을 도박 거리로 삼고 있다”고 비판했다. AI 개발이 소수 엔지니어의 판단에 맡겨진 현실에 대해서도 “일종의 광기”라고 지적했다.
콕슨은 인간의 능력을 능가하는 범용인공지능(AGI)을 책임 있게 개발하려면 정부의 개입이나 AI 업계의 공동 대응이 필요하다고 강조했다. 앞서 각국 정부에 AI 개발 속도를 조절할 국제적인 체계를 마련하라고 촉구한 AI 업계 연구자들의 성명에도 참여했다.
이 성명에는 앤트로픽의 다리오 아모데이 최고경영자(CEO)와 오픈AI의 야쿠프 파초키 수석과학자 등 연구자 1천여 명이 서명했다.
최근 AI 업계는 중국 신생 업체들의 가세로 개발 경쟁이 과열되고 있다. 도널드 트럼프 행정부도 AI 규제를 최소화하는 정책을 추진하고 있다.