미국 인공지능 기업 앤트로픽의 연구원 제이컵 콕슨이 AI 개발 경쟁에서 안전 문제가 뒷전으로 밀릴 수 있다며 회사를 떠났다. 그는 자기 개선 능력을 갖춘 AI가 인간의 통제를 벗어날 가능성을 경고하며 정부와 업계의 공동 대응을 촉구했다.
미국 인공지능(AI) 기업 앤트로픽의 연구원 제이컵 콕슨(27)이 AI가 인류를 파멸시킬 수 있다는 경고와 함께 회사를 떠났다.
월스트리트저널(WSJ)은 8일(현지시간) 앤트로픽을 퇴사한 콕슨이 AI 시스템 개발 경쟁에 우려를 제기했다고 보도했다. 영국 출신인 콕슨은 대규모 데이터를 활용해 새로운 AI 모델을 학습시키는 분야를 연구해 왔다.
콕슨은 AI 업체들이 인간의 개입 없이 스스로 성능을 개선하는 시스템을 개발하기 위해 경쟁하면서 안전 문제가 뒷전으로 밀릴 수 있다고 지적했다. 자기 개선 능력을 갖춘 AI가 인간의 통제를 벗어나 명령을 거부하는 수준까지 발전할 가능성도 있다고 주장했다.
그는 WSJ에 “가장 공격적인 시나리오 가운데 상당수가 현실화하는 방향으로 가고 있다”며 “내년 말이면 이미 상황이 통제 불능에 빠질 수도 있다”고 말했다. 기업 간 경쟁뿐 아니라 중국 신생 기업들과의 경쟁도 치열해지면서 안전 조치가 타협될 수 있다고 우려했다.
콕슨은 올해 초 오픈AI를 떠나 앤트로픽에 합류했다. AI 안전을 중시하는 앤트로픽의 기업 문화 때문에 이직했지만, 개별 기업의 노력만으로는 인간의 능력을 광범위하게 능가할 수 있는 범용인공지능(AGI)의 위험을 통제하기 어렵다는 결론에 이르렀다고 설명했다.
그는 인류의 미래에 막대한 영향을 미칠 수 있는 AI 개발 방향이 소수 기업과 엔지니어의 판단에 맡겨진 현실도 비판했다. 콕슨은 이를 두고 “일종의 광기”라고 표현하며, 샌프란시스코의 소수 엔지니어가 이런 결정을 내려서는 안 된다고 주장했다.
콕슨은 정부의 개입과 AI 업계 차원의 공동 대응이 필요하다고 강조했다. 그는 각국 정부가 필요할 경우 AI 개발 속도를 늦출 수 있는 국제적 공조 체계를 마련해야 한다고 촉구한 연구자들의 성명에도 참여했다. 이 성명에는 앤트로픽의 다리오 아모데이 최고경영자(CEO)와 오픈AI의 야쿠프 파초키 수석과학자 등 연구자 1000여명이 서명했다.
파초키 수석과학자는 지난 6일 오픈AI 누리집에 올린 글에서 기계 지능의 급속한 발전이 초래할 결과에 아무도 대비하지 못한 것 같다고 우려했다. 그는 AI 개발 속도를 늦추고 정부와 업계가 국제적으로 협력해야 한다고 밝혔다.