KT 자체 개발 AI 모델 라우팅 기술, 글로벌 벤치마크 2위

KT는 자체 개발한 AI 모델 라우팅 기술 오토모델라우터(AutoModelRouter)가 대형언어모델(LLM) 라우터 전문 공개 벤치마크 라우터아레나(RouterArena)에서 종합 2위를 기록했다고 27일 밝혔다.

라우터아레나는 미국 라이스대 연구진이 만든 라우터 평가 플랫폼이다. 관련 연구는 머신러닝 분야 국제학회 ICLR 2026 정식 논문으로 채택됐다. 약 8400개 질의로 응답 정확도, 비용 효율성, 입력 변화에 대한 견고성 등 실제 서비스 운영에 필요한 성능을 종합 평가한다.

오토모델라우터는 공개 리더보드에 ‘KT-ModelRouter’라는 이름으로 등재됐다. 정확도와 비용을 함께 측정하는 Acc-Cost Arena 기준 2위에 올랐다. 리더보드에는 학계가 개발한 라우터와 마이크로소프트의 에저 모델 라우터(Azure Model Router) 등 상용 기술도 올라 있다.

기업이 쓸 수 있는 모델은 번역·요약·코딩·추론에서 강점이 갈리고, 성능과 이용 비용도 다르다. 모든 업무를 한 모델로 처리하기보다 업무 특성과 요구 품질에 맞춰 모델을 고르는 기술이 디지털 전환(AX) 과정에서 핵심으로 떠오르고 있다.

오토모델라우터는 이용자 요청의 업무 유형, 난이도, 지식 분야를 분석한 뒤 모델별 응답 품질과 이용 비용을 반영한 라우팅 정책에 따라 처리할 모델을 연결한다. 성능이 가장 높은 모델이나 가장 저렴한 모델을 일률적으로 고르지 않고, 기업이 요구하는 목표 품질을 충족하면서 비용 효율을 높이도록 선택 정책을 적용했다.

간단한 번역이나 정보 확인에는 필요한 품질을 충족하는 비용 효율적인 모델을 쓰고, 전문 분석이나 높은 수준의 추론이 필요한 업무에는 고성능 모델을 연결하는 식이다. 이용자는 하나의 서비스를 쓰지만 시스템에서는 요청 특성에 따라 서로 다른 모델이 돌아간다. 기업은 모델을 일일이 비교·선택하는 부담을 줄이고, 업무별 요구 수준과 예산에 맞춰 운영 환경을 구성할 수 있다.

이 기술은 KT가 추진하는 토큰팩토리(Token Factory)의 모델 라우팅 기능에도 쓰인다. 다양한 모델과 토큰 이용 환경을 통합 운영할 때 요청에 맞는 모델을 자동 선택해 서비스 품질과 토큰 사용 비용을 함께 최적화한다. KT는 오토모델라우터를 고도화하고 새 모델을 유연하게 추가할 수 있는 멀티모델 운영 환경을 구축해 기업 고객의 도입과 디지털 전환을 지원할 계획이다.

김준석 KT 에이전틱 AI 랩(Lab)장(상무)은 “AI 시대에는 가장 뛰어난 단일 모델을 확보하는 것뿐 아니라 상황에 맞는 최적의 모델을 얼마나 지능적으로 활용하느냐가 중요하다”며 “오토모델라우터는 이러한 AI 오케스트레이션 역량을 구현한 기술로, 토큰팩토리를 비롯한 KT의 에이전틱 AI 서비스 경쟁력을 뒷받침하는 핵심 기술이 될 것”이라고 말했다. 이어 “KT는 경쟁력 있는 AI 플랫폼 기술을 바탕으로 기업 고객의 AX 전환을 선도해 나가겠다”고 밝혔다.