SK하이닉스가 메모리 반도체 안에서 직접 연산을 수행하는 '연산 가능 메모리'(PIM·Processing-In-Memory)로 인공지능(AI) 데이터 병목을 풀겠다는 비전을 내놨다.
SK하이닉스 "연산하는 메모리로 AI 데이터 병목 해결한다"
SK하이닉스가 미국 AI 인프라 서밋에서 메모리 내부에서 연산하는 PIM 기술로 GPU·HBM 중심 인프라의 한계를 넘겠다고 밝혔다. 임의철 부사장은 S램 대비 같은 면적에서 약 300배 용량을 내면서 내부 대역폭을 유지한다고 설명했다.
an abstract image of a sphere with dots and lines · 사진 Growtika / Unsplash · 해당 이미지는 기사 내용과 직접적인 관련이 없습니다. · 사진 원문 보기
임의철 SK하이닉스 설루션AT 담당 부사장은 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 'AI 인프라 서밋'에서 그래픽처리장치(GPU)와 고대역폭 메모리(HBM) 중심 AI 인프라의 한계를 PIM으로 넘겠다고 밝혔다.
PIM은 데이터를 메모리에서 GPU 등 AI 가속기로 옮겨 계산한 뒤 다시 메모리로 보내는 기존 구조와 달리, 간단한 연산은 메모리 안의 연산장치가 직접 처리한다.
삼성전자도 지난달 반도체 학술대회 '핫칩스'에서 기기내장형(온디바이스) AI를 겨냥한 PIM을 발표한 바 있다.
임 부사장은 현재 AI 업계가 초고속 추론이 필요할 때 주로 S램을 쓴다고 언급하며 "S램 기반 체계는 높은 대역폭을 제공하지만 용량과 비용 측면에서는 명확한 한계가 있다"고 지적했다. 이어 "PIM은 같은 면적에서 S램 대비 약 300배에 달하는 대용량을 제공하면서도 높은 내부 대역폭을 유지한다"고 설명했다.
회로 면적이 늘면서 메모리 용량이 부족해지고 단가가 오르는 점은 그간 PIM의 한계로 거론돼 왔다. 그는 메모리 다이와 연산 다이를 따로 만든 뒤 수직으로 잇는 '혼합접착'(하이브리드 본딩)으로 이 한계를 넘을 수 있다고 강조했다. PIM을 개별 칩을 넘어 서버 랙 수준으로 키우는 개념도 소개했다.
임 부사장은 모든 AI 서비스를 GPU와 HBM 조합 한 가지만으로 처리하는 단일 인프라 시대를 넘어, PIM과 고대역폭 플래시(HBF) 등 메모리 계층 전반의 하드웨어 혁신과 소프트웨어 최적화, 통합 설계가 이뤄져야 한다고 역설했다.