삼성전자, 메모리 안에서 AI 연산…LPDDR5X-PIM 성능 공개

라마 3.1 추론 시간 12.3초→5.4초 스마트폰·AI PC 등 온디바이스 시장 공략 [아이뉴스24 권서아 기자] 삼성전자가 스마트폰과 인공지능(AI) PC 등 온디바이스(기기내장형) AI 기기를 공략해 메모리 내부에서 일부 연산을 직접 처리하는 '저전력 D램(LPDDR)5X-메모리 내 연산(PIM)'의 세부 성능을 공개했다.삼성전자는 25일(현지시간) 미국 스탠퍼드대에서 열린 반도체 학술대회 '핫칩스 2026'에서 LPDDR5X-PIM의 구조와 성능 검증 결과를 발표했다. 발표는 황가람 삼성전자 책임이 맡았다.삼성전자의 LPDDR5X-PIM 제품. [사진=삼성전자]PIM은 메모리에 연산 기능을 더한 기술이다. 기존에는 메모리에 저장된 데이터를 중앙처리장치(CPU)나 그래픽처리장치(GPU)로 옮겨 계산한 뒤 다시 메모리에 저장해야 한다.LPDDR5X-PIM은 이 가운데 일부 계산을 메모리 내부에서 직접 처리한다. 데이터가 메모리와 프로세서 사이를 오가는 양을 줄여 AI 처리 속도를 높이고 전력 소모를 낮추는 방식이다.실제 AI 추론 속도도 빨라졌다. 삼성전자가 메타의 80억개 파라미터 모델 '라마 3.1'로 시험한 결과 처리 시간은 기존 LPDDR5X의 12.3초에서 5.4초로 줄었다. 약 2.3배 빠른 수준이다.초당 토큰 처리량(TPS)은 27개에서 81.3개로 3배 늘었다. AI가 같은 시간 동안 처리할 수 있는 정보량이 그만큼 늘어난다는 의미다.삼성전자는 앞서 2021년 고대역폭 메모리(HBM)에 PIM 기술을 적용한 'HBM-PIM'을 선보였다. 이번에는 스마트폰과 PC 등에 주로 사용하는 저전력 D램인 LPDDR까지 PIM 적용 범위를 넓혔다.최근 AI 모델이 작고 효율적으로 바뀌고 스마트폰이나 PC 자체에서 AI를 실행하는 수요가 늘면서 저전력 메모리의 역할도 커지고 있다. 데이터센터 중심의 HBM과 달리 LPDDR-PIM은 전력 효율이 중요한 온디바이스 AI에 초점을 맞췄다.기존 시스템과의 호환성도 고려했다. LPDDR5X-PIM은 기존 LPDDR5X와 같은 561볼 패키지와 메모리 제어 방식을 사용할 수 있도록 설계해 별도의 메모리 컨트롤러 없이 기존 시스템에 적용할 수 있다.삼성전자는 소프트웨어개발키트(SDK)와 시뮬레이터를 제공하며 PIM 생태계를 구축하고 있다. 차세대 'LPDDR6-PIM' 표준화 작업도 시작했다.황 책임은 "최근 대형언어모델(LLM)이 소형화·효율화하면서 HBM이 항상 ...