한국어 뉴스
최신
AI & 기술

PagedAttention, 추측 디코딩, MoE 및 Blackwell

특정 GPU 시스템이 아닌, 빛나는 광섬유를 보여 주는 예시 이미지입니다.
특정 GPU 시스템이 아닌, 빛나는 광섬유를 보여 주는 예시 이미지입니다.

최신 AI 배포는 대규모 모델을 빠르고 저렴하게 서비스하기 위해 메모리 가상화 서빙 엔진, 희소 전문가 라우팅, 서브바이트 하드웨어 정밀도에 의존합니다. 이 세 기술은 프로덕션 LLM 인프라의 최전선을 대표합니다.

1. LLM 추론 서빙 최적화: PagedAttention & 추측 디코딩

텍스트를 생성하는 동안 LLM은 매 단계마다 다시 계산하지 않도록 이전 모든 토큰의 Key (K) 및 Value (V) 텐서를 VRAM에 캐시합니다. 이 KV 캐시를 관리하는 일과 토큰별 순차 생성의 병목을 극복하는 일은 추론 서빙의 가장 큰 두 과제입니다.

  • PagedAttention (vLLM) - KV 캐시를 위한 가상 메모리.
  • 단편화 문제. 과거 추론 엔진은 모델의 최대 가능 시퀀스 길이(예: 32,768 토큰)를 기준으로 각 요청에 연속된 VRAM 영역을 미리 할당했습니다. 사용자가 200 토큰만 생성하면 예약된 VRAM의 99% 이상이 비어 있었고, 내부 및 외부 단편화로 GPU 메모리의 60%~80%가 낭비되었습니다.
  • 운영체제 방식의 페이징. 운영체제 가상 메모리에서 영감을 얻은 PagedAttention은 각 시퀀스의 KV 캐시를 작고 고정된 크기의 블록(예: 블록당 16 토큰)으로 나눕니다. 이 블록들은 물리 VRAM 어디에나 비연속적으로 배치될 수 있습니다. 경량 블록 테이블은 어텐션 커널 안에서 논리 토큰 블록을 물리 GPU 메모리 주소에 즉석으로 매핑합니다.
  • 메모리 공유(쓰기 시 복사). 블록이 분리되어 있으므로 동일한 시스템 프롬프트를 공유하거나 병렬 완성(예: 빔 탐색)을 생성하는 여러 요청이 VRAM의 정확히 동일한 물리 KV 블록을 가리킬 수 있습니다. 이를 통해 메모리 사용량을 크게 줄이고 훨씬 큰 배치 크기를 사용할 수 있습니다.
  • 추측 디코딩 - 순차 처리 병목 해소.
  • 자기회귀 생성이 느린 이유. 100개 토큰을 생성하려면 100회의 순차 순전파가 필요합니다. 각 순전파는 새 토큰 하나만 처리하므로 GPU는 대부분의 시간을 VRAM에서 모델 가중치를 읽는 데 쓰고, Tensor Cores는 거의 유휴 상태로 남습니다.
  • 초안 생성 및 검증 파이프라인. 추측 디코딩은 거대한 대상 모델(예: 매개변수 70B개)을 아주 작고 매우 빠른 초안 모델(예: 매개변수 1B~3B개 또는 Medusa / EAGLE 같은 경량 예측 헤드)과 짝지습니다.
  • 병렬 검증. 작은 초안 모델은 다음 K개 토큰(예: 5개)을 순차적으로 빠르게 추측합니다. 그런 다음 거대한 대상 모델이 한 번의 병렬 순전파에서 추측된 5개 토큰을 모두 동시에 처리하고 확률을 확인합니다. 5개 토큰을 병렬로 검증하는 데 걸리는 시간이 토큰 1개 생성 시간과 거의 같으므로, 시스템은 일치하는 모든 토큰을 한꺼번에 받아들여 수학적으로 동일한 출력 품질을 유지하면서 2×~3× 빠른 생성을 제공합니다.

2. 전문가 혼합(MoE) & 전문가 병렬 처리

밀집 모델은 토큰마다 매개변수의 100%를 활성화하므로 대규모 모델의 실행 비용이 감당하기 어려울 정도로 커집니다. 전문가 혼합(MoE) 아키텍처는 모델의 전체 지식과 토큰당 연산 비용을 분리합니다.

  • MoE 레이어의 작동 방식(Mixtral & DeepSeek).
  • MoE Transformer 블록에서는 하나의 밀집 피드포워드 네트워크(FFN)를 전문가라고 부르는 더 작고 독립적인 FFN 집합으로 대체합니다(예: Mixtral 8x7B의 전문가 8개 또는 DeepSeek-V3의 세분화된 전문가 256개).
  • 학습된 경량 라우터(게이팅 네트워크)는 들어오는 토큰을 각각 검사하고 가장 관련성이 높은 상위 K개 전문가(보통 2~8개)에게만 전달합니다. 모델은 메모리에 총 600B개가 넘는 매개변수를 보유하면서도 토큰당 37B개만 활성화해 연산 비용의 일부만으로 거대한 모델의 지능을 구현할 수 있습니다.
  • 공유 전문가 & 보조 손실 없는 균형 조정. DeepSeek 같은 최신 MoE 설계는 공통 기초 지식을 포착하기 위해 모든 토큰을 처리하는 몇 개의 공유 전문가를 전담 배치하고, 라우팅된 전문가는 특정 분야에 특화시킵니다. 동적 바이어스 조정은 "라우팅 붕괴"(라우터가 인기 있는 일부 전문가에 과부하를 주고 나머지는 무시하는 현상)를 방지합니다.
  • GPU에 걸친 전문가 병렬 처리(EP).
  • MoE 모델에는 수백 개의 전문가가 있으므로 단일 GPU에 모두 들어가지 않습니다. 전문가 병렬 처리는 서로 다른 전문가를 서로 다른 GPU에 분산합니다(예: 전문가 1~4는 GPU 0, 전문가 5~8은 GPU 1).
  • All-to-All 통신. GPU 0이 토큰 배치를 처리할 때 라우터는 일부 토큰을 GPU 3에 있는 전문가에게 할당할 수 있습니다. 따라서 모든 MoE 레이어는 All-to-All 분배를 실행해 고속 NVLink/InfiniBand 인터커넥트로 토큰의 은닉 상태를 할당된 전문가가 있는 GPU에 보내고 전문가 FFN을 계산한 뒤, 두 번째 All-to-All 결합 단계로 결과를 반환합니다.

3. NVIDIA Blackwell (B200) & 2세대 Transformer Engine (FP4)

조 단위 매개변수의 추론 및 MoE 모델을 확장하기 위해 도입된 NVIDIA Blackwell (B200) 아키텍처는 멀티다이 패키징과 서브바이트 수치 정밀도를 모두 재설계했습니다.

  • 듀얼 다이 통합 아키텍처.
  • 단일 B200 GPU는 레티클 크기의 제약을 받는 두 다이에 총 2,080억 개 트랜지스터를 담고, 두 다이를 10 TB/s NV-HBI (High-Bandwidth Interface)로 결합합니다. CUDA 커널과 소프트웨어 프레임워크에는 두 다이가 캐시 일관성 페널티 없이 하나의 통합 GPU로 작동합니다.
  • HBM3e 메모리 대역폭. Blackwell은 8 TB/s의 메모리 대역폭을 제공하는 192 GB HBM3e VRAM(H100의 3.35 TB/s보다 두 배 이상)을 탑재해 KV 캐시와 MoE 가중치 로딩의 메모리 대역폭 병목을 직접 겨냥합니다.
  • 2세대 Transformer Engine & NVFP4.
  • Hopper가 8비트 부동소수점(FP8)을 도입한 데 이어, Blackwell의 2세대 Transformer Engine은 Tensor Core 연산을 4비트 부동소수점(FP4)으로 낮춥니다. 이로써 원시 연산 처리량을 다시 두 배로 높이고(GPU당 밀집 FP4 연산 최대 20 petaFLOPS), FP8 대비 메모리 점유량을 절반으로 줄입니다.
  • 마이크로 텐서 스케일링(NVFP4)으로 FP4 동적 범위 해결. 표준 4비트 수는 가능한 값이 16개뿐이어서 신경망 활성화에 극단적인 이상치가 나타나면 보통 정확도가 손상됩니다. Blackwell은 2단계 마이크로 스케일링 하드웨어로 이를 해결합니다. 큰 행렬에 스케일링 계수 하나를 적용하는 대신, 가중치와 활성화를 원소 16개짜리 작은 블록으로 묶고 각 작은 블록에 고유한 고정밀 FP8 스케일링 계수를 부여하며 전역 FP32 텐서 스케일도 함께 사용합니다.
  • 하드웨어 가속 양자화. Transformer Engine은 레이어별로 텐서 범위를 동적으로 검사하고 추가 메모리 왕복 없이 Tensor Core 파이프라인 안에서 FP16/BF16, FP8, NVFP4 간에 값을 직접 변환합니다.

더 많은 뉴스: AI & 기술