AI & 기술
PagedAttention, 추측 디코딩, MoE 및 Blackwell

최신 AI 배포는 대규모 모델을 빠르고 저렴하게 서비스하기 위해 메모리 가상화 서빙 엔진, 희소 전문가 라우팅, 서브바이트 하드웨어 정밀도에 의존합니다. 이 세 기술은 프로덕션 LLM 인프라의 최전선을 대표합니다.
1. LLM 추론 서빙 최적화: PagedAttention & 추측 디코딩
텍스트를 생성하는 동안 LLM은 매 단계마다 다시 계산하지 않도록 이전 모든 토큰의 Key (K) 및 Value (V) 텐서를 VRAM에 캐시합니다. 이 KV 캐시를 관리하는 일과 토큰별 순차 생성의 병목을 극복하는 일은 추론 서빙의 가장 큰 두 과제입니다.
- PagedAttention (vLLM) - KV 캐시를 위한 가상 메모리.
- 단편화 문제. 과거 추론 엔진은 모델의 최대 가능 시퀀스 길이(예: 32,768 토큰)를 기준으로 각 요청에 연속된 VRAM 영역을 미리 할당했습니다. 사용자가 200 토큰만 생성하면 예약된 VRAM의 99% 이상이 비어 있었고, 내부 및 외부 단편화로 GPU 메모리의 60%~80%가 낭비되었습니다.
- 운영체제 방식의 페이징. 운영체제 가상 메모리에서 영감을 얻은 PagedAttention은 각 시퀀스의 KV 캐시를 작고 고정된 크기의 블록(예: 블록당 16 토큰)으로 나눕니다. 이 블록들은 물리 VRAM 어디에나 비연속적으로 배치될 수 있습니다. 경량 블록 테이블은 어텐션 커널 안에서 논리 토큰 블록을 물리 GPU 메모리 주소에 즉석으로 매핑합니다.
- 메모리 공유(쓰기 시 복사). 블록이 분리되어 있으므로 동일한 시스템 프롬프트를 공유하거나 병렬 완성(예: 빔 탐색)을 생성하는 여러 요청이 VRAM의 정확히 동일한 물리 KV 블록을 가리킬 수 있습니다. 이를 통해 메모리 사용량을 크게 줄이고 훨씬 큰 배치 크기를 사용할 수 있습니다.
- 추측 디코딩 - 순차 처리 병목 해소.
- 자기회귀 생성이 느린 이유. 100개 토큰을 생성하려면 100회의 순차 순전파가 필요합니다. 각 순전파는 새 토큰 하나만 처리하므로 GPU는 대부분의 시간을 VRAM에서 모델 가중치를 읽는 데 쓰고, Tensor Cores는 거의 유휴 상태로 남습니다.
- 초안 생성 및 검증 파이프라인. 추측 디코딩은 거대한 대상 모델(예: 매개변수 70B개)을 아주 작고 매우 빠른 초안 모델(예: 매개변수 1B~3B개 또는 Medusa / EAGLE 같은 경량 예측 헤드)과 짝지습니다.
- 병렬 검증. 작은 초안 모델은 다음 K개 토큰(예: 5개)을 순차적으로 빠르게 추측합니다. 그런 다음 거대한 대상 모델이 한 번의 병렬 순전파에서 추측된 5개 토큰을 모두 동시에 처리하고 확률을 확인합니다. 5개 토큰을 병렬로 검증하는 데 걸리는 시간이 토큰 1개 생성 시간과 거의 같으므로, 시스템은 일치하는 모든 토큰을 한꺼번에 받아들여 수학적으로 동일한 출력 품질을 유지하면서 2×~3× 빠른 생성을 제공합니다.
2. 전문가 혼합(MoE) & 전문가 병렬 처리
밀집 모델은 토큰마다 매개변수의 100%를 활성화하므로 대규모 모델의 실행 비용이 감당하기 어려울 정도로 커집니다. 전문가 혼합(MoE) 아키텍처는 모델의 전체 지식과 토큰당 연산 비용을 분리합니다.
- MoE 레이어의 작동 방식(Mixtral & DeepSeek).
- MoE Transformer 블록에서는 하나의 밀집 피드포워드 네트워크(FFN)를 전문가라고 부르는 더 작고 독립적인 FFN 집합으로 대체합니다(예: Mixtral 8x7B의 전문가 8개 또는 DeepSeek-V3의 세분화된 전문가 256개).
- 학습된 경량 라우터(게이팅 네트워크)는 들어오는 토큰을 각각 검사하고 가장 관련성이 높은 상위 K개 전문가(보통 2~8개)에게만 전달합니다. 모델은 메모리에 총 600B개가 넘는 매개변수를 보유하면서도 토큰당 37B개만 활성화해 연산 비용의 일부만으로 거대한 모델의 지능을 구현할 수 있습니다.
- 공유 전문가 & 보조 손실 없는 균형 조정. DeepSeek 같은 최신 MoE 설계는 공통 기초 지식을 포착하기 위해 모든 토큰을 처리하는 몇 개의 공유 전문가를 전담 배치하고, 라우팅된 전문가는 특정 분야에 특화시킵니다. 동적 바이어스 조정은 "라우팅 붕괴"(라우터가 인기 있는 일부 전문가에 과부하를 주고 나머지는 무시하는 현상)를 방지합니다.
- GPU에 걸친 전문가 병렬 처리(EP).
- MoE 모델에는 수백 개의 전문가가 있으므로 단일 GPU에 모두 들어가지 않습니다. 전문가 병렬 처리는 서로 다른 전문가를 서로 다른 GPU에 분산합니다(예: 전문가 1~4는 GPU 0, 전문가 5~8은 GPU 1).
- All-to-All 통신. GPU 0이 토큰 배치를 처리할 때 라우터는 일부 토큰을 GPU 3에 있는 전문가에게 할당할 수 있습니다. 따라서 모든 MoE 레이어는 All-to-All 분배를 실행해 고속 NVLink/InfiniBand 인터커넥트로 토큰의 은닉 상태를 할당된 전문가가 있는 GPU에 보내고 전문가 FFN을 계산한 뒤, 두 번째 All-to-All 결합 단계로 결과를 반환합니다.
3. NVIDIA Blackwell (B200) & 2세대 Transformer Engine (FP4)
조 단위 매개변수의 추론 및 MoE 모델을 확장하기 위해 도입된 NVIDIA Blackwell (B200) 아키텍처는 멀티다이 패키징과 서브바이트 수치 정밀도를 모두 재설계했습니다.
- 듀얼 다이 통합 아키텍처.
- 단일 B200 GPU는 레티클 크기의 제약을 받는 두 다이에 총 2,080억 개 트랜지스터를 담고, 두 다이를 10 TB/s NV-HBI (High-Bandwidth Interface)로 결합합니다. CUDA 커널과 소프트웨어 프레임워크에는 두 다이가 캐시 일관성 페널티 없이 하나의 통합 GPU로 작동합니다.
- HBM3e 메모리 대역폭. Blackwell은 8 TB/s의 메모리 대역폭을 제공하는 192 GB HBM3e VRAM(H100의 3.35 TB/s보다 두 배 이상)을 탑재해 KV 캐시와 MoE 가중치 로딩의 메모리 대역폭 병목을 직접 겨냥합니다.
- 2세대 Transformer Engine & NVFP4.
- Hopper가 8비트 부동소수점(FP8)을 도입한 데 이어, Blackwell의 2세대 Transformer Engine은 Tensor Core 연산을 4비트 부동소수점(FP4)으로 낮춥니다. 이로써 원시 연산 처리량을 다시 두 배로 높이고(GPU당 밀집 FP4 연산 최대 20 petaFLOPS), FP8 대비 메모리 점유량을 절반으로 줄입니다.
- 마이크로 텐서 스케일링(NVFP4)으로 FP4 동적 범위 해결. 표준 4비트 수는 가능한 값이 16개뿐이어서 신경망 활성화에 극단적인 이상치가 나타나면 보통 정확도가 손상됩니다. Blackwell은 2단계 마이크로 스케일링 하드웨어로 이를 해결합니다. 큰 행렬에 스케일링 계수 하나를 적용하는 대신, 가중치와 활성화를 원소 16개짜리 작은 블록으로 묶고 각 작은 블록에 고유한 고정밀 FP8 스케일링 계수를 부여하며 전역 FP32 텐서 스케일도 함께 사용합니다.
- 하드웨어 가속 양자화. Transformer Engine은 레이어별로 텐서 범위를 동적으로 검사하고 추가 메모리 왕복 없이 Tensor Core 파이프라인 안에서 FP16/BF16, FP8, NVFP4 간에 값을 직접 변환합니다.