AI & 기술
하드웨어에 맞는 AI 최적화 전략 선택하기

올바른 최적화 전략의 선택은 하드웨어 아키텍처를 주요 성능 병목에 맞추는 것에서 시작됩니다. 모든 플랫폼은 컴퓨트 처리량, 메모리 대역폭, 용량에 엄격한 물리적 한계를 강제합니다.
1. 타겟 하드웨어 아키텍처별 트레이드오프
서로 다른 하드웨어 플랫폼은 텐서의 이동과 곱셈을 근본적으로 다른 방식으로 해결합니다.
| 하드웨어 클래스 | 메모리 아키텍처 | 컴퓨트 엔진 | 소프트웨어 & 커널 생태계 | 주요 강점 및 확고한 한계 |
|---|---|---|---|---|
| 데이터 센터 NVIDIA GPU (H100, B200, R100) | 디스크리트 HBM3e / HBM4 (80 GB-288 GB, 3.35-19.2 TB/s) + 빠른 온칩 SRAM. | Tensor Cores (FP16, BF16, FP8, NVFP4) + TMA 비동기 복사 유닛. | CUDA, cuDNN, Triton, TensorRT-LLM, vLLM, NCCL. | 최고의 순수 FLOPS와 멀티 GPU 확장성; 고가이며 PCIe/NVLink 경계에 제약됩니다. |
| 소비자용 NVIDIA GPU (RTX 4090 / 5090) | 디스크리트 GDDR6X / GDDR7 (24 GB-32 GB, ~1.0-1.8 TB/s). | Tensor Cores (FP16, FP8, FP4), 낮은 FP64/NVLink 성능. | CUDA, PyTorch, Triton, llama.cpp, ExLlamaV2. | 타의 추종을 불허하는 로컬 가격 대비 성능; 24-32 GB VRAM 한계와 NVLink 부재로 심각한 병목이 생깁니다. |
| Apple Silicon (M3/M4 Max & Ultra) | CPU/GPU/NPU가 공유하는 통합 메모리 (LPDDR5) (최대 192-512 GB, ~400-800 GB/s). | GPU 코어 + Simdgroup Matrix 유닛 + Apple Neural Engine (ANE). | Metal (MSL), MLX, PyTorch MPS, llama.cpp. | 대규모 모델을 로컬에 로드할 수 있는 거대한 RAM 용량; 중간 수준의 메모리 대역폭이 프롬프트 프리필 속도를 제한합니다. |
| 모바일 SoC (Snapdragon 8 Elite, Apple A18/A19) | 저전력 LPDDR5X 공유 RAM (8 GB-16 GB, ~50-85 GB/s). | 모바일 GPU (Adreno/Apple) + 전용 INT4/INT8 NPU (Hexagon/ANE). | Vulkan, Metal, ExecuTorch, LiteRT, MLC-LLM. | 초저전력 (3-8 W); 엄격한 서멀 스로틀링과 빠듯한 3-6 GB OS 앱 메모리 제한이 있습니다. |
2. 특정 병목 및 엔지니어링 목표 해결
타겟 하드웨어를 정했다면, 모든 성능 병목은 세 가지 엔지니어링 범주 중 하나에 해당하며, 각각 고유한 기술 플레이북이 필요합니다.
목표 A: 학습 속도 최대화 (처리량 및 스케일링)
학습은 활성화/그래디언트 저장과 여러 스텝에 걸쳐 Tensor Cores에 데이터를 계속 공급하는 것이 핵심입니다.
- Python 및 메모리 오버헤드 제거: torch.compile(mode="max-autotune")과 BF16/FP8 혼합 정밀도를 활성화해 Tensor Cores가 최고 속도로 동작하게 하면서 활성화 메모리를 절반으로 줄입니다.
- 통신과 연산 오버랩: 여러 GPU에서 PyTorch FSDP2 또는 ZeRO-3를 그래디언트 어큐뮬레이션과 함께 사용해 All-Gather와 Reduce-Scatter 전송이 행렬 곱셈 뒤에서 비동기적으로 이루어지게 합니다.
- Activation Checkpointing: 큰 배치 크기가 Out-Of-Memory (OOM) 오류를 일으키면 순전파 중 중간 레이어 활성화를 버리고 역전파 중에 다시 계산합니다. 약 25%의 추가 연산으로 큰 배치 크기 여유를 얻는 트레이드오프입니다.
목표 B: 추론 지연 최소화 (TTFT 및 Tokens/Sec)
추론은 Prefill(컴퓨트 바운드 프롬프트 처리)과 Decode(메모리 대역폭 바운드 토큰 생성)로 나뉩니다.
- Time-To-First-Token (TTFT) 단축: FlashAttention-2/3과 Prefix Caching(공유 시스템 프롬프트의 KV 캐시 블록 재사용)을 사용해 긴 프롬프트가 중복 연산 없이 Tensor Cores를 포화시키게 합니다.
- 토큰 생성 가속 (TPOT): 가중치를 FP8 또는 INT4 (AWQ/Marlin)로 양자화해 HBM 읽기를 2×-4× 줄이고, CUDA Graphs를 활성화해 CPU 커널 실행 공백을 제거하고, Speculative Decoding (EAGLE/Medusa)을 추가해 순전파 한 번에 3-5개의 토큰을 검증합니다.
- 배치 간섭 제거: 멀티 유저 프로덕션 환경에서는 PagedAttention과 continuous batching을 사용하거나 Prefill과 Decode를 별도의 GPU 풀로 분리해 무거운 프롬프트가 활성 토큰 스트림을 절대 지연시키지 않게 합니다.
목표 C: 메모리 풋프린트 축소 (제약된 디바이스에 모델 맞추기)
모델이 사용 가능한 VRAM이나 모바일 RAM을 초과하면 공격적인 압축과 제로 카피 실행이 필수가 됩니다.
- 서브바이트 가중치 압축: 4비트 양자화 (Q4_K_M 또는 AWQ)로 70B 모델을 140 GB에서 ~40 GB로, 8B 모델을 16 GB에서 ~4.9 GB로 줄입니다.
- KV 캐시 압축: 긴 대화는 종종 모델 가중치 자체보다 더 많은 RAM을 소비합니다. FP8/INT4 KV Cache 양자화, Sliding Window Attention, 또는 Multi-Head Latent Attention (MLA) 아키텍처를 적용해 컨텍스트 메모리를 50%-90% 줄입니다.
- 제로 카피 스트리밍 (mmap): 통합 메모리 노트북과 폰에서 양자화된 모델 파일을 NVMe/UFS 스토리지에서 직접 메모리 매핑해 OS가 시작 시 RAM 사용량을 두 배로 늘리지 않고 필요에 따라 가중치를 페이지인하게 합니다.