AI & 기술
FlashAttention 확장, 다중 GPU 학습 및 가중치 양자화

최신 AI 인프라는 대규모 모델을 효율적으로 학습하고 서비스하기 위해 하드웨어를 고려한 어텐션 커널, 분산 다중 GPU 병렬 처리, 저비트 양자화에 의존합니다. 이 세 기법은 이론적인 모델 규모와 물리적인 GPU 한계 사이의 간극을 메웁니다.
1. Hopper (H100) GPU의 FlashAttention-2 및 FlashAttention-3
초기 FlashAttention은 메모리 대역폭 병목을 해결했지만, 최신 GPU에서 상당한 원시 연산 성능을 여전히 활용하지 못했습니다. FlashAttention-2 (2023)와 FlashAttention-3 (2024)는 GPU 스레드와 하드웨어 엔진이 협력하는 방식을 재설계했습니다.
- FlashAttention-2 (개선된 작업 분할).
- 비행렬 곱 연산 줄이기. GPU Tensor Cores는 표준 CUDA 코어가 Softmax 재스케일링 같은 스칼라 연산을 실행하는 속도보다 약 16× 빠르게 행렬 곱(matmul)을 실행합니다. FlashAttention-2는 온라인 Softmax 수식을 다시 구성해 내부 루프의 맨 끝까지 재스케일링을 미룸으로써 느린 비행렬 곱 명령을 줄였습니다.
- 시퀀스 길이에 걸친 병렬화. 초기 버전은 주로 배치 크기와 어텐션 헤드에 걸쳐 작업을 병렬화했기 때문에, 긴 시퀀스와 작은 배치 크기로 학습할 때 GPU 코어가 유휴 상태로 남았습니다. FlashAttention-2는 시퀀스 길이 차원에 병렬성을 추가하고 루프 순서를 뒤집어(Q 블록을 바깥쪽 루프로, K와 V를 안쪽 루프로 처리) 느린 공유 메모리 쓰기를 최소화합니다.
- FlashAttention-3 (Hopper H100 하드웨어 활용).
- 비동기 데이터 이동(TMA). NVIDIA의 Hopper 아키텍처는 연산 스레드를 점유하지 않고 전역 HBM과 온칩 SRAM 사이에서 데이터를 복사하는 전용 하드웨어 장치인 Tensor Memory Accelerator (TMA)를 도입했습니다.
- 워프 특화(생산자-소비자 모델). FlashAttention-3는 GPU 워프(32개 스레드로 구성된 그룹)를 전용 역할로 나눕니다. 생산자 워프는 TMA로 이후에 사용할 K와 V 타일을 SRAM에 미리 가져오고, 소비자 워프는 현재 타일을 Tensor Cores에 공급합니다(WGMMA 명령). 이를 통해 메모리 전송, 행렬 연산, Softmax 계산이 동시에 겹쳐 실행됩니다.
- FP8 저정밀도 지원. FlashAttention-3는 Hopper의 FP8 Tensor Cores를 활용해 FP16 대비 원시 처리량을 두 배로 높입니다. FP8에서 이상치 활성화로 인한 정밀도 손실을 막기 위해 블록 양자화(작은 타일을 각각 독립적으로 스케일링)와 비일관 처리(양자화 전에 Q와 K에 무작위 직교 행렬을 곱해 극단값을 완화)를 사용합니다.
2. 다중 GPU 확장 전략(3D 병렬 처리)
모델의 매개변수가 수백억 또는 수천억 개이면 가중치, 기울기, 옵티마이저 상태가 단일 GPU의 VRAM 용량을 초과합니다. 대규모 학습은 흔히 3D 병렬 처리라고 부르는 세 가지 서로 다른 병렬화 전략을 결합합니다.
| 전략 | 작업 분할 방식 | 통신 병목 | 최적 활용 사례 |
|---|---|---|---|
| 데이터 병렬 처리(DP / FSDP) | 모델을 여러 GPU에 복제하며, 각 GPU는 서로 다른 데이터 배치를 처리합니다. | GPU 간 기울기 및 샤딩된 가중치의 All-Reduce / All-Gather. | 레이어가 장치 하나에 들어갈 때 수백 개 GPU에 걸쳐 학습 처리량 확장. |
| 텐서 병렬 처리(TP) | 개별 가중치 행렬(레이어)을 GPU들에 수직 또는 수평으로 분할합니다. | 매 Transformer 레이어 이후의 All-Reduce(초고속 NVLink 필요). | 단일 GPU에 들어가지 않는 거대한 레이어를 엄격히 하나의 8-GPU 서버 노드 내에서 유지. |
| 파이프라인 병렬 처리(PP) | 모델을 깊이 방향으로 분할해 연속된 레이어 그룹을 서로 다른 GPU에 배치합니다. | 파이프라인 단계 간 점대점(P2P) 활성화 전송. | 상대적으로 느린 InfiniBand/Ethernet 네트워크로 연결된 여러 서버 노드에 걸친 확장. |
- 데이터 병렬 처리 & ZeRO / FSDP. 표준 데이터 병렬 처리에서는 모든 GPU가 모델의 전체 복사본을 보유하므로 메모리가 낭비됩니다. 최신 프레임워크는 매개변수, 기울기, 옵티마이저 상태를 전체 GPU에 걸쳐 샤딩하고 계산 직전에 각 레이어의 가중치를 모으는 ZeRO (Zero Redundancy Optimizer) 또는 PyTorch FSDP (Fully Sharded Data Parallel)를 사용합니다.
- 텐서 병렬 처리(레이어 내부). 거대한 피드포워드 행렬 곱 Y = XW를 중복 실행하는 대신, 텐서 병렬 처리는 W를 열 방향으로 GPU들에 분할합니다(W = [W_1, W_2]). 각 GPU는 출력의 절반을 동시에 계산하고 고속 NVLink(H100에서 900 GB/s)를 통해 부분 결과를 교환합니다.
- 파이프라인 병렬 처리(레이어 간). 레이어 1~8은 GPU 1에, 레이어 9~16은 GPU 2에 배치하는 식입니다. 뒤쪽 GPU가 앞쪽 레이어의 완료를 기다리며 유휴 상태로 있는 현상("파이프라인 버블")을 막기 위해, 프레임워크는 각 학습 배치를 더 작은 마이크로배치로 나눠 모든 GPU가 조립 라인처럼 계속 작동하도록 합니다.
3. 양자화(GPTQ, AWQ)와 즉시 역양자화 커널
추론(토큰을 하나씩 생성) 중 대규모 언어 모델의 성능은 연산량이 아니라 메모리 대역폭에 의해 제한됩니다. 토큰 하나를 생성하기 위해 700억 개의 16비트 매개변수(140 GB)를 VRAM에서 불러오는 동안 Tensor Cores는 메모리 전송을 기다려야 합니다. 양자화는 가중치를 16비트 부동소수점에서 4비트 정수(INT4)로 압축해 메모리 크기와 전송 시간을 거의 4분의 1로 줄입니다.
- GPTQ (헤시안 보정을 통한 학습 후 양자화).
- 16비트 가중치를 단순 반올림해 4비트 정수로 바꾸면 모델 정확도가 손상됩니다. GPTQ는 작은 보정 데이터셋을 모델에 입력하고 2차 수학(역헤시안 행렬)을 사용해 각 가중치의 민감도를 측정합니다.
- 가중치를 열 단위로 양자화하며, 한 가중치를 반올림해 오차가 생길 때마다 GPTQ는 해당 행에서 아직 양자화하지 않은 나머지 가중치를 수학적으로 조정해 오차를 상쇄합니다.
- AWQ (활성화를 고려한 가중치 양자화).
- 연구자들은 가중치 채널의 약 0.1%~1%가 큰 활성화 값과 곱해지기 때문에 나머지보다 훨씬 중요하다는 사실을 발견했습니다.
- AWQ는 이러한 중요한 가중치를 16비트로 유지하는 대신(그러면 복잡하고 느린 혼합 정밀도 메모리 배치가 생김), 양자화 전에 해당 핵심 가중치 채널을 확대하고 실행 중 대응하는 입력 활성화를 축소합니다. 그 결과 가중치의 100%를 균일한 4비트 형식으로 유지하면서 정확도를 보존합니다.
- 맞춤형 CUDA 커널이 즉석에서 역양자화하는 방식(W4A16).
- GPU는 16비트 활성화(FP16)와 4비트 정수 가중치(INT4)를 직접 곱할 수 없습니다. 대신 특화된 추론 커널(예: Marlin 또는 ExLlama)은 W4A16(4비트 가중치, 16비트 활성화) 실행을 수행합니다.
- 1. 압축된 HBM 읽기: 커널은 느린 전역 VRAM에서 패킹된 4비트 가중치(단일 32비트 정수 안에 INT4 값 8개를 패킹)를 불러와 메모리 대역폭 사용량을 4분의 1로 줄입니다.
- 2. 레지스터 수준 언패킹: GPU의 초고속 레지스터 안에서 CUDA 커널은 빠른 비트 시프트(>>)와 비트마스크(&)로 INT4 정수를 풀고, 저장된 스케일/영점 계수를 적용해 즉석에서 FP16 값으로 되돌립니다.
- 3. 즉각적인 Tensor Core 연산: 방금 풀어낸 FP16 가중치를 FP16 활성화와 함께 Tensor Cores에 바로 공급하며, 확장된 16비트 가중치를 VRAM에 다시 쓰지 않습니다.