실전 GPU 엔지니어링: Metal 셰이더, 프로파일링, 엣지 배포

실전 GPU 엔지니어링은 크로스 플랫폼 셰이더 프로그래밍, 하드웨어 카운터 진단, 온디바이스 엣지 배포를 아우릅니다. 아래에서 세 가지 워크플로 모두를 심층적으로 살펴봅니다.
1. 커스텀 Apple Metal (MSL) 타일드 행렬 곱셈 셰이더
Apple Silicon (M1-M4 / A-시리즈)에서 컴퓨트 커널은 Metal Shading Language (MSL)로 작성되며, 느린 글로벌 메모리 읽기를 피하기 위해 Threadgroup Memory(CUDA Shared Memory에 해당하는 Apple의 메모리)를 활용합니다.
아래는 16 × 16 스레드그룹 타일을 사용하는 MSL 타일드 행렬 곱셈 (C = A × B) 셰이더입니다.
#include <metal_stdlib>
using namespace metal;
constant uint TILE_SIZE = 16;
struct MatrixDims {
uint M; // Rows of A and C
uint N; // Cols of B and C
uint K; // Cols of A and Rows of B
};
kernel void matmul_tiled(
device const float* A [[buffer(0)]],
device const float* B [[buffer(1)]],
device float* C [[buffer(2)]],
constant MatrixDims& dims [[buffer(3)]],
uint2 gid [[thread_position_in_grid]],
uint2 tid [[thread_position_in_threadgroup]]
) {
// Fast on-chip Threadgroup (SRAM) tiles
threadgroup float tileA[TILE_SIZE][TILE_SIZE];
threadgroup float tileB[TILE_SIZE][TILE_SIZE];
float acc = 0.0f;
uint numTiles = (dims.K + TILE_SIZE - 1) / TILE_SIZE;
for (uint t = 0; t < numTiles; ++t) {
uint tiledCol = t * TILE_SIZE + tid.x;
uint tiledRow = t * TILE_SIZE + tid.y;
// Collaboratively load 16x16 tiles into Threadgroup memory
tileA[tid.y][tid.x] = (gid.y < dims.M && tiledCol < dims.K)
? A[gid.y * dims.K + tiledCol] : 0.0f;
tileB[tid.y][tid.x] = (tiledRow < dims.K && gid.x < dims.N)
? B[tiledRow * dims.N + gid.x] : 0.0f;
// Synchronize all threads in the threadgroup before reading tiles
threadgroup_barrier(mem_flags::mem_threadgroup);
// Compute partial dot product entirely inside registers/SRAM
for (uint k = 0; k < TILE_SIZE; ++k) {
acc += tileA[tid.y][k] * tileB[k][tid.x];
}
// Wait before overwriting tiles in the next loop iteration
threadgroup_barrier(mem_flags::mem_threadgroup);
}
if (gid.y < dims.M && gid.x < dims.N) {
C[gid.y * dims.N + gid.x] = acc;
}
}- 핵심 하드웨어 매핑: [[thread_position_in_grid]]는 CUDA의 blockIdx * blockDim + threadIdx에 직접 대응되고, threadgroup_barrier(mem_flags::mem_threadgroup)는 CUDA의 __syncthreads()에 대응됩니다. 프로덕션 FP16 워크로드의 경우 Apple Silicon은 Apple의 행렬 곱셈 유닛을 직접 활용하는 simdgroup_float8x8 하드웨어 인트린식도 제공합니다.
2. 단계별 ncu 루프라인 최적화 워크스루
(4096, 4096) FP16 텐서에 대해 행 단위 LayerNorm을 수행하는 순진한 CUDA 또는 Triton 커널을 작성했는데, PyTorch의 네이티브 구현보다 눈에 띄게 느리다고 가정해 봅시다.
1단계: 하드웨어 카운터 캡처
설정 코드에 프로파일링 오버헤드가 발생하지 않도록 커스텀 커널 이름만 대상으로 NVIDIA Nsight Compute (ncu)를 실행하세요:
ncu --kernel-name regex:layernorm_naive --metrics \
sm__throughput.avg.pct_of_peak_sustained_elapsed,\
dram__throughput.avg.pct_of_peak_sustained_elapsed,\
l1tex__t_sectors_pipe_lsu_mem_global_op_ld.sum,\
smsp__warp_issue_stalled_long_scoreboard_per_warp_active.pct \
python run_layernorm.py2단계: 루프라인에서 병목 진단
출력 지표를 검사하세요:
- 컴퓨트 (SM) 처리량: 최대치의 11.4%.
- 메모리 (DRAM/HBM) 처리량: 최대치의 84.2%.
- Warp Stall Reason (long_scoreboard): 68.5% (워프가 글로벌 HBM 메모리 읽기가 돌아오기를 기다리며 정체되어 있습니다).
- 진단: 이 커널은 루프라인 차트에서 기울어진 메모리 대역폭 루프 바로 아래에 위치합니다. 또한 l1tex__t_sectors를 확인하면 병합되지 않은 메모리 읽기가 드러납니다. 같은 워프의 스레드가 연속된 행 주소를 읽는 대신 열 방향으로 스트라이드하면서, 가져오는 128바이트 HBM 캐시 라인의 75%를 낭비하고 있습니다.
3단계: 타겟 하드웨어 수정 적용
1. 메모리 병합 수정: 인접한 스레드 (threadIdx.x)가 연속된 안쪽 차원 (n_cols)을 따라 인접한 요소를 읽도록 해 32개의 FP16 읽기가 하나의 64바이트 병합 트랜잭션으로 합쳐지게 합니다.
2. 벡터화된 로드 (float4 / tl.load block): 명령당 16비트 대신 128비트 (FP16 값 8개)를 로드해 총 메모리 명령 수를 8× 줄입니다.
3. Warp-Shuffle 리덕션: 느린 Shared Memory 리덕션을 레지스터 간 워프 셔플(CUDA의 __shfl_xor_sync 또는 Triton의 tl.sum)로 교체해 동기화 배리어 없이 행 평균과 분산을 계산합니다.
4단계: 루프라인에서 검증
ncu를 다시 실행하면 다음이 확인됩니다:
- Global Load Sectors: 4× 감소 (캐시 라인 활용률 100%).
- Long Scoreboard Stalls: 68.5%에서 < 15%로 감소.
- Wall-Clock Latency: 3.8× 개선되어 실효 대역폭이 H100의 물리적 HBM 한계의 85%를 넘습니다.
3. 엣지 배포 파이프라인: 모바일/노트북에서 LLM 양자화 및 실행
8B 파라미터 LLM을 노트북이나 스마트폰(8 GB-16 GB 공유 RAM)에 배포하려면 가중치를 4비트 정수로 압축하고 llama.cpp나 Apple MLX 같은 제로 오버헤드 C++ 런타임으로 실행해야 합니다.
[HF Safetensors (FP16, 16 GB)]
│ 1. Convert & Apply Calibration Data (Imatrix)
▼
[GGUF Quantized Binary (Q4_K_M, 4.9 GB)]
│ 2. Memory-Map (mmap) into Unified RAM
▼
[Metal / Vulkan Compute Shaders (On-the-Fly Dequant + Matrix Mul)]1단계: 변환 및 캘리브레이션 (Importance Matrix)
단순한 4비트 반올림은 추론과 코딩 정확도를 저하시킵니다. llama.cpp를 사용해 먼저 Hugging Face 가중치를 비압축 GGUF 파일로 변환한 다음, 작은 캘리브레이션 텍스트 샘플에서 Importance Matrix (imatrix)를 계산해 어떤 가중치 채널이 활성화에 가장 큰 영향을 미치는지 측정합니다:
python convert_hf_to_gguf.py ./Llama-3.1-8B --outfile llama-8b-f16.gguf
./llama-imatrix -m llama-8b-f16.gguf -f calibration.txt -o imatrix.dat2단계: 혼합 비트 K-양자화 (Q4_K_M)
민감한 어텐션 value/output 레이어는 6비트 (Q6_K)로 유지하면서 밀집 피드포워드 레이어는 256개 가중치의 슈퍼블록 단위로 4비트 (Q4_K)로 압축하는 Q4_K_M (4비트 K-quant Medium)으로 모델을 양자화합니다:
./llama-quantize --imatrix imatrix.dat llama-8b-f16.gguf llama-8b-q4_k_m.gguf Q4_K_M이렇게 하면 모델이 16.0 GB에서 ~4.9 GB로 줄어들며 퍼플렉시티 저하는 1% 미만입니다.
3단계: 디바이스에서의 제로 카피 통합 메모리 실행
iPhone, Android 디바이스, MacBook에서 실행할 때:
- mmap을 통한 즉시 로드: 런타임이 4.9 GB .gguf 파일을 플래시 스토리지에서 Unified Memory로 직접 메모리 매핑(mmap)하여 RAM 중복을 제거하고 1초 이내에 모델을 로드합니다.
- 퓨전된 역양자화 셰이더: 토큰 생성 중 커스텀 Metal (ggml-metal.metal) 또는 Vulkan (mul_mat_q4_K.comp) 컴퓨트 셰이더가 패킹된 4비트 가중치 블록을 GPU 레지스터로 직접 로드하고, 비트 시프트로 언팩한 뒤 FP16 활성화와 즉석에서 곱합니다. 최신 노트북 GPU에서는 40-70+ tokens/sec, 플래그십 스마트폰에서는 15-25 tokens/sec를 달성합니다.