CUDA의 확산: 초기 GPU 실험에서 AlexNet의 돌파구까지

AI 연구자들은 2006년부터 2009년 사이에 신경망에서 CUDA의 엄청난 성능 이점을 인식하기 시작했으며, 결정적인 주류 돌파구는 2012년에 마련되었습니다. 이 전환 이전에는 신경망이 너무 느리고 계산 비용이 많이 들어 실용적이지 않다고 널리 평가절하되었습니다.

CUDA 채택의 주요 이정표

• 2006년(CUDA 출시): NVIDIA가 CUDA를 출시하여 연구자들이 복잡한 그래픽 셰이더(예: OpenGL) 대신 표준 C/C++로 GPU를 프로그래밍할 수 있게 했습니다.

• 2007–2008년(초기 신경망 실험): 초기 도입자들이 신경망 알고리즘을 CUDA로 이식하기 시작했습니다. 2008년, 스탠퍼드 대학교의 연구원 Rajat Raina와 Andrew Ng의 팀은 CUDA를 실행하는 GPU가 심층 신뢰망(deep belief network)을 멀티코어 CPU보다 최대 70배 빠르게 학습할 수 있음을 입증했습니다.

• 2009–2010년(기록 경신 벤치마크): Jürgen Schmidhuber의 연구실(Dan Cireșan 포함)은 CUDA 가속 GPU를 사용해 심층 신경망을 학습시켜 필기 인식(MNIST) 기록을 깨뜨렸고, 전용 슈퍼컴퓨터 없이도 더 깊은 네트워크를 학습할 수 있음을 증명했습니다.

• 2012년(AlexNet 전환점): 결정적인 순간은 ImageNet 대회에서 찾아왔습니다. Alex Krizhevsky, Ilya Sutskever, Geoffrey Hinton은 두 개의 NVIDIA GTX 580 GPU에서 사용자 정의 CUDA 커널을 사용해 AlexNet을 학습시켜, 이미지 분류 오류율을 기존 방법 대비 거의 절반으로 줄였습니다. 이 승리가 현대 딥러닝 혁명을 촉발했습니다.

• 2014년(cuDNN 출시): AlexNet 열풍에 이어 NVIDIA는 cuDNN(CUDA Deep Neural Network 라이브러리)을 출시하여 모든 AI 연구자에게 Caffe, Theano, TensorFlow, PyTorch 같은 프레임워크용으로 최적화된 플러그 앤 플레이 GPU 구성 요소를 제공했습니다.

모든 것을 바꾼 이유

CUDA 이전에는 CPU에서 중간 규모의 신경망을 학습하는 데 몇 주에서 몇 달이 걸려 시행착오 기반 연구가 거의 불가능했습니다. CUDA는 그 학습 시간을 며칠 또는 몇 시간으로 단축하여 연구자들이 데이터셋 규모를 키우고, 더 많은 계층을 쌓고, Transformer와 대규모 언어 모델 같은 현대적 아키텍처를 발명할 수 있게 했습니다.