DGX B200 스펙과 H100 대비 차이 정리

NVIDIA DGX B200은 이전 세대 DGX H100보다 학습 성능 3배, 추론 성능 15배(GPT-MoE-1.8T 모델 기준)를 기록했습니다. 단순한 세대 교체로 보기 어려운 차이입니다. 이 격차가 어디서 나오는지, 우리 조직에 맞는 장비인지 살펴보겠습니다.

DGX B200은 어떤 시스템인가

DGX B200은 최고 성능의 GPU 8개를 엔비디아의 초고속 기술로 묶은 AI 전용 슈퍼컴퓨터 서버입니다. DGX는 GPU 8장을 하나의 서버에 최적으로 연결한 NVIDIA의 AI 서버 라인업으로, 일반 서버에 GPU 카드를 여러 장 꽂는 방식과 달리 GPU 간 통신 속도, 메모리 구조, 소프트웨어까지 처음부터 거대 AI 모델의 연산 효율에 맞춰 한 몸처럼 설계됩니다.

이름의 'B'는 통계학자 데이비드 블랙웰의 이름을 딴 Blackwell 아키텍처를 뜻하며, A100과 H100의 뒤를 잇는 엔비디아의 최신 표준 라인업입니다.

Blackwell 아키텍처, 무엇이 달라졌나

성능이 크게 뛴 비결은 하드웨어의 물리적 한계를 넘은 두 가지 설계에 있습니다.

- 두 칩을 하나처럼: 반도체는 칩 하나로 만들 수 있는 크기에 한계가 있습니다. 엔비디아는 한계 크기까지 만든 칩 두 개를 초고속으로 연결해, 시스템이 이를 하나의 거대한 GPU로 인식하고 작동하게 했습니다.

- FP4로 가볍고 빠르게: 숫자를 4비트로 표현하는 FP4를 도입했습니다. 이전 세대의 FP8보다 메모리를 절반만 쓰면서도 실용적인 정확도를 유지해, 같은 공간에 더 큰 모델을 올리거나 응답 속도를 크게 높일 수 있습니다.

핵심 스펙

페타플롭스는 1초에 처리하는 연산 횟수 단위로, 1페타플롭스는 초당 1,000조 번입니다. 144페타플롭스면 초당 14경 4천조 번을 연산합니다.

이 가운데 가장 중요한 숫자는 GPU 메모리 1,440GB입니다. AI 모델은 클수록 메모리를 많이 차지해 GPT-3급만 해도 수백 GB가 필요합니다. 메모리가 작으면 모델을 여러 GPU에 쪼개 올려야 해서 개발이 번거로워지는데, DGX B200은 거대 모델도 단일 시스템 안에서 처리할 수 있어 개발 복잡도가 크게 줄어듭니다.

H100 대비 얼마나 빨라졌나

(출처: NVIDIA)

NVIDIA가 GPT-MoE-1.8T 모델로 측정한 결과, 학습은 3배, 추론은 15배 빨라졌습니다. 학습은 AI에게 데이터를 보여 주며 답을 찾는 법을 가르치는 단계이고, 추론은 학습이 끝난 모델이 질문에 답을 만드는 단계입니다. 학생에 비유하면 공부가 학습, 시험이 추론입니다.

학습은 데이터를 한꺼번에 모아 처리하지만, 추론은 질문이 들어올 때마다 즉시 답을 만들어야 해서 매번 모델 전체를 메모리에서 읽어 와야 합니다. 그래서 메모리 성능이 결정적이고, 메모리를 크게 끌어올린 B200은 추론에서 차이가 훨씬 크게 벌어집니다.

비즈니스 관점에서 보면 같은 인프라로 더 많은 사용자를 동시에 받고, 더 큰 모델과 더 빠른 응답을 함께 실현하며, 학습부터 추론까지 한 시스템에서 운영할 수 있다는 뜻입니다.

연산보다 메모리가 속도를 정한다

연산 코어의 순수 처리 능력은 세대 간 차이가 그리 크지 않습니다. 그런데도 추론 처리량이 15배까지 벌어진 것은, 추론 속도의 상한을 정하는 요소가 연산이 아니라 메모리이기 때문입니다.

추론에서는 단어를 하나 생성할 때마다 모델의 가중치 전체가 메모리에서 연산 코어로 옮겨져야 합니다. 700억 파라미터 모델이라면 한 단어마다 약 140GB가 오가는 셈입니다. 이 전송이 연산을 따라가지 못하면 코어는 계산할 준비가 돼 있어도 데이터가 도착할 때까지 멈춰 있어야 하고, 시스템 전체 속도는 메모리 쪽에 맞춰 내려갑니다.

B200은 이 상한을 직접 끌어올렸습니다. 고대역폭 메모리 HBM(High Bandwidth Memory)의 최신 세대인 HBM3e를 탑재해, H100과 비교하면 GPU당 메모리 용량은 2.4배 크고 데이터를 꺼내 오는 속도도 2.4배 빠릅니다. 한 번에 더 많이 담고 더 빨리 꺼낼 수 있으니, 다루는 모델이 크고 메모리 사용량이 많은 작업일수록 B200의 이점이 커집니다.

도입 전 꼭 확인할 것

1. 전력과 냉각

DGX B200의 소비 전력은 최대 14.3kW로, 일반 IDC 랙으로는 부족할 수 있습니다. 발열도 커서 냉각 설계를 함께 검토해야 합니다. 기존 데이터센터에 바로 들어갈 수 있는지, 보강이 필요한지 미리 따져 봐야 합니다.

2. 워크로드 적합성

B200이 모든 조직의 정답은 아닙니다. 100B 이상 거대 모델을 자체 학습하거나 서비스할 때, 실시간 응답이 중요한 AI 서비스를 운영할 때, 학습과 추론을 한 플랫폼에서 통합하고 싶을 때 적합합니다. 13B 이하의 작은 모델 위주이거나 H100을 충분히 활용하고 있다면 H100이나 H200이 더 합리적일 수 있습니다.

3. 운영 역량

NVIDIA가 소프트웨어 스택을 함께 제공하지만, 조직 환경에 맞게 운영하려면 전문 인력이 필요합니다. 내부 역량이 부족하다면 도입 단계부터 파트너의 컨설팅을 받는 것이 안전합니다.

DGX B200 도입, 누구와 함께할까

DGX B200을 들이는 일은 서버 한 대를 사는 것으로 끝나지 않습니다. 어떤 워크로드를 돌릴지 분석하고, 그에 맞게 시스템을 구성하고, 전력과 네트워크를 설계하고, 소프트웨어를 얹어 운영까지 이어 가야 하는, 사실상 AI 인프라를 새로 짓는 일입니다. 그래서 이 전 과정을 함께 책임질 파트너를 고르는 것이 장비 선택만큼 중요합니다.

씨이랩은 2019년 국내 소프트웨어 기업으로는 처음으로 NVIDIA 파트너가 됐고, 지금은 국내에서 몇 안 되는 NVIDIA Elite Partner입니다. Elite Partner는 NVIDIA 파트너 등급 중 가장 높은 단계로, 기술 역량과 도입 실적이 검증된 기업에만 주어집니다.

씨이랩은 도입 전에는 워크로드를 분석해 필요한 시스템 규모를 산정하고, 전력·냉각·네트워크까지 포함한 인프라 설계를 컨설팅합니다. 도입 후에는 GPU 자원을 효율적으로 나눠 쓰도록 돕는 AstraGo를 제공하고, AI 전문 엔지니어가 유지보수를 맡습니다.

거대 모델의 학습과 추론을 한 시스템에서 운영하고 싶다면, DGX B200 도입을 씨이랩과 함께 검토해 보세요.