NVIDIA H100 vs H200, 차이는 메모리에

(H100 / 이미지 출처: NVIDIA)

H100과 H200의 결정적인 차이는 메모리 하나입니다. 그런데 이 하나가 LLM 추론 속도를 최대 1.9배까지 벌려 놓습니다. 메모리가 왜 그렇게 큰 차이를 만드는지 차근차근 살펴보겠습니다.

H100과 H200은 어떤 GPU인가

H100과 H200은 NVIDIA가 만든 데이터센터용 AI GPU입니다. AI 모델은 막대한 양의 계산을 동시에 처리해야 하는데, 이 일을 가장 잘하는 것이 GPU입니다.

두 제품은 같은 Hopper(호퍼) 아키텍처를 씁니다. 2022년에 나온 H100은 전 세계 AI 인프라의 표준이 됐고, 2024년에 나온 H200은 H100과 거의 같은 설계에 더 크고 빠른 메모리를 얹은 후속 모델입니다. 그래서 Hopper의 핵심 기능도 똑같이 지원합니다.

- Transformer Engine: ChatGPT 같은 모델을 빠르게 처리하는 전용 엔진
- NVLink: GPU끼리 초고속으로 데이터를 주고받는 연결
- MIG: GPU 한 장을 최대 7개로 나눠 쓰는 기술
- Confidential Computing: 하드웨어 수준의 데이터 보호
- DPX Instructions: 특정 알고리즘을 7배 빠르게 처리하는 명령어

Hopper는 NVIDIA의 GPU 세대 이름으로, 컴파일러를 처음 만든 컴퓨터 과학자 그레이스 호퍼(Grace Hopper)에서 따왔습니다. 이전 세대는 A100이 속한 Ampere, 다음 세대는 B200이 속한 Blackwell입니다.

(H200 / 이미지 출처: NVIDIA)

PCIe 라인업 세 가지

일반 서버에 꽂아 쓰는 PCIe 카드 형태로는 세 제품이 있습니다.

- H100 PCIe: 가장 먼저 나온 표준 모델로, 업계의 사실상 표준입니다.

- H100 NVL: 메모리를 80GB에서 94GB로 늘려 LLM 운영에 더 유리하게 만든 버전입니다.

- H200 NVL: H100 NVL의 후속작으로, 메모리를 141GB로 늘리고 더 빠른 HBM3e로 바꾼 가장 강력한 제품입니다.

HBM(High Bandwidth Memory)은 데이터를 매우 빠르게 주고받도록 만든 특수 메모리이고, HBM3e는 같은 면적에 더 많은 데이터를 더 빠르게 담도록 개선한 버전입니다.

스펙 비교

스펙표는 아래 네 가지 용어만 알면 대부분 읽을 수 있습니다.

핵심은 메모리, 대역폭, 연산 성능 세 줄입니다. H100 PCIe와 비교하면 H200 NVL의 메모리는 약 1.76배, 메모리 속도는 2.4배, FP8 연산 성능은 약 30% 높습니다. FP8은 숫자를 8비트로 표현하는 방식으로, 정밀도는 낮지만 속도가 빨라 AI 추론에 많이 쓰입니다.

실제로 얼마나 빨라질까

NVIDIA가 측정한 LLM 추론 결과를 보면, 모델이 클수록 H200의 효과가 커집니다.

(이미지 출처: NVIDIA)

작은 모델에서는 1.4배지만 큰 모델에서는 거의 2배까지 벌어집니다. 작은 짐은 손수레로도 충분하지만 이삿짐 전체를 옮길 때는 트럭의 크기와 속도가 모든 것을 결정하는 것과 같습니다.

과학 계산(HPC)에서도 차이가 뚜렷합니다. 물리 시뮬레이션 MILC는 일반 CPU 서버보다 110배 빨랐고, 여러 HPC 프로그램 평균으로는 이전 세대 A100 대비 H100이 1.7배, H200이 2배 빨랐습니다. 기상 예측, 신약 개발, 자율주행 시뮬레이션처럼 데이터를 대량으로 다루는 작업에서 강점이 드러납니다.

(이미지 출처: NVIDIA)

전력 효율도 좋아졌습니다. NVIDIA에 따르면 H200 NVL은 Llama 2 70B 추론에서 H100 대비 에너지 사용량과 총소유비용(TCO)을 각각 최대 50%까지 줄일 수 있습니다.

(이미지 출처: NVIDIA)

속도 차이의 비밀, 메모리 병목

연산 성능 차이는 30%인데 실제 처리량은 최대 1.9배까지 벌어지는 이유는 메모리 병목(Memory Bottleneck)에 있습니다.

AI 모델은 답을 만들 때마다 모델 전체를 메모리에서 읽어 와야 합니다. 700억 파라미터 모델은 약 140GB인데, 단어 하나를 만들 때마다 이 140GB를 다시 읽습니다. 메모리에서 데이터를 빨리 꺼내지 못하면 연산 코어가 아무리 빨라도 기다릴 수밖에 없습니다. 처리 속도를 결정하는 것이 연산이 아니라 메모리가 되는 것입니다.

13B 모델에서 차이가 1.4배에 그친 것은 메모리 부담이 적기 때문이고, 70B 모델에서 1.9배로 벌어진 것은 메모리 부담이 크기 때문입니다. H200 NVL은 큰 용량(141GB)과 빠른 대역폭(4.8TB/s)으로 이 병목 자체를 줄여, 모델이 크고 메모리를 많이 쓰는 작업일수록 효과가 커집니다.

우리 조직에는 어떤 GPU가 맞을까

- H100 PCIe: 검증된 표준 모델로, 일반적인 AI 작업에 충분합니다.

- H100 NVL: 메모리를 조금 더 확보해 중간 크기 LLM 운영에 좋습니다.

- H200 NVL: 대형 모델 추론이나 메모리를 많이 쓰는 작업에 가장 적합합니다.

학습 위주의 워크로드이거나 이미 H100 인프라를 갖추고 있다면 H100 PCIe나 H100 NVL도 합리적인 선택입니다.

GPU 도입은 카드 한 장을 사는 일이 아니라 서버 구성, 전력 설계, 소프트웨어 환경, 도입 후 관리까지 함께 고려해야 하는 일입니다. 씨이랩은 2019년 국내 SW 기업 최초로 NVIDIA 파트너 자격을 얻은 이후, NVIDIA Elite Partner로서 H100 PCIe, H100 NVL, H200 NVL을 비롯한 NVIDIA GPU를 공급하고 있습니다. 워크로드 분석, 구성 컨설팅, 견적 산출부터 도입 후 유지보수까지 전 과정을 함께합니다. 어떤 GPU가 우리 환경에 맞을지 고민된다면 씨이랩에 문의해 주세요.