허깅페이스(Hugging Face) 완벽 정리: 허브·트랜스포머부터 추론 서비스까지

AI 모델을 직접 만들지 않아도 이미 학습된 모델을 내려받아 바로 쓸 수 있는 시대입니다. 그 중심에 있는 곳이 허깅페이스(Hugging Face)입니다. 이 글에서는 허깅페이스의 주요 기능을 하나씩 짚어 보고, 기업이 허깅페이스 모델을 실제 서비스로 운영하려면 어떤 인프라가 필요한지 정리합니다.

허깅페이스는 어떤 플랫폼인가

(이미지 출처: Hugging Face)

허깅페이스는 2016년 챗봇 앱을 만드는 스타트업으로 출발했습니다. 지금은 자연어 처리(NLP), 컴퓨터 비전, 음성, 멀티모달 모델까지 다루는 오픈소스 머신러닝 플랫폼입니다. 이렇게 성장한 계기는 Transformers 라이브러리였습니다. 이 라이브러리 덕분에 BERT, GPT, T5 같은 언어 모델을 누구나 쉽게 불러와 쓸 수 있게 됐습니다.

허깅페이스가 내세우는 가치는 '머신러닝의 민주화'입니다. 예전에는 최신 AI 모델 하나를 쓰려 해도 깊은 전문 지식과 상당한 컴퓨팅 자원이 필요했습니다. 지금은 코드 몇 줄로 공개 모델을 불러오고, 내 데이터로 파인튜닝까지 할 수 있습니다. 비유하자면 요리를 할 때마다 재료를 직접 기르던 방식에서, 손질된 재료를 골라 바로 조리하는 방식으로 바뀐 셈입니다. 현재 수백만 명의 개발자가 허깅페이스에서 활동하고 있습니다.

허깅페이스의 4가지 핵심 구성 요소

① Hub: AI 모델과 데이터셋의 공유 저장소

(이미지 출처: 허깅페이스)

허깅페이스 허브는 'AI 모델의 GitHub'라고 보면 이해하기 쉽습니다. 개발자와 연구자가 모델과 데이터셋을 올리고 함께 개선하는 공간으로, 공개된 모델 수는 수백만 개에 이릅니다.

허브의 가장 큰 장점은 모델을 찾고 다시 쓰기 쉽다는 점입니다. 감정 분석, 기계 번역, 이미지 분류처럼 필요한 작업을 검색하면 관련 모델이 나옵니다. 모델마다 성능 지표, 사용법, 한계가 '모델 카드'에 정리되어 있어 프로젝트에 맞는 모델을 고르기 수월합니다.

② Transformers: 서로 다른 모델을 같은 방식으로

Transformers는 허깅페이스의 대표 라이브러리입니다. PyTorch, TensorFlow, JAX 같은 주요 딥러닝 프레임워크와 호환되고, 사전 학습된 모델을 바로 불러올 수 있습니다.

핵심은 일관된 API입니다. BERT, RoBERTa, GPT처럼 구조가 전혀 다른 모델도 같은 인터페이스로 다루기 때문에, 다른 모델로 바꿀 때 새로 배울 것이 거의 없습니다. 내 데이터로 모델을 추가 학습시키는 Trainer API도 함께 제공합니다.

예전에는 모델 구조를 설계하고 학습시키는 과정이 필요했던 한국어 감정 분석을, 이제 몇 줄의 코드로 실행해 볼 수 있습니다.

③ Datasets·Evaluate: 학습부터 평가까지 한 흐름으로

허깅페이스 데이터셋 라이브러리 [이미지 출처: Hugging Face]

허깅페이스는 모델 외에도 Datasets와 Evaluate 라이브러리를 제공합니다. 두 라이브러리를 함께 쓰면 데이터 준비부터 성능 평가까지 ML 파이프라인 전체를 한 흐름으로 구성할 수 있습니다.

• Datasets: 데이터를 디스크에서 스트리밍하듯 읽어 들여, 대용량 데이터셋도 메모리 부족 없이 다룰 수 있습니다. 수천 개의 공개 데이터셋을 바로 쓸 수 있고, 자체 데이터셋을 올려 공유할 수도 있습니다.

• Evaluate: 정확도, F1 점수, BLEU 점수 같은 평가 지표를 간단하게 계산해, 모델을 개선할 방향을 정량적으로 판단하게 돕습니다.

④ Spaces: 코드 몇 줄로 만드는 모델 데모

(이미지 출처: 허깅페이스)

Spaces는 ML 모델 데모를 웹에 올려 공유하는 기능입니다. Gradio나 Streamlit으로 간단한 웹 화면을 만들면, 개발 지식이 없는 사람도 브라우저에서 모델을 직접 써 볼 수 있습니다.

연구 결과 공유, 포트폴리오, 제품 프로토타입 검증에 두루 쓰입니다. 논문에 소개된 모델을 누구나 실행해 보고 성능을 확인할 수 있어, AI 연구의 재현성과 투명성을 높이는 데도 기여하고 있습니다.

텍스트를 넘어 멀티모달로

허깅페이스는 NLP에서 시작했지만, 지금은 컴퓨터 비전, 음성, 멀티모달 모델까지 지원합니다. 텍스트와 이미지를 함께 이해하는 CLIP, 텍스트로 이미지를 생성하는 Stable Diffusion, 음성을 텍스트로 바꾸는 Whisper 등을 같은 방식으로 불러올 수 있습니다.

이미지 자동 설명, 콘텐츠 검색, 시각장애인을 위한 접근성 개선처럼 멀티모달 모델의 활용 범위는 계속 넓어지고 있습니다.

NVIDIA와의 협력: 기업용 추론 환경까지 확장

이미지 출처: NVIDIA

허깅페이스는 2024년 SIGGRAPH에서 NVIDIA와 함께 추론 서비스를 발표했습니다. 허깅페이스 개발자가 NVIDIA의 가속 추론 기능을 바로 쓸 수 있게 한 서비스입니다. 개발자는 NVIDIA DGX Cloud 위에서 실행되는 NVIDIA NIM 마이크로서비스를 이용해 Llama 3, Mistral AI 같은 대규모 언어 모델을 빠르게 배포할 수 있습니다.

NVIDIA NIM: 추론 처리량 개선

NVIDIA NIM은 업계 표준 API를 쓰는, 추론에 최적화된 AI 마이크로서비스 모음입니다. NVIDIA에 따르면 NVIDIA H100 Tensor Core GPU 기반 시스템에서 700억 파라미터 Llama 3 모델을 NIM으로 실행하면, 기존 배포 방식보다 처리량이 최대 5배 높아집니다.

같은 GPU로 더 많은 요청을 처리할 수 있다는 뜻입니다. 기업이 대규모 언어 모델을 서비스할 때 부담이 되는 응답 지연과 운영 비용을 줄이는 데 도움이 됩니다.

DGX Cloud: 약정 없이 쓰는 GPU 인프라

(이미지 출처: NVIDIA)

NVIDIA DGX Cloud는 생성형 AI 워크로드에 맞춰 구성된 클라우드 AI 컴퓨팅 플랫폼입니다. 허깅페이스의 쉬운 인터페이스와 NVIDIA의 GPU 인프라를 결합한 것이 이번 협력의 핵심입니다.

장기 인프라 계약 없이 프로토타입부터 실제 서비스까지 필요한 만큼 GPU 자원을 늘리거나 줄일 수 있습니다. 자체 GPU 인프라를 갖추기 전 단계이거나, 워크로드 변동이 큰 조직에 특히 적합합니다.

정리: 모델은 가까워졌고, 이제 인프라가 관건

허깅페이스 덕분에 개발자는 모델 구조를 설계하거나 대규모 학습 데이터를 모으는 데 쓰던 시간을 줄이고, 비즈니스 문제를 푸는 데 집중할 수 있게 됐습니다. KoBERT, KoGPT, KoELECTRA 같은 한국어 모델도 허브에 공개되면서 한국어 자연어 처리의 진입 장벽이 크게 낮아졌습니다.

허깅페이스 모델을 자체 인프라에서 운영하려면

모델을 쉽게 가져다 쓸 수 있게 된 만큼, 이제는 그 모델을 안정적으로 돌릴 인프라가 경쟁력을 좌우합니다. 대규모 언어 모델을 학습시키거나 실시간 추론 서비스를 운영하려면 고성능 GPU 클러스터가 필요합니다. 여기서 중요한 것은 장비 구매 자체보다, AI 워크로드에 맞게 시스템을 설계하고 운영하는 일입니다.

NVIDIA 프리퍼드 파트너인 씨이랩은 NVIDIA DGX 시스템 공식 판매 파트너로서, 허깅페이스 같은 AI 플랫폼을 운영하기 위한 하드웨어 구성을 지원합니다.

• 최신 DGX 시스템 공급: DGX H200, DGX B200부터 기업 규모에 맞춘 GPU 클러스터까지 구성합니다.

• 구축부터 운영까지: 하드웨어 공급에 그치지 않고, 인프라 설계·구축·운영 전 과정을 지원합니다.

• 온프레미스 MLOps 환경: 허깅페이스 모델을 자사 인프라에서 운영하려는 기업에 DGX 시스템과 MLOps 환경 구축을 함께 제공합니다. 클라우드 의존도를 낮추면서 성능과 데이터 보안을 함께 확보할 수 있습니다.

허깅페이스의 오픈소스 생태계와 목적에 맞게 설계한 GPU 인프라를 함께 갖추면, 모델 개발부터 배포까지 AI 라이프사이클 전체를 효율적으로 운영할 수 있습니다. 허깅페이스 모델을 자체 인프라에서 운영하는 방안을 검토하고 있다면 씨이랩과 상담해 보세요.