[GPU 운영 ③] 국내 주요 솔루션 기업별 현황

나무기술·래블업·씨이랩·오픈소스컨설팅·와탭랩스·이노그리드

[아이티데일리] 고성능 GPU 가속기 확보는 현재 많은 기업들의 당면 과제가 되고 있다. 그러나 현장에서는 막대한 예산을 투입해 인프라를 구축하고도 정작 데이터 이동 대기나 단순 세션 유지 등으로 인해 핵심 연산 장치의 실제 가동률은 30%대에 머무는 ‘유휴 GPU의 역설’ 현상이 나타나고 있다.

특히 AI 패러다임이 스스로 판단하는 ‘에이전틱 AI’와 물리 세계와 상호작용하는 ‘피지컬 AI’로 급격히 진화함에 따라, 부하가 급격히 출렁이는 스파이크 패턴과 하이브리드 클라우드 환경을 실시간으로 제어해야 한다는 요구도 커지고 있다. 이런 상황에서 인프라 시장을 선도하는 주요 솔루션 기업들의 핵심 기술 전략과 현장 전문가들의 제언을 통해 차세대 GPU 가속기 운영 트렌드를 집중 조명해 본다.

(출처=픽사베이) 국내 주요 솔루션 기업별 현황 나무기술, 전력 최적화 및 모듈형 오케스트레이션으로 하이브리드 시장 공략 나무기술은 과학기술정보통신부 산하 정보통신기획평가원이 추진하는 ‘초대형 AI 클라우드 경쟁력 강화 기술 R&D 사업’에 참여해, 클러스터 단위의 대규모 가속기 리소스를 통합 통제하는 ‘AI 팩토리’ 운영 소프트웨어 개발에 주력하고 있다. 해당 과제를 통해 작업 대기 시간 단축, ML 파이프라인 재실행 시간 단축률, JCT 개선 등 정량적 기술 목표를 달성할 계획이다.

기술적으로는 워크로드 특성 기반의 이기종 자원 배치에 집중하고 있다. 고부하 컴퓨팅이 요구되는 학습 단계는 GPU에 할당하고, 에너지 효율이 우선시되는 추론 작업은 전력 소모가 낮은 국산 NPU에 배치한다. 데이터 전처리 과정에서도 통계적 결측값 처리 등 단순 연산은 CPU에, 영상·이미지 전처리는 GPU에 배정하는 등 작업 특성에 따른 정밀 스케줄링을 구현한다.

향후 제품 전략은 기존 클라우드 통합 관리 플랫폼 ‘스페로(Spero)’에 기능을 추가하는 방식이 아니라, GPU 모니터링 및 제어 기능을 분리한 ‘GPU 오케스트레이션 전용 신제품’을 별도로 출시할 계획이다. 해당 솔루션은 SI 형태가 아닌 상용 소프트웨어 패키지 또는 구독형(SaaS) 서비스로 제공될 예정이다.

이와 함께 개발자들이 작업을 실행하지 않은 채 단순히 서버를 켜둔 유휴 상태를 감지하여 슬립 모드(Sleep Mode)로 전환함으로써 전력 낭비를 방지하는 기능도 개발 중이다. 나무기술은 사내 서버실의 소규모 GPU 환경부터 대규모 클라우드 데이터센터까지 기존 인프라 교체 없이 적용할 수 있는 모듈화 전략을 바탕으로 하이브리드 시장을 공략한다는 전략이다.

래블업, 컨테이너 수준의 동적 분할 기술로 GPU 활용률 제고 래블업은 가속기 오케스트레이션 및 MLOps 인프라 플랫폼 ‘Backend.AI’ 엔터프라이즈 제품군을 상용화해 레퍼런스를 확보하고 있다. 엔비디아의 하드웨어 기반 고정 분할 방식(MIG)이 지닌 유연성 한계를 극복하기 위해 컨테이너 수준에서 소프트웨어 기반 동적 분할을 수행하는 독자 기술을 활용 중이다.

구체적으로 물리적 토폴로지 거리를 최소화하도록 설계된 독자 스케줄링 엔진 ‘소코반(Sokovan)’을 탑재해 1초 미만의 속도로 자원을 할당 및 회수한다. 소코반은 학습 그룹에는 자원 공정성(DRF) 스케줄링을, 추론 서비스에는 우선순위·지연시간 기반 스케줄링을, 대화형 세션에는 선입선출(FIFO) 방식을 각각 적용하는 워크로드별 자원 배분 알고리즘을 구현한다.

벤더 종속 방지를 위한 이기종 가속기 지원도 강점이다. 엔비디아를 비롯해 AMD, 인텔, 국산 NPU 및 글로벌 설계사 가속기까지 하나의 플랫폼에서 통합 오케스트레이션한다. 온프레미스 GPU와 퍼블릭 클라우드를 단일 API 체계로 묶는 하이브리드 리소스 풀링을 지원하며, 고성능 서버부터 소형 엣지 디바이스까지 아우르는 통합 운영 환경을 제공하고 있다.

또한 래블업은 ‘NVIDIA DGX-Ready Software’ 검증을 기반으로 인프라 오케스트레이션 외에도 개발·배포 자동화 솔루션 ‘FastTrack 3’, 추론 서빙 솔루션, 경량 개인용 플랫폼 등 확장된 라인업을 통해 엔터프라이즈 AI 환경 전반을 지원하고 있다. 씨이랩, 엔비디아 파트너십 기반 대규모 워크스페이스 통합 제어 씨이랩은 엔비디아 공식 소프트웨어 파트너(NPN) 자격을 획득하며, 가속기 운영 플랫폼 ‘아스트라고(AstraGo)’를 공급하고 있다.

가속기 가상화 및 스케줄링 관련 22건의 독자 특허와 GS인증 1등급을 보유한 씨이랩은 다중 테넌트 환경에서 가속기 쿼터 관리와 대기열 관리를 자동화한다. 대규모 클러스터 운영을 위한 스케줄링 알고리즘도 갖췄다.

가용 자원이 적은 노드부터 우선 배치해 활용률을 높이는 빈 패킹(Bin-packing), 분산 학습 시 자원이 모두 준비된 후 동시에 배정하는 갱 스케줄링(Gang Scheduling), 우선순위에 따라 자원을 확보하는 선점(Preemption) 기능 등을 통해 배치 작업과 대화형 작업이 혼재된 환경을 분리 통제한다. 에이전틱 AI·피지컬 AI 환경에서는 복합 워크플로를 수행하는 과정에서 GPU 자원 수요가 일시적으로 급증했다가 감소하는 가변적 패턴이 나타난다.

이에 아스트라고는 즉각적인 대화형 작업 분리와 자원 회수 기능으로 이러한 수요 변동에 대응한다. 연산 작업이 종료되거나 유휴 상태가 지속되면 자동으로 자원을 풀에 환원해 낭비를 차단할 수 있다. 씨이랩은 폐쇄망 환경의 보안 규정과 내부 시스템 연계 요건에 맞춘 온프레미스 구축 역량도 갖추고 있다.

폐쇄망 내에서도 프라이빗 레지스트리(Private Registry)를 통해 컨테이너 이미지를 관리하며, 내부 업무 시스템과 LLM API를 연계하는 온프레미스 LLM 서빙 아키텍처를 구현한다. 별도의 MLOps 도구 없이 GPU 서버, 스토리지, 레지스트리, 모니터링을 하나의 흐름으로 묶은 엔드투엔드(End-to-End) 플랫폼으로 운영 복잡도를 낮춘 점도 특징이다.

솔루션 도입을 검토하는 고객에게는 모니터링 도구 ‘아스트라몬(AstraMon)’을 선제적으로 설치해 실제 GPU 활용률을 측정하고 개선 효과를 사전에 검증할 수 있도록 지원하고 있다. 오픈소스컨설팅, IaaS/PaaS 통합 제어와 실시간 자원 관리 오픈소스컨설팅은 클라우드 네이티브 및 가상화 아키텍처 전문성을 바탕으로 플레이스(Playce) 클라우드의 GPU 모니터링 및 관리 솔루션 기능을 고도화하고 있다.

핵심은 단순 모니터링을 넘어, 하나의 플랫폼 안에서 다양한 기능을 통합 제공한다는 점이다. 쿠버네티스 계층의 가시성과 오픈스택 하이퍼바이저 계층까지 직접 제어하는 통합 제어 아키텍처를 갖추고 있다. 기술적으로는 엔비디아가 런에이아이(Run:ai) 인수 후 오픈소스로 공개한 핵심 엔진 ‘KAI 스케줄러(KAI Scheduler)’의 가상 분할(Fractional GPU) 기술을 기반으로 동적 분할 기능을 도입해 하드웨어 수준의 격리성과 동적 할당의 장점을 결합했다.

운영자는 별도의 인프라 팀을 거칠 필요 없이 대시보드에서 가속기 분할이나 재구성을 지시하면 오픈스택 하단의 물리적 작업까지 한 번에 연동 실행된다.

또한 GPU 자원의 실제 사용 비율을 추적해 워크로드에 A~F등급으로 평가하고 유휴 자원을 식별하는 관리 메커니즘을 갖췄다. 우선순위가 높은 작업이 인입되면 쿠버네티스의 GPU 오퍼레이터를 통해 낮은 등급의 유휴 작업을 대기열로 이동시키거나 강제 종료해 자원을 회수할 수 있다. GPU 연산의 병목인 데이터 입출력(I/O) 지연을 해결하기 위해 Ceph 기반 저지연 스토리지 아키텍처 설계를 함께 제공하는 풀스택 최적화 역량도 갖췄다.

오픈소스컨설팅은 글로벌 표준 오픈소스 기술을 채택해 특정 하드웨어 벤더 종속성을 차단하고 이기종 하드웨어를 유연하게 수용하며, 개발·운영·재무 조직이 인프라 소비 데이터를 투명하게 추적할 수 있도록 핀옵스(FinOps) 거버넌스 안착을 위한 통합 기술 지원을 제공하고 있다. 와탭랩스, APM 연계 기반의 풀스택 옵저버빌리티 와탭랩스는 풀스택 옵저버빌리티 전문성을 바탕으로 엔터프라이즈 시장을 공략하고 있다.

와탭랩스의 GPU 모니터링은 독립 솔루션이 아니라 기존 ‘와탭 서버 모니터링’ 및 ‘와탭 쿠버네티스 모니터링’의 확장 기능으로 제공된다. GPU 성능 저하나 자원 낭비가 단일 장비만의 문제가 아니라 서버 인프라, 쿠버네티스 스케줄링, 애플리케이션 워크로드와 맞물려 발생하는 만큼, 인프라 전체 맥락에서 원인을 해석해야 한다는 설계 철학에 기반한다.

기술적으로는 쿠버네티스 환경 내부에서 개별 파드와 컨테이너가 어떤 가속기 자원을 실시간으로 점유하고 있는지를 토폴로지 맵 기반으로 추적한다. 단순 사용률 진단을 넘어 VRAM 점유율, 장비 온도, 전력, 클럭, PCIe·NVLink 통신 상태, Xid 이벤트 등 물리적 하드웨어 지표를 파드 및 프로세스 정보와 연결해 분석하며, 가속기 계층의 병목이 상위 애플리케이션에 미치는 영향을 APM 연계 분석으로 추적한다.

분석 범위는 실행 로그와 LLM 옵저버빌리티까지 확장돼 AI 모델 코드나 프레임워크 단의 문제 원인 추적도 가능하다. 일·주·월 단위의 장기 통계 트렌드를 시각화해 용량 산정 및 예산 계획 수립을 지원한다. 와탭랩스는 금융, 제조, 통신, 플랫폼 기업 등 엔터프라이즈 시장을 주요 타깃으로 삼으며, 보안상 이유로 폐쇄망이나 자체 데이터센터를 선호하는 고객을 위해 자체 로컬 LLM 환경에서도 동일한 AI 기반 분석 기능을 지원하도록 범위를 확대하고 있다.

궁극적으로 특정 노드나 파드의 GPU 성능 저하가 최종 사용자 경험(UX)이나 비즈니스 서비스에 미치는 영향을 전 계층에 걸쳐 통합 관측하는 체계를 지향하고 있다. 이노그리드, VM·컨테이너 혼재 환경 및 이기종 가속기 표준 통합 제어 이노그리드는 과학기술정보통신부와 정보통신기획평가원이 주관하는 ‘GRIM-GPU 과제’를 총괄 주관하고 있다.

이 과제는 KETI, 고려대, 단국대, 베스핀글로벌, 한국인공지능클라우드산업협회(KACI) 등 6개 기관의 컨소시엄으로 구성돼 국가 차원의 클라우드 운영 체계 표준 정립을 목표로 한다. 올해 7~8월에는 인천 IDC에 H200 기반 테스트베드를 구축해 상용화 로드맵을 실증할 계획이다. 핵심 기술 목표는 가상머신(VM)과 컨테이너 환경이 단일 노드에 혼재된 상태에서도 가속기 자원을 효율적으로 분할·스케줄링하는 원천 기술 개발이다.

가장 주목할 만한 기술은 성능 간섭 최소화와 자원 재구성 속도 개선이다. 리눅스 커널의 경량 추적 기술(eBPF)을 활용해 모니터링 성능 부하를 10% 이하로 낮추고, GPU 내부 연산 회로(SM) 사용률, 메모리 대역폭 혼잡도, L2 캐시 적중률 등을 실시간 분석해 간섭 지수로 수치화한다.

이를 통해 연산 위주와 메모리 위주 등 워크로드 간 상관관계를 분석해 측정-예측-회피 3단계 지능형 스케줄링을 수행함으로써 성능 간섭률을 5% 이하로 낮추는 것을 목표로 삼고 있다.

또한 부팅 시 GPU 조각을 미리 캐시 풀에 준비해 두고 런타임에 동적으로 바인딩하는 ‘사전 분할 후 동적 할당’ 전략으로 수 분씩 걸리던 재구성 시간을 1초 단위로 단축한다. 수천 장 규모의 클러스터 환경을 위한 스케줄링 병목 해결 기술도 갖췄다. 노드·GPU·조각의 3계층으로 이루어진 계층적 메타데이터로 정보를 요약해 스케줄러의 의사결정 속도를 높였으며 임시 예약 후 최종 확정하는 2단계 예약 절차를 도입해 자원 중복 배정을 차단한다.

이노그리드는 다양한 가속기 및 국산 NPU 등 이기종 자원을 단일 제어 평면에서 다루는 가상 추상화 계층을 통해 인프라 누적 비용을 40% 이상 절감한다는 목표도 제시하고 있다. 나아가 개발 중인 통합 제어 API와 메타데이터 스키마를 국내 GPU 운영 표준으로 제정해 특정 글로벌 벤더 종속성에서 탈피하는 생태계 구축한다는 구상이다.