ブログ記事は韓国語のみで提供しています。
目次
NPU를 도입한 인프라 담당자가 마주하는 과제 중 하나는 기존 관리 체계와의 연동입니다. GPU 중심으로 설계된 관리 환경에서는 NPU 자원을 제대로 인식하지 못할 확률이 높기 때문에, GPU와 별도로 자원 할당과 상태 확인을 진행해야 하는데요. 이렇게 가속기 종류가 늘어날수록 관리 도구와 운영 절차도 복잡해질 수 있습니다.
이에 아스트라고는 GPU와 NPU를 하나의 운영 체계에서 관리할 수 있도록 기능을 확장했습니다. NPU 서버 인식부터 자원 할당, 모델 준비, 추론 서빙, 모니터링까지 기존 관리 환경에서 처리할 수 있는데요. 아스트라고로 NPU 관리를 어떻게 효율화할 수 있는지, 6가지 기능을 중심으로 살펴보겠습니다.
아스트라고로 달라지는 NPU 운영 6가지
1. NPU 서버 현황 파악
NPU를 효율적으로 운영하려면, 먼저 어떤 서버에 NPU가 연결되어 있고, 가용 자원이 얼마나 되는지 파악해야 합니다. 이 상황에서 아스트라고를 활용하면, NPU 자원 현황을 파악하기 위한 별도 확인 작업을 줄이고, 이후 자원 배분과 운영 계획을 효율적으로 세울 수 있습니다.
AS-IS | TO-BE |
NPU 자원을 한눈에 파악하기 어려움 NPU 서버를 연결해도 기존 관리 화면에서 가속기 정보가 표시되지 않아, 별도로 자원 현황을 확인해야 합니다. | NPU 자원 현황을 한곳에서 확인 아스트라고에서 NPU 노드와 칩 수를 확인할 수 있어, 별도의 확인 작업 없이 자원 현황을 파악할 수 있습니다. |
2. 워크스페이스별 NPU 자원 할당
여러 팀이 하나의 클러스터를 함께 사용할 경우, 각 팀이 사용할 수 있는 자원의 범위를 설정하고 관리하는 것이 무엇보다 중요합니다. 아스트라고는 워크스페이스별로 NPU 할당량을 설정하고, GPU와 NPU의 자원 배분을 동일한 관리 환경에서 처리할 수 있습니다. 가속기 종류와 관계없이 팀별 자원을 일관된 기준으로 관리할 수 있죠.
AS-IS | TO-BE |
GPU와 NPU의 자원 할당을 따로 관리 GPU 할당량은 관리 도구에서 설정하지만, NPU는 별도로 관리해야 하기 때문에 자원 배분 프로세스가 추가됩니다. | GPU와 NPU의 할당량을 같은 환경에서 관리 아스트라고에서 워크스페이스별 NPU 할당량을 설정해, 가속기별로 분리된 자원 배분 작업을 통합할 수 있습니다. |
3. NPU용 모델 준비 과정 효율화
NPU에서 모델을 실행하려면 해당 하드웨어에 맞게 컴파일된 모델이 필요합니다. 실행 가능한 모델을 별도로 찾고 서버에 배치할 경우, 추론 서비스를 준비하는 과정이 복잡해질 수 있는데요. 아스트라고에서는 사전 컴파일 모델을 선택해 다운로드 할 수 있습니다. 덕분에 실행 가능한 모델을 별도로 탐색하는 부담을 줄이고 추론 서빙을 준비할 수 있죠.
AS-IS | TO-BE |
NPU용 모델을 직접 찾아 준비 NPU에서 실행할 수 있는 사전 컴파일 모델을 별도로 찾고 서버에 배치해야 해, 서빙 준비에 추가 작업이 필요합니다. | 관리 화면에서 모델 선택 및 다운로드 아스트라고에서 사전 컴파일 모델을 선택하고 다운로드해, 모델을 준비하는 과정을 간소화할 수 있습니다. |
4. 추론 서빙 실행부터 결과 확인까지
모델을 준비했다면, 실제 추론이 정상적으로 수행되는지 확인해야 합니다. 아스트라고에서는 서빙을 생성한 뒤 이미지를 업로드해 추론 결과를 확인할 수 있습니다. YOLO 계열 객체 탐지 모델 및 이미지 분류 모델은 결과를 해석하고, 그 외 모델은 원본 출력을 제공하는데요. 별도 테스트 코드를 작성하지 않고도 지원 모델의 추론 결과를 확인할 수 있어 서빙 동작을 검증하는 과정이 간편해집니다.
AS-IS | TO-BE |
서빙 실행과 추론 결과 확인이 분리됨 NPU 모델의 실행 결과를 확인하려면 별도의 테스트 환경이나 도구를 활용해야 할 수 있습니다. | 관리 화면에서 추론 결과 확인 아스트라고에서 NPU 서빙을 생성하고 이미지를 업로드해 결과를 확인할 수 있습니다. YOLO 계열 객체 탐지 및 이미지 분류 모델은 해석된 결과를 제공하며, 그 외 모델은 원본 출력을 제공합니다. |
5. NPU 사용률과 메모리 상태 모니터링
추론 서비스를 안정적으로 운영하려면 서빙이 정상적으로 동작하는지뿐 아니라 NPU 자원을 얼마나 사용하고 있는지도 확인해야 합니다. 아스트라고는 서빙별 NPU 사용률과 메모리 정보를 차트로 제공해 자원 사용 현황을 쉽게 파악할 수 있도록 지원합니다.
AS-IS | TO-BE |
NPU 사용 현황을 통합 관리하기 어려움 기존 관리 환경에서는 NPU 자원 현황을 확인하기 어려워 별도의 확인 절차가 필요할 수 있습니다. | 서빙별 NPU 사용 현황을 차트로 확인 아스트라고에서 NPU 사용률과 메모리 정보를 확인해 별도 도구를 오가는 과정 없이 자원 사용 현황을 파악할 수 있습니다. |
6. GPU와 NPU 통합 운영
아스트라고는 같은 클러스터 안에서 GPU 워크로드와 NPU 서빙을 함께 운영할 수 있도록 지원합니다. 가속기 종류마다 별도의 운영 체계를 마련하는 대신 기존 관리 환경을 활용해 운영 방식을 통합할 수 있는데요. 이를 통해 GPU 중심으로 운영하던 인프라에서도 NPU 활용 범위를 넓힐 수 있습니다.
AS-IS | TO-BE |
가속기별로 운영 체계가 분리됨 GPU 클러스터와 NPU 서버를 별도로 관리하면 자원 확인부터 워크로드 운영까지 관리 방식이 이원화됩니다. | GPU와 NPU를 하나의 운영 체계로 통합 같은 클러스터 안에서 GPU 워크로드와 NPU 서빙을 함께 운영해 가속기마다 별도의 관리 환경을 마련해야 하는 부담을 줄일 수 있습니다. |
이런 팀에 적합합니다
NPU 기반 비전 AI 서비스를 운영하려는 팀
GPU와 NPU를 함께 운영하는 인프라 담당자
국산 AI 반도체 도입을 검토하고 있는 조직
NPU 추론 서비스의 운영 환경을 표준화하려는 팀
도입 전 확인해 두면 좋은 사항
Q. LLM 서빙이나 모델 학습에도 NPU를 사용할 수 있나요?
NPU 기반의 비전 모델 추론 서빙을 지원하며, 모델 학습과 LLM 서빙은 현재 지원 범위에 포함되지 않습니다.
Q. 자체 보유한 모델도 사용할 수 있나요?
자체 모델 활용이 필요하다면 도입 상담 시 지원 가능 여부를 확인해 주세요.
Q. 트래픽이 늘어나면 서빙이 자동으로 확장되나요?
현재 NPU 서빙은 인스턴스 1개로 동작하며, 트래픽에 따른 자동 확장은 지원하지 않습니다.
Q. 별도로 준비해야 할 사항이 있나요?
NPU 드라이버를 운영 중인 서버에 별도로 설치해야 합니다.
GPU와 NPU를 하나의 체계로 운영하고 싶다면
GPU와 NPU를 각각 별도 도구로 관리하는 대신, 하나의 환경에서 자원 할당부터 추론 서빙과 모니터링까지 관리하고 싶다면 아스트라고의 NPU 지원 기능을 활용해 보세요.
현재 사용 중인 인프라 구성과 NPU 활용 목적에 맞춰 도입 방안을 안내해 드리겠습니다.
도입 상담하기
- 아스트라고
- AstraGo
- GPU
- GPU 클러스터
- 업데이트
- NPU