[기능 업데이트] 한정된 전력 안에서 GPU를 더 효율적으로 활용하는 방법

AI 모델이 고도화되고 서비스 규모가 커지면서, AI 데이터센터에 필요한 GPU와 전력 수요도 함께 늘고 있습니다. 하지만 GPU를 확보하더라도 전력 공급이 원활하지 않으면 인프라를 계획대로 확장하기 어렵습니다. 실제로, 국내에서도 데이터센터의 전력 공급 검토가 장기간 이어지는 등 전력 확보가 주요 과제로 떠오르고 있죠.

이러한 상황에서 확보한 전력을 얼마나 효율적으로 활용하는지가 무엇보다 중요한데요. 이에 씨이랩은 GPU 운영 단계에서 전력 사용을 최적화할 수 있도록 아스트라고에 GPU 전력 관리 기능을 추가했습니다.

GPU 작업에 따라 전력 사용 조정

GPU는 출고 시 최대 전력 한도가 설정되어 있습니다. 하지만 실제 학습이나 추론 작업에서 항상 최대 전력까지 사용하는 것은 아닌데요.

문제는 전산실의 전력 설비는 GPU의 최대 전력을 기준으로 설계된다는 점입니다. 실제 사용량이 최대치보다 적더라도 충분한 전력 용량을 확보해야 하다 보니, 전력 여유가 부족해 예산이 있어도 GPU를 추가로 설치하기 어려울 수 있는데요. 특히, 전력 증설이 쉽지 않은 온프레미스 환경에서는 기존 전력 설비 안에서 GPU를 얼마나 효율적으로 운영할 수 있는지가 중요합니다.

아스트라고의 GPU 전력 관리 기능은 이러한 작업 특성에 맞춰 적절한 전력 제한을 자동으로 탐색하고 적용합니다. 덕분에 관리자가 작업마다 전력 설정을 일일이 조정하지 않아도 GPU 전력 사용을 최적화할 수 있죠. AI 모델 학습이나 파인튜닝처럼 GPU 연산을 집중적으로 사용하는 작업에서도 전력 사용을 자동으로 조정해, 작업에 필요한 결과를 고려하면서 전력 소비를 관리할 수 있습니다.

전력 소비는 줄이고, 학습 결과는 유지하고

GPU 전력 관리 기능을 활용하면, 서버 전력 소비와 작업 완료까지 필요한 총에너지를 줄일 수 있습니다. 전력을 낮추기 때문에 작업 완료 시간은 다소 늘어날 수 있지만, 학습 결과는 기존과 동등한 수준으로 유지할 수 있는데요. 이처럼 전력 소비와 작업 시간을 함께 고려해 전력 사용을 조정하면, 한정된 전력 환경에서도 GPU 자원을 보다 효율적으로 운영할 수 있습니다.

실제 적용 전, 예상 효과부터 확인

새로운 전력 관리 기능을 도입하려면 실제 운영 환경에서 어떤 효과를 기대할 수 있을지 먼저 살펴보는 것도 중요합니다.

아스트라고는 관찰 모드를 통해 전력 관리 기능을 실제로 적용하지 않고도 예상되는 전력 절감 효과와 추가로 활용할 수 있는 전력 여력을 확인할 수 있도록 지원합니다. 이를 활용하면 현재 GPU 운영 환경을 바탕으로 전력 사용 현황을 살펴보고, 전력 관리 기능을 적용했을 때의 변화를 미리 검토할 수 있는데요. 실제 운영에 앞서 예상 효과를 확인할 수 있어, 각 환경에 적합한 전력 관리 방안을 검토하는 데 도움이 됩니다.

확보한 GPU를 더 효율적으로 활용하려면

AI 데이터센터의 전력 문제는 전력 공급을 늘리는 것뿐 아니라, 이미 확보한 전력을 얼마나 효율적으로 활용하는지도 함께 고려해야 합니다. GPU 운영 과정에서 전력 사용을 최적화하면 제한된 전력 환경에서도 자원을 보다 효율적으로 활용할 수 있기 때문입니다.

아스트라고를 활용하면, GPU 작업별 특성에 맞춰 전력 사용을 조정하고, 관찰 모드로 예상 효과를 확인할 수 있습니다. 현재 운영 환경을 바탕으로 전력 관리 방안을 검토하고, GPU 활용 효율을 높이고 싶다면 지금 바로 문의해 주세요.

GPU 전력을 효율화하고 싶다면