AI City Challenge 2026 공개 리더보드 1위 기록

합성 데이터로 학습한 AI가 실제 이미지에서도 통했습니다.

NVIDIA가 주관하는 글로벌 컴퓨터 비전 경진대회 AI City Challenge가 올해로 10회째를 맞았습니다. 지능형 교통과 스마트 시티처럼 실제 도시 환경의 문제를 AI로 푸는 대회로, 올해는 ECCV 2026 워크숍과 연계해 열렸습니다. 이 대회의 Track 4에서 씨이랩 연구팀 'Xiilab.Alpex'가 mAP 99.30%, Recall@10 100%, Recall@1 98.74%를 기록하며 28개 참가팀 가운데 공개 리더보드 1위에 올랐습니다.

자연어 한 문장으로 사람을 찾는 과제

Track 4의 정식 명칭은 텍스트 기반 인물 이상 탐색(Text-Based Person Anomaly Search)입니다. "노란 셔츠를 입고 길에 쓰러진 사람"처럼 인물의 외형과 행동을 자연어로 설명하면, AI가 카메라 네트워크 전체에서 그 인물을 찾아내야 합니다.

평가에는 ICCV 2025에서 공개된 PAB(Pedestrian Anomaly Behavior) 벤치마크가 쓰였습니다. 모델은 1,978개의 쿼리 문장마다, 방해 이미지 34,795장이 섞인 약 3만 7천 장의 실제 이미지에서 정답 인물을 골라내야 합니다.

(텍스트 기반 인물 검색·이상행동 검색 과제 구조와 합성 학습 데이터 예시)

핵심은 Sim2Real

이번 과제의 핵심은 Sim2Real입니다. 참가팀은 약 101만 장의 합성 이미지로 모델을 학습한 뒤, 약 3만 7천 장의 실제 이미지에서 자연어 설명에 맞는 인물을 얼마나 정확히 찾는지로 평가받았습니다.

대회에 참여한 이지혜 연구원은 합성 데이터로 배운 모델이 실사 데이터에서도 정확히 인물을 찾아내게 만드는 것이 관건이었다고 설명했습니다. 정상 행동뿐 아니라 넘어짐, 충돌 같은 다양한 이상행동까지 구분해야 했기 때문에, 합성 데이터와 실사 데이터 사이의 차이를 좁히는 데 집중했다고 합니다.

(자연어 설명을 바탕으로 실제 이미지에서 조건에 맞는 인물을 찾는 Track 4 과제)

지난해의 실험에서 찾은 답

연구팀은 지난해 결과와 실험을 다시 분석하며 개선 방향을 잡았습니다. 여러 모델과 결합 방법을 하나씩 시도하고, 데이터 분석과 모델 선택, 후처리 전략을 적용해 성능을 끌어올렸습니다.

"지난해의 실험을 다시 분석하고, 다양한 모델과 결합 방법을 하나씩 시도하며 개선 방향을 찾았습니다." - 이지혜 연구원

상위권에 오른 뒤에는 경쟁팀과의 점수 차가 계속 좁혀졌고, 후반으로 갈수록 새로 시도할 방법도 줄었습니다. 연구팀은 실험 방향과 우선순위를 정리하고 팀원들과 문제를 공유하며 완성도를 높였습니다. 이지혜 연구원은 리더가 실험 방향을 잡아 주고 팀원들이 서로 도움을 주고받은 과정이 1위의 원동력이었다며, 진행 과정에서 도움을 준 CTO에게도 감사를 전했습니다.

합성 데이터 기술의 가능성

씨이랩은 NVIDIA Omniverse 기반 디지털 트윈에 공장, 물류센터, 도시 공간 등을 구현하고 Vision AI 학습용 합성 데이터를 만들어 왔습니다. 이번 결과는 합성 데이터만으로 학습한 모델이 실제 이미지 평가에서도 높은 성능을 낼 수 있음을 보여 줬다는 데 의미가 있습니다. 연구팀은 데이터 분석부터 모델 선택, 후처리 전략까지 VLM 기반 Sim2Real 문제를 푸는 다양한 방법을 직접 적용해 볼 수 있었습니다.

지난해의 실험을 다시 들여다보는 것부터 다양한 방법의 시도, 그리고 팀의 협업까지.
씨이랩 연구팀이 함께 만들어 낸 공개 리더보드 1위를 축하합니다.