자율주행용 VLA 모델이 중국에서는 작동하지만 유럽에서는 실패하는 이유

상하이에서 배운 VLA가 슈투트가르트에서도 통하려면, 학습 데이터부터 달라져야 한다

중국 밖에서 VLA 모델의 성능이 떨어지는 이유

Reddit에서 언급된 사례를 보면 일부 중국 로보택시는 약 3,000 TOPS의 연산 성능을 갖춘 반면, 일부 유럽 차량은 약 750 TOPS 수준입니다. 숫자만 보면 중국 차량이 훨씬 강력해 보입니다. 하지만 연산 성능이 높다고 해서 중국 도로를 중심으로 학습한 VLA 모델이 유럽이나 북미에서도 그대로 잘 작동하는 것은 아닙니다.

VLA 모델은 인지와 추론, 행동을 하나의 흐름으로 연결해 자율주행 성능을 끌어올립니다. 하지만 아무리 연산 성능이 좋아도 학습 데이터가 특정 지역에 치우쳐 있다면 그 한계를 컴퓨팅 파워만으로 메우기는 어렵습니다.

학습 데이터에 충분한 지리적 다양성이 없다면, 모델은 익숙한 지역을 벗어나는 순간 성능이 흔들릴 수 있습니다. 이 글에서는 왜 이런 문제가 생기는지, 그리고 데이터 수집 단계에서 어떻게 보완할 수 있는지 살펴봅니다.

VLA 학습에서 ‘어디서 수집한 데이터인가’가 중요한 이유

VLA(Vision-Language-Action) 모델은 학습할 때 자주 본 환경에서는 좋은 성능을 낼 수 있습니다. 하지만 다른 지역에 배포되면 이야기가 달라질 수 있습니다.

자율주행에서는 데이터의 지리적 범위가 곧 일반화 성능과 연결됩니다. 모델이 한 번도 보지 못한 도로와 교통 환경에서 얼마나 잘 대응할 수 있는지가 여기에 달려 있기 때문입니다.

VLA 모델에서 지리적 다양성이 특히 중요한 이유
VLA 모델은 다양한 멀티모달 관측 데이터를 보면서 ‘어떻게 운전해야 하는지’를 배웁니다. 도로의 형태, 차량과 보행자의 움직임, 날씨와 인프라가 운전 판단에 어떤 영향을 주는지 모두 학습 데이터에서 익힙니다.

세계 각국의 정지 표지판

이미지 요약: 국가마다 정지 표지판의 모양과 표기 방식이 다르며, 같은 ‘정지’ 의미도 지역별 시각적 표현이 달라질 수 있습니다.

여기서 시장별 차이를 생각해 보면 문제가 더 분명해집니다. 도로 구조와 차선 표시, 교통 표지판, 차량 종류, 보행자 행동, 날씨, 인프라는 중국과 유럽, 미국에서 상당히 다를 수 있습니다.

세계 각국의 좌측통행과 우측통행

이미지 요약: 국가에 따라 우측통행과 좌측통행이 나뉘며, 이 차이는 차량의 장면 해석과 경로 예측에 직접 영향을 줍니다.

심지어 어느 쪽 차선으로 달리는지도 국가마다 다릅니다. 어떤 나라는 우측통행을 하고, 어떤 나라는 좌측통행을 합니다. 이런 차이는 모델이 장면을 해석하고 다음 주행 경로를 예측하는 방식에 직접 영향을 줍니다.

중국, 독일, 캘리포니아처럼 몇몇 지역에 집중된 데이터 수집 플릿만으로는 다른 시장의 도로 환경까지 자연스럽게 커버할 수 없습니다. 그래서 VLA 학습 파이프라인에서는 ‘지리적 커버리지’를 별도의 핵심 데이터 축으로 관리해야 합니다.

중요한 것은 샘플 수를 무조건 늘리는 것이 아닙니다. 모델이 실제로 운행될 국가와 환경이 데이터셋 안에 충분히 반영되어 있어야 합니다.

롱테일 시나리오 역시 지리적이다
자율주행에서 어려운 ‘롱테일’ 상황도 지역마다 다르게 나타납니다. 어떤 곳에서는 눈 덮인 도로가 흔하고, 다른 곳에서는 복잡한 회전교차로가 많습니다. 특정한 보행자 행동이나 교통 패턴이 특정 도시에서 유독 자주 나타날 수도 있습니다.

회전교차로를 많이 사용하는 국가들

이미지 요약: 국가별 회전교차로 보급 수준에는 큰 차이가 있습니다. 프랑스·스페인·영국/아일랜드 등은 미국보다 훨씬 높은 밀도를 보입니다.

같은 지역의 영상을 계속 늘리는 것만으로는 지리적 다양성이 생기지 않습니다. 필요한 것은 국가, 기후, 도로 유형, 인프라별로 부족한 영역을 찾아 의도적으로 데이터를 채우는 방식입니다.

이런 지리적 사각지대는 시나리오, 센서, 어노테이션의 공백과 함께 점검해야 합니다. 그렇지 않으면 데이터 규모나 지표만 봤을 때는 충분히 학습된 모델처럼 보여도, 실제 배포 시장에서는 예상보다 쉽게 흔들릴 수 있습니다.

물리적 차량 플릿만으로 모든 지역을 커버하기 어려운 이유

카메라와 LiDAR, 레이더처럼 동기화된 센서 데이터를 얻으려면 실제 차량 플릿이 여전히 중요합니다. 다만 새로운 지역의 커버리지를 빠르게 넓히는 방법으로는 항상 가장 효율적이지는 않습니다.

차량 플릿 데이터의 지리적 확장성 문제
관심 있는 시장마다 차량 플릿을 직접 운영하려면 차량뿐 아니라 현지 인력, 인프라, 규제 승인까지 필요합니다. 특히 유럽에서는 데이터법(Data Act) 같은 규제 환경도 고려해야 합니다. 국가를 넓혀 갈수록 비용과 시간은 빠르게 늘어납니다.

또 하나의 문제는 플릿 데이터가 회사가 이미 운영 중인 지역에 자연스럽게 쏠린다는 점입니다. 몇 개 국가에서 수백만 건의 주행 샘플을 모아도 다른 시장의 데이터는 여전히 부족할 수 있습니다. 결국 ‘데이터가 많은 곳’과 ‘모델이 실제로 달려야 하는 곳’ 사이에 격차가 생깁니다.

특정 장면 하나를 확보하기 위해 차량을 보내는 것도 비효율적일 수 있습니다. 예를 들어 유럽의 회전교차로 데이터가 부족하다는 사실을 뒤늦게 발견했다면, 필요한 사례를 모으기 위해 차량을 배치하고 운행하는 데 몇 주에서 몇 달이 걸릴 수 있습니다.

공개 웹 데이터는 플릿 데이터의 빈틈을 메울 수 있다
윤리적이고 합법적인 방식으로 수집한 공개 웹 데이터는 이런 지리적 공백을 빠르게 파악하는 데 유용합니다. 거리 이미지, 주행 영상, 지도 같은 자료를 활용하면 기존 플릿 데이터에 없는 도로 환경을 먼저 확인하고, 어디에 추가 수집이 필요한지 판단할 수 있습니다.

예를 들어 Bright Data는 POV 주행 영상을 포함한 YouTube 영상이나 Google Maps Street View 등 여러 공개 웹 소스에서 멀티모달 AI 데이터를 수집할 수 있도록 지원합니다.

슈투트가르트의 4K 30분짜리 YouTube 주행 POV 영상 (출처: 유튜브 @RelaxingRoads4K 채널)

이미지 요약: 실제 도심 주행 영상을 활용하면 현지 도로 구조, 표지판, 교통 흐름 같은 시각 정보를 확인할 수 있습니다.

이렇게 확보한 데이터는 실제 차량을 추가로 투입하기 전에 새로운 지역을 탐색하고, 어떤 환경이 부족한지 파악하는 데 활용할 수 있습니다. 결과적으로 더 넓은 지역을 반영한 AI 학습 데이터셋을 설계하기 쉬워집니다.

물론 웹 데이터가 실제 차량에서 얻는 동기화된 카메라, LiDAR, 레이더 데이터를 대신할 수는 없습니다. 역할은 ‘대체’가 아니라 ‘보완’입니다. 기존 플릿 데이터로 놓치고 있는 지역과 시나리오를 찾고, 학습 데이터의 폭을 넓히는 데 활용하는 것입니다.

여러 지역에서 통하는 VLA 데이터셋은 어떻게 만들까?

모든 국가에서 똑같은 양의 데이터를 모을 필요는 없습니다. 중요한 것은 현재 데이터셋에서 어떤 지역과 환경이 부족한지 파악하고, 그 부분을 의도적으로 채우는 것입니다. 실제 차량 플릿이든 웹 데이터든 목적은 같습니다.

1. 먼저 ‘어디에서 달릴 모델인지’부터 정리하기
먼저 모델이 실제로 배포될 국가와 도시를 정리합니다. 그다음 기존 데이터셋과 비교해 어떤 도로, 기후, 교통 패턴, 주행 조건이 부족한지 확인합니다. 핵심은 ‘다양성을 높이자’는 막연한 목표가 아니라, 어떤 환경이 얼마나 부족한지를 측정 가능한 지표로 바꾸는 것입니다.

예를 들어 유럽 배포를 준비한다면 도로 구조가 다른 국가, 드문 기상 조건, 독특한 표지판, 지역 특유의 운전 관행이 있는 곳의 샘플을 우선적으로 보강할 수 있습니다.

2. 플릿이 없는 시장은 웹 데이터로 먼저 탐색하기
부족한 지역을 파악했다면, 아직 차량 플릿이 없는 시장은 웹 데이터로 먼저 탐색할 수 있습니다. 지역별로 분산된 수집 파이프라인을 활용해 도로 환경과 시각 자료를 확보하면, 실제 차량을 투입하기 전에 필요한 범위를 좁힐 수 있습니다.

활용할 수 있는 소스로는 YouTube, Bilibili, Vimeo의 주행 영상과 Google Maps Street View 등이 있습니다.

Bright Data로 수집할 수 있는 슈투트가르트 도로의 Google Maps Street View 스크린샷 예시

이미지 요약: Street View 같은 거리 이미지는 플릿이 없는 지역의 도로 형태와 인프라를 사전 탐색하는 데 활용할 수 있습니다.

이런 데이터를 여러 국가에서 안정적으로 수집하려면 지역 타기팅 범위가 넓은 프록시 인프라가 필요합니다. Bright Data는 195개국에서 4억 개 이상의 프록시 IP를 제공하며, 국가와 주, 도시, 위도·경도 단위까지 세밀하게 지역을 지정할 수 있습니다.

수집 파이프라인을 처음부터 직접 만들고 싶지 않다면 데이터셋 제공업체를 활용하는 방법도 있습니다. Bright Data는 AI 학습에 활용할 수 있는 페타바이트 규모의 데이터셋 마켓플레이스를 운영합니다.

3. 모은 데이터를 실제 학습 신호로 바꾸기
웹 데이터는 많이 모으는 것보다 ‘왜 필요한가’가 더 중요합니다. 도로 유형, 날씨, 교통 상황, 인프라처럼 모델 성능과 직접 연결되는 기준으로 데이터를 분류하고 필터링해야 학습에 의미 있는 신호가 됩니다.

이때 지역 정보와 데이터 출처도 함께 보존해야 합니다. 그래야 어떤 데이터가 어디에서 왔는지 추적할 수 있고, 자체 센서 데이터와 비교해 실제로 어떤 지역이 부족한지도 판단할 수 있습니다. 이후 물리적 차량 수집은 정말 필요한 곳에 집중하면 됩니다.

글로벌 배포를 위한 VLA 데이터 워크플로

이제 중요한 것은 이런 과정을 한 번의 프로젝트가 아니라 반복 가능한 워크플로로 만드는 것입니다.

1단계: 기존 VLA 학습 데이터셋 점검
먼저 학습·검증 데이터셋을 국가, 도시, 기후, 도로 유형, 시나리오별로 나눠 분포를 확인합니다. 데이터셋이 아무리 커도 실제로는 몇몇 지역에만 몰려 있을 수 있습니다.

그다음 대표성이 부족한 시장을 찾습니다. 비슷한 장면만 반복해 데이터 양을 늘리는 것과 실제 환경의 다양성을 넓히는 것은 구분해야 합니다.

2단계: 외부 데이터로 지리적 대표성 부족 보완
대표성이 부족한 시나리오가 보이면 관련 도로 장면, 주행 영상, 거리 이미지, 환경 데이터를 웹에서 찾아 보강합니다. 지리적으로 분산된 프록시 인프라를 활용하면 탐색 단계부터 차량을 직접 보내지 않고도 필요한 데이터를 확보할 수 있습니다.

야간 도로, 겨울철 주행, 낯선 교차로 구조처럼 구체적인 질문에 답할 수 있는 데이터를 우선적으로 모으는 것이 좋습니다. 이렇게 확보한 외부 데이터를 자체 센서 데이터와 결합하면 지역별 빈틈을 훨씬 명확하게 메울 수 있습니다.

3단계: 분석 결과를 모델 개발에 다시 반영
모델 평가 결과를 다시 데이터 수집에 연결합니다. 어떤 지역과 환경에서 성능이 떨어지는지 확인하고, 그 조건을 겨냥한 샘플을 학습·검증 세트에 추가합니다. 이후 실제로 성능이 개선됐는지 다시 측정합니다.

배포 지역이 늘어날 때마다 이 과정을 반복해야 합니다. 지리적 커버리지는 새 시장에 진입할 때 한 번 확인하고 끝내는 항목이 아니라, 계속 추적해야 하는 모델 품질 지표에 가깝습니다.

다음 VLA 학습 전에 확인할 체크리스트

다음 학습을 시작하기 전에 아래 항목만 확인해도 데이터 수집 우선순위를 훨씬 구체적으로 정할 수 있습니다.

• ☐ 다음 VLA 또는 ADAS(첨단 운전자 보조 시스템) 모델 학습 전에 학습 세트의 지리적 분포를 점검한다.

• ☐ 차량 플릿의 도로 및 환경 커버리지가 가장 취약한 배포 시장 5곳을 정리한다.

• ☐ 각 시장에서 중요하지만 대표성이 부족한 시나리오 3개를 선정하고, 어떤 웹 소스에서 관련 데이터를 확보할 수 있는지 파악한다.

• ☐ 한 시장을 대상으로 지리 분산형 데이터 수집을 테스트하고 기존 플릿 데이터의 커버리지와 비교한다.

• ☐ 결과를 바탕으로 물리적 데이터 수집이 필요한 영역과 외부 웹 데이터로 지역 간 AI 학습 데이터셋을 개선할 수 있는 영역을 구분한다.

• ☐ 수집한 데이터를 전체 VLA 학습 데이터 파이프라인에 연결하고 지리적 메타데이터와 출처 정보를 보존한다.

결론

결국 VLA가 새로운 시장에서도 잘 작동하느냐는 연산 성능만의 문제가 아닙니다. 학습 데이터가 실제 배포 지역을 얼마나 잘 반영하고 있는지가 핵심입니다.

신뢰할 수 있는 VLA 학습 파이프라인이라면 데이터의 지리적 분포를 점검하고, 부족한 시나리오를 찾아 보완한 뒤, 다시 학습하고 목표 시장에서 검증하는 과정이 반복되어야 합니다.

Bright Data는 페타바이트 규모의 지리 분산형 데이터를 제공해 모든 지역에 직접 차량 플릿을 배치하지 않고도 자율주행 데이터의 지리적 다양성을 넓힐 수 있도록 지원합니다. 글로벌 학습 파이프라인을 구축하려는 팀이라면 Bright Data의 비디오 데이터 인프라를 무료로 테스트해 볼 수 있습니다.