사진 몇 장이면,
방 하나.
폰으로 찍은 사진 몇 장 → 걸어 다닐 수 있는 3D 공간.
폰 영상 24프레임이면 됩니다
비싼 스캐너 없이, 폰 영상만으로.
로봇 몸에 달린 카메라가 임의의 경로를 걸으며 본 화면 — 색과 깊이를 함께 냅니다.
사무실 한 채. 큰 공간 두 곳을 각각 폰 영상 24프레임으로 복원했습니다.
World Labs는 이걸 Real-to-Sim이라고 부릅니다. 찍은 공간 안에서 로봇을 시뮬레이션합니다.
사진을 줄로 세우지 않고, 공간에 꽂습니다
사진마다 “어디서, 어느 방향”이 붙습니다.
앞뒤 순서만 압니다. 3번과 5번이 같은 기둥을 찍었는지는 모릅니다.
같은 사진 5장을 평면도 위에 위치와 방향까지 붙여 꽂아 둡니다. 그래서 “아직 안 본 저쪽”을 이어서 만들 수 있습니다.
LLM은 글자를 한 줄로 이어 붙여 문맥을 만듭니다. Atlas는 그 문맥을 3차원에 세웁니다. 텍스트·이미지·카메라 포즈·깊이 지도를 한 열로 다룹니다.
다음 장면을 한 장씩 만듭니다
사진 7장으로 1분짜리 영상을 뽑습니다.
앞에 만든 장면을 보고 그다음 한 장을 만듭니다(autoregressive). 카메라가 지날 길은 사람이 미리 그려 줍니다.
참고 사진 7장 → 손으로 그린 카메라 경로를 따라 1분, 1440p.
폰 3~5대로 같은 순간을 찍으면, 아무도 서 있지 않던 자리에서 그 순간을 다시 봅니다(불릿 타임).
카메라를 마음대로 옮긴 영상만 놓고 사람에게 고르게 했더니, 비교한 영상 모델 다섯 종을 상대로 75~94% 선택받았습니다.
흐릿하게 시작해 또렷해집니다
단계 수로 속도와 품질을 바꿉니다.
확산(diffusion) 방식입니다. 잡음에서 시작해 조금씩 지워 나갑니다. 단계를 줄이면 빨라지고, 늘리면 좋아집니다.
뼈대는 트랜스포머입니다. 서비스 속도를 위해 LLM의 KV 캐시를, 화질을 위해 영상 모델의 증류·CFG를 그대로 빌려 씁니다.
많이 보여줄수록 덜 지어냅니다
안 보여준 곳은 지어냅니다.
사진 1장부터 100장 넘게까지 받습니다. 2~3장만 있어도 꽤 맞게 복원한다고 합니다.
결과가 그림이 아니라 3D입니다
깊이 → 점구름 → 가우시안 스플랫.
사진 한 장에서 새 시점을 만들고, 픽셀마다 깊이를 뱉고, 그걸 점구름으로 모아 가우시안 스플랫까지 냅니다. Marble이 쓰는 것과 같은 표현입니다.
우리가 읽은 그 모델을 이겼습니다
막대가 짧을수록 좋습니다.
Average
8개 데이터셋 평균7-Scenes
실내 측위 표준ScanNet
실내 스캔 표준NRGBD
실내 RGB-D희소한 포즈드 뷰로 3D를 복원할 때의 평균 AbsRel 포인트맵 오차(×10⁻³, 낮을수록 좋음). 실내 3개 + 평균만 발췌했습니다. 막대 길이는 각 데이터셋 안에서만 비교됩니다.
우리가 8월 9일에 읽은 LoGeR의 백본이 π³입니다. 표에서 Atlas 아래에 두 칸 있습니다.
FollowMe 5공정에서 Atlas의 칸
맵 구축 칸입니다. 측위 칸이 아닙니다.
(COLMAP 자리)
Atlas가 앉을 수 있는 칸. 폰 영상으로 서면역·센터 18·19층 맵을 세우는 자리입니다. COLMAP이 298프레임 중 179장만 붙인 그 자리이기도 합니다.
“이 사진, 내가 어디?” 6DoF를 푸는 칸. 여기는 그대로 hloc 경로입니다. Atlas는 이 칸을 대신하지 않습니다.
덤으로 하나 더: 경로를 아무렇게나 그려 합성 쿼리 뷰와 깊이를 뽑을 수 있습니다. 7월 26일부터 밀린 숙제인 평가셋·데이터 증강의 후보가 됩니다.
그래서 우리에겐
좋은 소식과 조건을 같이 읽습니다.
지금은 못 씁니다
선정된 파트너에게만 열린 early access이고, 가중치는 공개되지 않았습니다. 신청 폼이 전부입니다.
안 본 곳은 지어냅니다
“많이 보여줄수록 덜 지어낸다”를 거꾸로 읽으면 이렇습니다. 지어낸 기하가 지도에 들어가면 그 지도는 오염됩니다.
저 숫자는 우리 숫자가 아닙니다
벤치의 지표는 포인트맵 오차입니다. 우리가 봐야 하는 건 0.25 / 0.5 / 1.0 m 측위 성공률입니다. 둘은 다른 자입니다.
갈아탈 도구가 아니라 비교 후보입니다.
우리 베이스라인 숫자가 있어야 “Atlas가 더 낫다”가 문장이 됩니다.