처음에는 알 수 없는 티져 영상으로 관심을 끌더니 막바지에 이르러 드러낸 실체는 아래와 같았습니다. GPS와 나침반 기반의, 요즘 흔히 보이는 소위 짝퉁 AR (pseudo-AR)의 일종이라고 할 수 있겠습니다.

www.youtube.com/watch?v=2_fYcdH2nMY

그럼 차이점은 무엇일까요? 일단 사진과 글 위주의 2D 정보를 제공하는 다른 서비스들과는 다르게 3D 콘텐츠의 제공에 초점을 맞추고 있습니다. Layar가 한발 앞서 3D 지원을 공표하였습니다만, 아직 구체화되지는 않았죠. 이 틈을 비집고 들어온 Junaio는 사용자의 카메라 사진을 3D 모델로 ‘증강’하여 UCC를 제작하고 공유하는 서비스를 표방하게 됩니다.

그림자 덕분에 더욱 그럴싸해 보이는 Nine이 인사합니다!

물론 논란의 여지는 있습니다. 이러한 사진 증강은 사용자가 3D 모델을 직접 돌려가며 수고한 결과입니다. 마치 스티커 사진을 찍고 나서 일일이 배경을 설정해주어야 하는 포토제닉과 같은 과정이죠. 대개 증강현실에서는 이러한 정합(registration)의 자동 수행을 기대합니다만, Junaio에서는 유사한 느낌을 수동적으로 표현해주는 것에 그치고 있습니다. 물론 이렇게 만들어진 콘텐츠는 Wikitude처럼 카메라 영상 위에 둥둥 떠다니는 아이콘으로 네비게이션 할 수 있으니 여전히 광의의 AR 범주에는 포함되겠습니다만, 3D 모델이 카메라 영상 위에서 실시간으로 정합되는 증강현실 기술을 기대하였다면 실망이겠죠.

대신 Junaio는 사진을 꾸미고 돌려보는 재미 그 자체에 초점을 맞추었습니다. 오히려 이 점이 여타 AR 브라우저들과 차별화되는 부분이기도 합니다. 증강현실이라는 마케팅 트렌드 속에서 탄생한 “위치 기반 소셜 포토제닉 서비스”인 셈이죠.

사실 사진과 3D 모델의 합성 쪽에서는 3DVIA Mobile이라는 앱이 이미 출시되어 있긴 합니다. 그렇지만 차이점이라면 3DVIA Mobile이 모델러가 디자인한 3D 모델의 공유에 초점을 맞추는 반면, Junaio는 이러한 모델로 가공된 콘텐츠의 공유에 더 많은 신경을 쓰고 있다는 것입니다. 이를 위해 위치 기반 서비스가 된 것이고, 위키처럼 다른 사람의 콘텐츠를 마음대로 수정할 수 있는 것이며, 웹에서 접근 가능한 지도 서비스가 별도 제공되는 것이겠지요. Junaio의 시도가 UCC 산업에 새로운 바람을 일으킬 수 있을지 기대해봅니다.

아래는 처음 만들어본 짤방입니다^^;

제이의 수줍은 웃음과 하트 뿅뿅, 그리고 장미 한다발

첫번째 논문은 “Interaction and Presentation Techniques for Shake Menus in Tangible Augmented Reality”입니다. 저자 Sean White는 아까도 나왔던 Columbia University의 CGUI Lab 출신입니다. 이번에 발표되는 기술은 식물 채집 가이드 시스템인 LeafView에 적용되었고, 2007년도에 발표했던 Visual Hints의 연장선상에 있는 듯 합니다.

www.youtube.com/watch?v=DE7AMVtDo9U

두번째 논문인 “Influence of Visual and Haptic Delays on Stiffness Perception in Augmented Reality”는 햅틱 AR 환경에서 시각적 촉각적 딜레이에 따라 사람이 느끼는 강성의 차이를 분석했다고 합니다만, 직접 써보지 않고서는 잘 모르겠네요^^;

마지막은 “A User Study towards Understanding Stereo Perception in Head-worn Augmented Reality Displays”입니다. AR 관련 사용성 평가에서 자주 볼 수 있는 Naval Research Laboratory 소속 Mark Livingston의 논문입니다.

두번째 날 마지막 세션은 Modeling입니다. 첫번째 논문인 “Online Environment Model Estimation for Augmented Reality”는 UCSB Four Eyes Lab에서 제출하였습니다. 제목만 보고는 파노라마 환경 맵을 만들어주던 Envisor의 후속인가 했었는데, 오히려 Ninja on a Plane을 확장했다고 볼 수 있는 내용이었습니다. SLAM으로 영상 속의 평면을 찾은 후 텍스쳐 정보까지 활용한다고 하네요.

두번째 논문인 “In Situ Image‐based Modeling”는 저자를 보니 아무래도 VideoTrace와 관련이 있을 것 같군요. 실시간 라이브로 돌리는 것일까요? 왠지 ProFORMA나 OutlinAR가 연상됩니다.

마지막 논문인 “Dynamic Seethroughs: Synthesizing Hidden Views of Moving Objects”는 제 3의 카메라를 이용하여 벽 뒤의 광경을 투시하는 방법을 설명합니다. 2004년도에 나왔던 츠쿠바 대학의 시스템과 유사해 보이는데, 움직이는 객체를 분리하여 시점을 보정해준다는 점이 특징인 것 같습니다. 자동차 부품 회사 DENSO에서 지원을 받아 귀여운 광고도 찍었네요.

마지막 날의 첫번째 세션은 Applications입니다. 이중에서 세번째 “Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret”는 다시 Columbia University입니다. 올해 많이 나오네요. 군용 기계 정비를 위한 ARMAR라는 시스템인데 아래에 동영상이 있습니다. 몇년 전에 나왔다가 최근 다시 인기를 끌었던 BMW의 AR 정비 컨셉과도 유사하죠?

www.youtube.com/watch?v=mn-zvymlSvk

대망의 마지막 세션은 Tracking입니다. 올해는 모바일 쪽과 별도로 구분되어 있죠. 첫번째 논문은 ISMAR의 단골 손님 TUM CAMPAR에서 나온 “A Dataset and Evaluation Methodology for Template-based Tracking Algorithms”입니다. 올해는 논문수가 예년에 비해 적은 것 같네요.

두번째는 역시 또다른 단골 TU Graz의 “Global Pose Estimation using Multi-Sensor Fusion for Outdoor Augmented Reality”입니다. GPS와 가속도 센서, 그리고 카메라를 모두 활용하여 추적 오차를 보정하는 방법을 설명합니다.

세션 마지막이자 학회 마지막은 올해 유일의 한국 논문인 “ESM-Blur: Handling and Rendering Blur in Object Tracking and Augmentation”입니다. 예전 연구실 선배이기도 한 박영민 박사과정은 작년에 이어 올해에도 ISMAR에 논문을 발표하는 쾌거를 이루었네요. 공동저자인 Vincent Lepetit은 BazAR로도 유명하죠. 카메라가 흔들릴 때 발생하는 블러를 인식하여 트래킹과 렌더링에 적용하는 내용을 담고 있습니다.

잠시 짬을 내서 급하게 찾아본 내용이라 틀린 부분도 있을 것 같습니다만, 다음 주에 ISMAR 참석하시는 분들이 많으니 더 좋은 이야기 들을 수 있으리라고 생각합니다. 다녀 오신 분들의 후기도 기대하고 있겠습니다:)

이중 논문 구두 발표는 총 8개의 세션으로 구성되어 있으며, 프로그램은 여기에 나와 있습니다. 그럼 올해에는 어떤 재미난 논문들이 나오는지 제목만으로 한번 훑어보겠습니다.

첫번째는 User Interfaces 세션입니다. 다른 곳은 잘 모르겠고 두번째의 “Interference Avoidance in Multi-User Hand-Held Augmented Reality”는 Goblin XNA를 만든 Ohan Oda의 논문입니다. 지도교수인 Steven Feiner는 작년에 한국을 방문하여 대학교 및 연구소 등을 대상으로 증강현실에 대한 특강을 하기도 하였죠. 제목은 다수 사용자의 간섭에 대한 것이라는데 정확히 감은 안 오네요. 영상 속에서 뭔가 가렸을 때의 문제를 말하는 것이려나요?

그 다음 세션은 Rendering입니다. 첫번째 논문인 “Animatronic Shader Lamps Avatars”는 Ramesh Raskar의 Shader Lamps를 화상회의 시스템에 적용하였습니다. 움직이는 가짜 사람 얼굴 모형에 실제 영상을 투영시키는 것이죠.

두번째 논문인 “Augmenting Aerial Earth Maps with Dynamic Information From Videos”는 이미 몇주전부터 굉장히 유명했죠. 구글 어스와 같은 항공 사진 지도 위에 CCTV 영상 등의 동적인 콘텐츠를 올려놓았습니다. Georgia Tech의 김기환님을 비롯한 한국 유학생들이 저자로 참여한 논문입니다.

www.youtube.com/watch?v=TPk88soc2qw

그 다음은 Tracking on Mobile Devices 세션입니다. 요즘 모바일 AR이 대세이기 때문에 가장 큰 관심이 쏟아지지 않을까 싶습니다. 이중에서 TU Graz의 “Multiple Target Detection and Tracking with Guaranteed Frame Rates on Mobile
Phones”와 “Towards Wide Area Localization on Mobile Phones”는 지난 글에서 소개해드린 적이 있고요. “Parallel Tracking and Mapping on a Camera Phone”도 역시 iPhone에서 PTAM을 돌린 영상으로 널리 알려져 있습니다.

“Shape Recognition and Pose Estimation for Mobile Augmented Reality”는 기존의 점 피쳐를 사용하는 정형화된 NFT와는 다르게 외곽선 피쳐를 사용하여 보다 유연한 인식과 추적을 보여주고 있습니다. 예를 들어 아래 영상에 나오는 것처럼 펜으로 대충 모양을 그린 다음 사용할 수도 있다는 것이죠.

www.youtube.com/watch?v=je8SihypYA4

그리고 이를 응용한 논문이 다음 날의 Paper AR 세션에 또 있습니다. “In‐Place 3D Sketching for Authoring and Augmenting Mechanical Systems”라는 제목으로, 종이에 스케치하는 모양대로 저작을 하고 증강이 되는 시스템입니다. 재미있죠? 게다가 이미 iPhone 3.0으로 포팅이 되어 있는 상태이고, 카메라 API까지 공개하겠다고 해서 큰 관심을 받고 있습니다.

www.youtube.com/watch?v=M4qZ0GLO5_A

이 세션의 두번째 논문은 “Augmenting Text Document by On‐Line Learning of Local Arrangement of Keypoints”인데, 왠지 ISMAR 2007에서 Ricoh가 전시하였던 HOTPAPER가 떠오르는군요.

마지막은 “Augmented Touch without Visual Obtrusion”이라는 논문입니다. PHANTOM Omni와 같은 햅틱 장치와 AR의 결합은 가상의 촉각과 시각을 함께 자극할 수 있다는 점에서 많은 연구가 이루어지는 분야인데요. 이러한 햅틱 장치가 워낙 무식하게 생겨서 눈에 거슬렸던 것도 사실입니다. 이것을 미리 준비한 배경의 영상에 기반한 렌더링으로 해결하자는 아이디어가 되겠습니다. 제가 AR을 처음 배우면서 만들어 보았던 마커 지우기가 떠오르네요^^;

자, 여기까지 세션 4개를 살펴보았구요. 너무 길어지는 것 같으니 나머지는 다음 글에서 이어가도록 하겠습니다.

www.youtube.com/watch?v=qvfEORp-fhU

그런데 이런 표준이 왜 중요한 것일까요? 쉽게 말하자면 Wikitude와 Layar가 서로의 콘텐츠를 볼 수 없는 문제를 해결하자는 것입니다. 마치 웹 초창기의 비표준 브라우저 난립에 빗대기도 하는데요. 실제로 AR 콘텐츠의 상호운용성과 이를 위한 표준화 작업은 많은 사람들이 관심을 가지고 있는 문제입니다. AR이 웹처럼 활성화되기 위한 5가지 장애물 중의 하나로 꼽히기도 하였죠.

국내 학계에서는 고려대학교의 김정현 교수님이 ISO JTC 1/SC 24에서 이와 관련된 표준화 작업을 진행하고 계시기도 합니다.

물론 이러한 일들이 한번에 이루어지지는 않을 것입니다. 비슷한 표준들인 X3D와 Collada 사이에서 고민하기도 하고, ARML에서 Layar처럼 3D 모델 지원을 할 수 있을지 걱정도 합니다. 현재의 GPS+나침반 시스템에서 영상 인식 기반으로의 확장을 기대할 수도 있겠지요.

www.youtube.com/watch?v=6kzNKONUGQ8

위의 소개 동영상에 설명되어 있듯 Pachube는 세계 각지에 심어져 있는 다양한 센서 정보를 공유하기 위한 웹 서비스입니다. 연구소 뒤뜰의 측우기가 될 수도 있고, 서울의 공기 오염도 측정장비가 될 수도 있습니다. 가까이에는 집 안의 온도를 재거나 창문이 열려 있는지 알려주는 센서를 생각해볼 수 있겠죠. 이러한 정보들을 언제 어디서나 사용할 수 있도록 통합하여 정형화된 형태로 제공하는 것이 Pachube의 주역할입니다.

www.youtube.com/watch?v=sxr8oaRUq6k

물론 아직 등록되어 있는 자료의 종류가 적고 실용적인 응용이 많은 것도 아닙니다. 가상현실에서의 활용이나 증강현실에의 적용도 위와 같이 간단한 개념을 보여주는 정도에 머무르고 있습니다. 하지만 앞으로 이러한 노력이 결실을 맺어 주변 환경에 대한 수많은 정보들이 개방된다면 정말 유비쿼터스한 매쉬업이 가능해질 것입니다. 진정한 증강현실을 기대해볼 수 있겠지요.

ISMAR 2007에 처음 발표되었던 PTAM (parallel tracking and mapping)은 이후 더욱 넓은 공간에의 적용을 위해 다중 맵을 지원하는 PTAMM (parallel tracking and multiple mapping)으로 개선되어 ISWC 2008에 선을 보였습니다. 하지만 예전에도 언급하였던 결정적인 약점은 계속 남아 있었으니, 바로 지도상에 인식된 지점의 실제 위치, 혹은 의미를 알 수 없다는 것입니다. 예를 들어, 미술관 실내의 지도를 멋지게 생성하더라도 앞에 있는 그림이 고흐의 그림인지 샤갈의 그림인지 인식할 수 있는 방법이 없었다는 것이죠.

www.youtube.com/watch?v=DxPGkJzXZdU

이번에 나온 OPTAMM (parallel object recognition, tracking and multiple mapping)은 이러한 문제를 해결하기 위해 SIFT 알고리즘을 이용한 인식이 함께 수행되도록 확장되었습니다. 위의 동영상에는 포스터, 그림, 오실로스코프 등의 다양한 물체를 구분하는 시나리오들이 잘 표현되어 있죠.

지금까지의 PTAM은 그냥 한번 돌려서 데모용으로 보여주기에는 아주 훌륭하였지만 지속적으로 사용하기에는 불편한 점이 있었습니다. 이 때문에 자체적으로 SIFT와 통합하여 사용하는 사례도 있었는데, 아예 원작자 측에서 깔끔하게 정리를 해버렸군요. 이제 이를 기반으로 쏟아져 나올 다양한 응용들이 기대 됩니다. 물론 얼마 전의 아이폰 포트도 놓치지 말아야겠죠. 올해 ISMAR도 참 흥미진진하겠습니다.

www.youtube.com/watch?v=8Wv24fPQF7E

그중에서 역시 눈길이 가는 것은 위 동영상이죠. 지난 ISMAR 2008에서 최우수 논문상을 수상했던 모바일 폰에서의 Tracking by Detection 알고리즘이 Multiple Target Detection and Tracking이라는 이름으로 한층 더 업그레이드 되어 돌아왔습니다. 지난 달 Wagner가 한국을 방문했을 때 했던 강연에서 scalability에 대한 질문을 한 적이 있었는데요. 그에 대한 현재의 답이 될 수도 있겠습니다. 여러 객체를 동시에 인식하기 위해서는 속도가 느려질 수 밖에 없는데, 이를 피하기 위해 영상에서 이미 인식된 부분은 다음 번에 다시 처리되지 않도록 제외하는 것이 기본 아이디어인 듯 합니다. 자세한 내용은 논문이 발표되어야 알 수 있을 것 같고 일단 저 영상만으로도 충분히 자극적이네요. 최신 폰도 아니고 ASUS나 MEIZU의 적당한 모델을 사용하는데도 참 빠릅니다.

다른 한 편의 논문은 Full 6-DOF Localization Framework이라는 제목이 붙어있는데요. 주변 환경을 고해상도로 촬영하여 3D 점군을 생성한 다음, 이를 기반으로 모바일 폰에서 현재 바라보고 있는 위치와 방향을 정확히 계산해내는 알고리즘입니다. 자료를 만드는 방법은 PhotoSynth와 유사하고, 사용 목적은 PTAM과 비슷할 수 있겠네요. 폰에서 1초 내에 인식이 가능하다고 하니 실내 네비게이션과 같은 쪽에 유용하겠습니다.

그리고 마지막은 보너스입니다. 위의 두가지 알고리즘을 함께 확장하여 평면이 아닌 3D 객체에 대한 모델 기반 추적을 실험하고 있습니다. 아직 논문으로 정리된 내용은 아니지만 이미 안정적으로 작동하는 모습을 볼 수 있으며, PC에서는 무려 1000 FPS의 속도를 낸다고 하네요.

www.youtube.com/watch?v=_yz3kjMj5i4

현재 500개의 API를 추가 배포하고 있으며, 개발자용 위키도 공개가 되어 많은 정보를 열람할 수 있습니다. 네덜란드에서 출시될 삼성 안드로이드폰에 Layar가 기본 설치될 예정이라고 하는데 다방면에서 공격적인 행보를 취하고 있네요.

이렇게 다양한 서비스가 나오는 것은 즐거운 일이지만 걱정이 없는 것은 아닙니다. 이번에 공개된 레이어들을 보면 GPS와 콤파스를 이용한 위치 기반 서비스로써의 면모는 분명 잘 갖추고 있습니다. 그러나 기존 서비스들과 차별화하기 위해 강조하는 측면인 증강현실, 즉 카메라 영상의 활용은 여전히 부족해보입니다. 영상을 직접 인식하는 것이 아니라 단순히 배경으로만 사용하기 때문일까요. 레이어에 올라온 정보들은 실제 눈 앞에 보이지 않는 먼 거리에 있는 경우가 많기 때문에 이러한 배경이 없어도 사용에 큰 문제가 없는 것이 사실입니다. 둥둥 떠다니는 풍선이 이질적으로 느껴지는 것은 비단 제 개인적인 느낌만이 아닐 것입니다.

Layar나 Wikitude를 새로운 형태의 위치 기반 서비스로써는 환영하지만, 증강현실의 전형으로 보는 것에는 좀 더 고민이 필요하겠습니다. 문득 Sekai Camera가 한창 주가를 올리던 작년, 증강현실의 거품을 경계하자던 MacIntyre 교수의 이야기가 떠오르는군요.