블로그에 ‘해라체(?)’의 글을 써보기는 오랜만이다. 뭔가 발표하는 느낌을 받는 ‘합니다체’에 비해 생각의 속도를 따라으면서 그대로 써내려가기에 좋은 것 같다. 스스로 생각할때 합니다체를 쓰지는 않으니까. Essay라기보다는 Loud Thinking에 가깝다고나 할까.

사실 내가 합니다체를 고집해온 것은 뭔가 ‘잡담’이상의 컨텐츠를 생산하고 싶다는 욕심 떄문이었다. 하지만 한참을 끙끙거리며 제대로 된 것 하나를 쓰려고 노력하는 것보다 매일 조금씩 잡담 수준이라도 기록해 나가는 것이 결국에는 양과 질에서 낫지 않을까.

최근에 Pomodoro시간관리를 광범위하게 쓰고 있다. 단순히 25분 일/5분 휴식의 기본 시스템을 쓰는데에 그치지 않고 다양한 변종(?)을 시도하고 있다. 예를 들어 운동을 30초 action/30초 rest로 끊어서 하면 일과 휴식의 리듬과 같은 효과를 얻을 수 있다. 사실은 이 글도 25분에 쓰고 있다는…

지금 쓰는 단락을 트위터에 옮겨보니 약간씩 초과하기는 하지만 거의 140자에 담기는 것을 볼 수 있다. 최근들어 트위터를 거의 하지도 않았는데, 어느새 트윗 단위로 생각을 정리하는데 익숙해 진 것인가. 도구가 무의식중에 사용자의 사고와 행동에 주는 영향은 지대하다.

인간관계라면 대부분 타인과의 관계를 일컫는데, 요즘들어 점점 ‘자신과의 관계’에 대해 생각하게 된다. 말하자면 다른 사람을 대하듯 스스로를 아끼고 존중하는 것이 중요하다는 깨달음이다. 가끔 내 스스로를 지나치게 혹사시키거나 속이려는 노력을 하다보면 꼭 힘이 빠지거나 자존감이 추락하는 것을 보면서 하게된 생각이다.

————–

앞으로 이런 식의 글들도 종종 올려볼 생각입니다. 이 글들은 단상들 카테고리에서 보실 수 있습니다.

사실 대학원을 (특히 박사과정) 거친 많은 사람들의 경우, 대학원 전공을 자신의 ‘분야’로 간주하는 것이 보통입니다. 저의 경우 ‘검색 알고리즘의 개발 및 평가’에 대한 학위논문을 썼고, 현재에도 검색엔진 관련 업무를 수행하고 있으니 검색이 분명 제 직업적 정체성의 중요한 축을 형성할 것입니다. 그리고, 그동안 검색 분야에서 쌓은 지식과 경험은 제게 분명 소중한 자산이며, 새로운 검색 알고리즘 및 인터페이스를 접하는 일은 언제나 저를 흥분시킵니다.

하지만, 평생 ‘검색 전문가’라는 타이틀에 저를 묶어두기에는 제가 마음속에 좀더 큰 그림을 그리고 있으며, 저의 활동 영역 역시 넓어졌다는 사실을 깨달았습니다. 예컨데 최근 저의 업무는 검색을 포함한 온라인 서비스 전반에 대한 평가 지표를 개발하고 개선하는 일입니다. 또한, 저에게는 거의 10년동안 천착하고 있는 Self-tracking과 (데이터 기반의 자기개발) 같은 주제가 있습니다.

그래서 고민했습니다. 나를 흥분시키고 피를 끓게하는 것들의 공통점은 무엇인가? 내 평생을 한가지 가치있는 문제에 바친다면, 그것은 무엇이어야 할까? 누군가 제게 어떤 분야의 전문가가 되기를 원하느냐고 묻는다면, 어떻게 답해야 할까? 이들 질문에 대한 대답은 아마도 평생을 거쳐 고민하고, 실천하고, 또 다시 고민해야 할 것입니다. 하지만, 고민만 하다가는 자칫 Paralysis of Analysis에 빠지게 됩니다. 평생 고민할 문제라도 당장의 근사치가 있어야 행동으로 옮길 수 있을 것입니다. 

그래서 최근에 이들을 관통하는 테마 비슷한 것을 고민한 결과, 이 모든 일들의 본질에는 ‘측정(measurement)’이라는 주제가 있다는 결론에 도달하였습니다. 여기서저는 측정을 ‘지표와 실험을 통하여 개인 및 조직의 목표를 달성하게 하는 것’이라고 정의합니다. 측정은 데이터를 다룬다는 측면에서 통계를 그 바탕으로 하지만, 어떤 특정한 목표를 달성하기 위해 데이터를 모으고, 지표(metric)를 정의하고, 이를 끊임없이 이해당사자와 커뮤니케이션하는 전과정을 포함합니다. 

(*예전에 소개했던 책 How to Measure Anything에서는 측정을 ‘계량화된 불확실성의 감소(quantified reduction of uncertainty)’로 정의합니다. Wikipedia의 정의도 유사합니다.)

이렇게 생각을 정리하고 저의 직업 및 관심사를 돌이켜보니, 측정이라는 주제가 저의 업무 및 관심사의 본질을 상당히 정확히 표현함을 알 수 있었습니다. Bing의 검색 측정팀에서 제가 담당한 업무는 검색 품질의 향상이라는 목표를 달성하기 위해 데이터를 모으고 지표를 만들어 이를 실제 검색 알고리즘을 개발하는 사람들을 돕는 일이며, 저의 개인 측정 프로젝트는 ‘자기 변화’라는 목표를 가지고 삶 전반에서 데이터를 수집하고, 이를 스스로에게 다시 알려 변화를 유도하는데 도움을 받는 일입니다.

‘측정의 전문가’라는 직업명을 들어본적은 없지만, 개인과 조직이 당면한 여러 문제를 데이터 및 지표의 힘을 빌려 해결하겠다는 목표는 분명 가치있어 보입니다. 당장 제가 하는 활동에 변화가 있는 것은 아니더라도, 제가 다루는 모든 문제를 ‘측정’이라는 렌즈를 통해 이해하고 개선하려는 노력은 장기적으로 큰 차이를 만들 수 있다고 믿습니다.

여러분은 어떤 분야에서 자신의 족적을 남기고 싶습니까? 그런 결론에 어떻게 도달하셨습니까?

—–
직접 만든 개인정보 및 일정관리 프로그램이 김진영 씨의 인생에 전환점을 가져왔다. 자신의 일정관리 데이터를 분석, 업무에 반영하면서 체험한 변화를 더 공부해 보고 싶어서 미국으로 유학을 떠났다. 김진영 씨는 학부 과정의 전공이었던 전자공학에서 벗어나 ‘정보 검색’을 공부하면서 본격적인 데이터 전문가로서 길을 걷고 있다. ‘데이터가 개인과 조직의 성과에 차이를 가져올 수 있다’는 믿음을 갖고 늘 새로운 것에 도전하고 있다. 방대한 영역에 걸쳐 늘 공부해야 하는 데이터 전문가의 삶은 어찌 보면 도전의 연속이지만, 새로운 길을 앞서 개척한다는 측면에서 보면 매력적이라는 김진영 씨와 서면 인터뷰한 결과를 소개한다.

<인터뷰 진행> 박세영 12sypark@gmail.com <월간 마이크로소프트웨어> 편집장을 거쳐 테크니컬 커뮤니케이터로 활동하고 있다.

어떤 계기로 데이터 전문가의 길을 걷게 되었나요?

우선 대학원 진학 동기부터 시작해야겠군요. 저는 한국에서 전자공학을 전공하고 소프트웨어 회사를 다니면서, 저녁에 틈틈히 제 개인 정보 관리 프로그램을 만들기 시작했어요. 처음에 달력을 만드는 걸로 시작했는데, 넣은 데이터를 분석해보는 것도 의미가 있겠다 싶어 시간을 어디에 어떻게 쓰는지 통계 처리를 하고, 일정에 점수를 넣어 만족도를 분석해 보기도 했죠.

처음에는 ‘reminder’ 정도로 활용했던 프로그램을 계속 사용하면서 스스로 생산성이 올라가는 모습을 발견했어요. 그때 생각했죠,‘아, 데이터의 힘이라는게 막강한 거구나…’라고. 만약 다른 사람들도 이렇게 자신의 데이터를 모아 분석할 수 있게 도와줄 수 있다면 참 보람있는 일이겠다!’ 하는 생각을 했지요. 그게 저한테는 ‘아하 모먼트(Aha-Moment)’였던거죠.

그렇게 결심하고 1년의 준비과정을 거쳐 컴퓨터 사이언스 전공으로 미국으로 유학을 가게 되었어요. 물론 입학 과정에서 지금까지 개인적으로 했던 개발과 데이터 분석 작업이 큰 도움이 되었습니다. 대학원에서 전공은 분야를 살짝 바꿔 ‘정보 검색’으로 했어요. 검색 알고리즘을 만들고 평가하는 일이 정확히 원래 하고싶던 분야는 아니었지만, 이런 정보 홍수시대에 원하는 정보를 바로바로 찾아줄 수 있는 기술이 매우 중요하다고 느껴졌거든요. 그때 막 구글같은 검색 회사가 무섭게 성장하고 있기도 했고요.

정보검색은 결국 통계적으로 사용자의 검색의도를 예측하여 최상의 문서를 찾아낼 수 있는 모델을 만들고 평가하는 일입니다. 기술적으로는 통계학, 기계학습, 자연어 처리 등등에 바탕을 두고 있어요. 결국은 엔드유저가 사용하는 검색 시스템을 만드는 것이기 때문에 정보 시각화 및 HCI(Human-computer Interaction)와도 밀접한 관계가 있죠. 이런 관련분야를 폭넓게 공부하면서 결국 박사 학위 논문은 원래 관심사였던 개인 정보의 검색 모델 및 평가에 대해 썼으니 원래 의도의 절반은 달성했다고 할까요? 아직 스스로를 데이터 전문가라고 생각하지는 않습니다. 하지만 데이터가 개인과 조직의 성과에 차이를 가져올 수 있다는 믿음을 항상 가지고 있어요. 같은 의사결정이라도 데이터에 근거한 것이라면 정확성도 높이고, 훨씬 더 분명한 확신을 가질 수 있을 테니까요.

개인적으로 뭔가를 택할 때도 수많은 분석을 통해 꼼꼼하게 결정을 내리는 편인가요?

아, 그걸 어떻게…(웃음). 예, 보통은 그런 편인 것 같아요. 예전에 물건을 하나 살때도 차트를 만들어 분석을 하다가 주변의 핀잔을 받기도 했죠. 하지만 굉장히 충동적이고 직관에 의존하는 측면도 있어요. 그런데 데이터 분석 일을 할 때는 복잡한 현상의 본질을 꿰뚫어볼 수 있는 분석적인 면모와, 여러 경로로 수집한 증거를 바탕으로 합리적인 결론을 유도해낼 수 있는 직관이 다 필요한 것 같아요. 그래서 두 가지 모습 다 소중히 간직하려구요.

현재 하고 있는 일을 소개해주세요.

올해 9월부터 마이크로소프트 검색엔진(Bing)에서 검색 성능에 대한평가 업무를 담당하는 Applied Researcher로 일을 시작했습니다. 아직 배우는 단계이지만, 웹 검색엔진이라는 복잡하고 큰 시스템이 가지는 다양한 문제점과 요구사항을 종합해서, 서비스 품질을 정확히 측정할 수 있는 기법 및 지표(metric)를 만드는 일이예요. ‘측정하지 못하는 것은 개선할 수 없다’는 데밍(Edward Deming)의 말이 있지만, 정말 웹 검색엔진 정도의 복잡성을 갖는 시스템을 고치는 일에는 정교하고도 다양한 측정기법이 필요해요. 뭔가 고쳐서 한 가지 지표를 개선했더라도, 이 변화가 다른 지표를 떨어뜨리는 경우가 다반사이기 때문이죠.

여전히 업무시간 이외에는 제 자신의 삶에서 수집 및 추출한 여러가지 데이터를 분석하는 취미생활(?)을 하고 있습니다. 기상 및 수면시간, 운동 여부 등 다양한 생활 패턴이 제 개인의 만족도와 생산성에 미치는 영향을 측정해보고 있어요. 일이나 여가나 도메인은 다르지만 데이터 사이언스를 하고 있다고 해도 과언이 아니겠군요.

개인적으로 데이터 분야를 공부할 때 어려웠던 점은 무엇이었나요?

아직 한창 공부가 진행중이라 최종적인(definitive) 답을 드릴 수는 없지만, 처음에는 수학(미분과 선형대수) 통계학의 기초 개념을 잡는 데 시간을 많이 보냈던 것 같아요. 검색이나 기계학습이나 대부분의 모델이 대수나 확률론에 기초하고 있고, 최적화된 파라미터를 찾기 위해서는 다양한 수치해석-최적화 기법이 사용되거든요. 중요한 것은, 이런 공부가 한번 하고 끝나는 것이 아니라는 것이예요. 완전히 머리에 자리잡을 때까지 지속적으로 해 줘야 합니다. 현업에 들어가도 계속 책을 놓고 공부하지 않으면 나중에는 깊이있는 이해는 불가능해지는 것 같아요.

기초 확립이 어느정도 되면서 관련 분야를 본격적으로 공부하게 되었는데요. 여기서 도전이었던 점은 데이터 사이언스의 근간을 이루는 분야들이 아직도 굉장히 빨리 변화하고 있다는 것이었어요. 예컨데, 검색이나 기계학습 기법만 해도 5년마다 거의 패러다임이 바뀌는 수준의 변화가 있거든요. 한 분야의 발전이 다른 분야에도 영향을 끼치기 때문에 이런 경향이 더욱 가속화되는 것 같습니다. 예컨데 새로운 기계학습 기법이 나오면 이를 응용한 검색 기법이 나오는 식이죠.

저는 그동안 학계에 있다보니 주로 이론적 발전에 더 민감한 편이었지만, 당연히 관련 업계나 툴 면에서도 급속한 발전이 있었죠. 하둡의 근간이 되는 Map-Reduce에 대한 논문이 처음 나온 것이 10년이 채 되지 않았는데, 지금은 웬만한 스타트업에서도 다 쓰는 기술이 되었죠. 지금은 누구나 아는 스트라타(Strataconf) 같은 컨퍼런스는 몇 년 전에는 있지도 않았고요.

데이터 전문가라는 직업이 이렇게 빨리 바뀌는 분야를 폭넓게 섭렵하고 있어야 되니까, 어찌보면 참 고달플 수도 있는 것 같아요. 한번 배운 것을 토대로 살아가고 싶은 분께는 그래서 권하고 싶지 않은 직업이예요. 하지만 끝임없는 변화를 경험하고 만들어가는 데서 삶의 보람을 느낀다면 이보다 더 좋은 일은 없을 거예요. ^^

데이터 전문가라는 직업의 매력이라면 어떤 것이 있을까요?

앞의 질문과 연관지어 답변을 드리자면, 역시 끊임없이 새로운 문제와 기술을 접하는 데서 오는 신선한 자극을 들 수 있겠네요. 저는 특히 문제를 처음 접했을 때의느낌을 좋아하는데요. 잘 모르는 데이터를 이리저리 보면서 패턴과 문제의 실마리를 찾아내는 작업(exploratory analysis)이 문자 그대로 새로운 세상을 탐험하는 기분이거든요. 물론, 매번 처음부터 다시 시작해야 한다면 고달프겠지만, 현상 이면의 본질은 바뀌지 않으니 공부하고 문제를 해결하는 경험을 하다보면 뭔가 쌓이는 느낌도 들고요.

검색 및 기계학습 모델이 아무리 복잡해도 결국은 수학이나 통계 이론의 응용에 지나지 않으니까요. 이런 의미에서 기초를 철저히 하는 것은 아무리 강조해도 지나치지 않을 것 같습니다. 저는 졸업한 요즘도 하루에 한 시간씩은 배운 것을 복습하는 데 써요. 마지막으로, 아직 초창기인 만큼 시장의 파이는 계속 커져가고 있는 추세이고, 데이터가 중요하지 않았던 영역에서 신기술이 도입되는 사례가 계속 나오고 있습니다. 결국 꾸준히 좋은 기회가 있을 것이라고 생각합니다. 이미 남들이 다 해놓은 것을 좆아가는 것이 아니라, 다른 사람이 따라올 수 있는 길을 닦고 지도를 만든다는 보람도 있고요.

앞선 기고에서 미국 IT 산업의 힘을 순수과학, 즉 물리-수학 등 기초학문의 발전과 궤를 함께 한다고 했습니다. 빅데이터 영역은 이와 어떤 상관 관계를 갖고 있는지 궁금합니다.

사실 데이터 사이언스의 거의 전 분야가 수학에 기초를 두고 있습니다. 우선 데이터 사이언스는 데이터에서 패턴을 찾고 이에 근거한 의사결정을 내리는 데 목적이 있습니다. 따라서 통계학의 현대적 계승자라고 해도 과언이 아닐테고, 이를 구현하는 데 필요한 컴퓨터 사이언스는 수학의 여러 분야와 관련이 있죠. 예컨데 데이터베이스나 알고리즘은 이산수학과, 또한 기계학습이나 수치해석 등은 전통적인 통계학과 대수학, 미적분학의 만남이라고 말할 수 있습니다.

빅데이터만을 놓고 살펴보면, 시스템 인프라 측면에서는 알고리즘이나 최적화 기법이 관련이 있을 거구요. 데이터 분석에서는 수학과 통게학, 마지막으로 사용자 인터페이스 및 시각화 역시 관련 학문이 존재하고요. 물론 빅데이터 관련 종사자가 모두 이런 백그라운드를 갖춰야 하는 것은 아니겠지만, 실제로 데이터 분석이나 모델링을 하다보면 기존에 존재하는 알고리즘을 제대로 활용하기 위해서도 상당한 수준의 이해가 필요함을 느낍니다.

예 컨데 세상에 수십 가지의 분류 알고리즘이 알려져 있지만 이중 무엇을 써야 할지, 성능이 제대로 나오지 않을 경우 이를 어떻게 해결해야 할지를 파악하려면 데이터 및 알고리즘의 특성을 정확히 이해하고 있어야 할테니까요. 꼭 맞는 알고리즘을 찾을 수 없을 때도 종종 생깁니다. 이때 기존의 기법을 적당히 변형하거나 조합하는 일도 깊이있는 이해 없이는 불가능할 거구요.

미국 대학에서 IT 공부와 한국 대학에서 IT 공부와 가장 차이가 났던 점은 무엇인가요?

미국과 한국 대학의 전반적인 차이에 대해 논하자면, 저는 학생과 교수의 수평적 관계, 학생들의 적극적인 태도를 꼽고 싶어요. 우선 권위의식이 별로 없는 미국 사회의 특성 때문인지 미국에서는 교수님을 대하기가 참 편했던 것 같습니다. ‘교수님’이라는 호칭 대신에 서로 ‘퍼스트 네임’을 부르면서 격의없이 의견을 개진하고 피드백을 받을 수 있었거든요. 처음에는 그냥 신기하게 생각되는 정도였지만, 이런 훈련이 나중에는 어떤 상황에서도 주눅들지 않고 자기 표현을 할 수 있는 능력을 길러준 것 같아요.

이 와 비슷한 맥락에서 주변 학생들의 태도 역시 한국에서보다는 훨씬 적극적이었고, 여기서도 긍정적인 자극을 많이 받았던 것 같아요. 수업을 들을 때도 가만히 앉아 있다보면 놓치는 부분이 많을텐데, 주변에서 자꾸 질문을 하니 비판적으로 생각하는 훈련을 하게 되었고요. 그러다보면 스스로도 적극적으로 참여하는 자신을 발견하게 되죠. 이외에 컨퍼런스 논문이 중시되는 컴퓨터 사이언스 분야의 특성상, 매년 몇차례 논문 발표를 통해 세계 여러 곳의 학자들과 교류할 수 있었던 점도 배움에는 엄청난 자극이 되었고요.

하 지만 한국에 존재하는 여러가지 배움의 기회들이 이보다 못하다고 생각하지는 않아요. 요즘 젊은 교수님들은 별로 권위의식이 없다는 인상을 많이 받았고요. 학생들도 예전보다는 적극적인 것 같으니, 교수님과의 관계 및 수업참여는 개인이 하기 나름 아닐까요? 학회 참여 역시 개인의 노력에 따라 결정되는 문제고요. 한국에서도 좋은 논문을 쓰시는 분을 많이 뵈었습니다. 해외 유학은 이루 말할 수 없는 개인과 주변의 희생을 전제하기 때문에, 정말 필요한 경우가 아닌 이상 꼭 권해드리고 싶지는 않아요. 아래 제 예전 블로그에 컴퓨터 사어언스 유학을 주제로 했던 세미나 영상이 있습니다(http://lifidea.tistory.com/).

미국에서 데이터 전문가로서 취업할 때 가장 핵심이 되었던 부분은 무엇인가요?

사람마다 다르겠지만 제 경우는 대학원을 졸업하고 취업 준비를 할 때, 연구 백그라운드에 더해서 코딩 스킬을 보여줘야 하는 과제가 있었어요. 원래 프로그램 개발에 취미가 있었고, 학교에서도 꾸준히 프로그래밍을 하긴 했지만, 주어진 시간에 긴장을 극복하고 알고리즘 문제를 푸는 것은 다른 문제라, 실제와 비슷한 상황을 만들어놓고 연습을 하는 것이 도움이 되었던 것 같습니다. (관련글: http://goo.gl/L69MF)

또한 유학 생활을 통해 익힌 언어와 문화적 적응도 큰 도움이 되었죠. 가끔 한국이나 다른 나라에서 미국으로 바로 취업하는 분들을 보면 미국 문화에 여러가지로 적응하는 데 시간이 걸리는 것을 볼 수가 있었어요. 제 경우 유학 생활에 경험한 여러가지가 인터뷰 및 초기 적응에 많은 도움을 주고 있는 것 같아요. 예를 들어 미국에서는 자기 의사를 정확히 표현하고, 자신있는 부분을 당당하게 이야기하는 태도가 미덕으로 평가받는데요. 한국적 사고방식으로는 적응하기 힘든 부분이죠 (관련글: http://goo.gl/PYMH8 / http://goo.gl/bRFcf).

미국에서 데이터 전문가들의 연봉이 매우 높다고 알려졌습니다. 실제 취업한 경험자 입장에서 볼 때 피부에 와닿을 정도로 차이가 나는가요?

제가 소프트웨어 회사에 있으니 개발자 기준으로 말씀드릴 게요. 저는 한국에서도 개발자 생활을 3년 정도 했어요. 미국에서도 개발자의 연봉은 학위와 경력에 따라 결정돼요. 물론 개발자는 미국에서도 비교적 고소득자에 속하기 때문에, 절대금액으로는 한국보다는 좋은 대우를 받는 것 같습니다. 데이터 전문가라고 해서 특별히 급여가 다른 것은 아니고요. 단지 학위가 인정되어 평균적으로는 상급 개발자 수준이라고 할까요.

하지만 개발자로 처음부터 시작했다면 아마 비슷한 수준의 연봉에 도달했을테니, 지금까지 한 공부는 연봉보다는 업무 성격의 차이에서 그 의미를 찾아야 한다고 생각해요. 개발이 천직인 분도 있겠지만, 저는 데이터 분석에 처음부터 관심이 많았어요. 이를 뒷받침하는 학문적 기초와 연구 경험을 대학원에서 쌓을 수 있었거든요.

한국에서는 프로그래머나 전산 담당자들이 업무 강도가 높으면서도 합당한 대우를 받지 못한다는 의견이 있습니다. 미국 현지 개발자로 생활하면서 느낌 점이나 한국의 개발자 대우에 대한 느꼈던 점이 있었을 것 같습니다.

앞서 잠깐 언급했지만 한국과는 달리 미국에서는 개발자라는 직군이 선호도나 연봉 측면에서 상위권에 속합니다. 여기에는 어떤 차이가 있을까 저도 생각해본 적이 있는데, 아마도 혁신을 주도하는 좋은 회사가 지속적으로 나와 주었다는 점이 결정적인 차이라고 생각합니다. 미국 IT 기업의 흥망을 살펴보면 스타트업이 새로운 제품이나 서비스를 만들고, 나중에 더 크게 성공하거나 기존 회사에 인수되는 경우가 많았잫아요. 애플의 아이폰 등의 개발은 예외이지만요.

이렇게 좋은 회사가 계속 나와주고, 여기 참여한 사람들의 성공담이 알려지다 보면 당연히 사회적으로 좋은 인재가 많이 몰리고, 이에 계속 산업이 성장하는 선순환이 완성되는 것 같아요. 또한 구글과 마이크로소프트 같은 선도적인 IT 기업이 엄청난 이윤을 거두면서 직원들에 대한 처우를 계속 높이다보면, 다른 기업에서도 이를 따라할 수밖에 없는 상황을 만들고요. 그러다보면 직군 전체의 소득 수준이 올라가게 되는 경우도 있을거구요.

데이터 분석가의 진로를 선택하기 위해 석-박사 학위가 필요하다고 생각하나요?

이 또한 앞의 질문과 연관지어 말씀드릴 수 있을 것 같아요. 사실 대학원에서 얻을 수 있는 가치는 유형의 배움보다는 무형의 경험이 크다고 생각합니다. 왜냐하면 유형의 테크닉과 지식 자체는 대부분 공개돼 있기 때문에 누구나 충분한 시간과 노력을 들인다면 배울 수 있거든요. 하지만 생업에 바쁜 대부분의 사람들에게 이는 쉬운 문제가 아니기 때문에 공부에 전념할 수 있는 대학원이라는 환경이 가치가 있는 것이겠죠. 자신이 선택한 분야의 이론적인 지식 이외에도 대학원에서 얻는 것은 스스로 생각하는 능력, 학계 및 관련 업계의 네트워크, 커뮤니케이션 스킬 등이 있으니 하고싶은 분야가 분명하신 분들께는 대학원 공부를 추천하고 싶어요.

기존 RDB 전문가들이 데이터 분석이나 빅데이터 영역으로 관심을 확대할 수 있는 좋은 방법이 있다면 소개를 부탁드립니다.

우선은 빅데이터나 데이터 사이언스 같은 용어에 너무 현혹될 필요는 없다고 말씀드리고 싶어요. ‘하늘아래 새로운 것은 없다’는 말을 인용하지 않더라도, 이런 개념들이 기존의 데이터 관리 및 분석 업무와 근본적으로 다른 무언가를 의미하지는 않는다고 생각하거든요. 예컨데 정보검색과 데이터베이스 기술을 비교해보아도, 저장되는 데이터나 질의어의 구조화 여부, 결과의 확정성, 인터페이스 등의 차이는 있지만 결국 정보 관리 및 질의라는 관점에서 보면 같은 이야기입니다. 또한 대부분의 시스템에서 통합적으로 필요한 기술이기도 하고요.

지난번 기고에서도 소개했지만, 자기 도메인과 당면한 과제에 대해 충분히 고민해보지 않고 유행하는 ‘테크닉’을 따라하는 것은 그리 권장하고 싶지 않습니다. 하지만 충분한 고민끝에 새로운 기술을 도입해야 할 시점이라면 앞의 답변에서 소개한대로 우선 어느 정도의 수학이나 통계 등 기본 소양을 쌓은 후에, 해당 분야에 맞는 기술 도입을 검토해보는 것이 순서라고 생각합니다. 이밖에 데이터 전문가의 소양으로 이야기되는 시각화를 통한 커뮤니케이션 능력이나 비즈니스에 대한 이해는 기존 RDB 전문가 분들에게 새로울 것은 없다고 생각합니다.

‘빅데이터 시대에는 이런 전문가들이 각광받을 것이다’라고 정의했을 때, 어떤 부류의 전문가들인지 예와 함께 그 이유를 소개해 주세요.

우리나라에서도 안철수 교수님 등의 영향으로 ‘융합’이라는 말이 유행지만, 빅데이터 시대 전문가의 미덕이라고 할 것 같으면 자신의 도메인에 대한 전문성을 바탕으로 문제 해결에 필요한 연관분야의 지식까지 춘 융합형 전문가가 되어야 할 것이라는 생각이 드네요. 예컨데 통계학자를 겸한 도메인 전문가, 그래픽 디자이너를 겸한 저널리스트 등이 이런 전문가의 예라고 할 수 있겠네요.

널 리 알려진 데이터 사이언티스트의 정의를 보아도 수학 및 통계, 프로그래밍, 도메인 지식의 삼박자를 갖야 한다는 점을 언급하고 있습니다. 하지만 한 개인이 이 모든 분야의 전문성을 갖춘다는 것은 불가능에 가까울테니, 주변의 전문가와 소통과 협력을 통해 결과를 끌어내는 능력도 필요할 테구요.

한국은 일부 기간통신사업자나 공공기관, 거대그룹사를 제외하곤 당장 빅데이터가 필요 없을 거라는 의견도 많습니다.

앞서 밝혔듯이 빅데이터 관련 기술의 도입은 조직의 당면 문제에 대한 이해에서 출발해야 한다고 봅니다. 대기업의 경우에도 데이터 및 요구사항의 특성상 데이터베이스 등으로 충분히 대응가능한 경우도 있을 거구요. 오히려 온라인 서비스를 하는 스타트업에서 빅데이터 관련 기술을 유용하게 쓰는 경우도 많이 보았습니다.

이처럼 빅데이터가 필요한 곳은 일부분이라고 보지만, 오히려 데이터 사이언스의 이해와 도입, 즉 데이터 기반의 의사결정을 내릴 수 있는 인프라와 노하우를 쌓은 것은 선택이 아닌 필수라고 생각합니다. 데이터 수집 및 축적이 점점 쉬워지고 있는 상황에서 데이터를 통해 경쟁력을 꾸준히 높여가는 조직과 그렇지 않은 조직 간에는 점점 더 차이가 벌어질 것이라고 생각해요. 최종의사결정권자의 직관에만 의지해서는 오류의 가능성도 있고, 구성원의 진심어린 동의를 끌어내기도 어려울 테니까요.

빅데이터 시대의 결과물로서 ‘음성비서‘ 서비스를 예로 드는 경우를 많이 볼 수 있는데, 향후 예상되는 새로운 서비스가 있다면 소개해 주세요.

저는 원래부터 개인 정보의 효과적인 응용이 가져다주는 가능성에 관심이 많아서 그런지 개인 삶 전반을 이해하고 관리해주는 지능형 비서가 앞으로 굉장히 각광받을 거라는 생각이 듭니다. 지금 제한된 정보를 갖고 정해진 기능만을 수행하는 애플의 ‘시리’ 같은 서비스가, 각 사용자의 모든 취향과 행동 패턴을 이해하고 이에 기반한 도움을 줄 수 있다면, 각자의 삶이 훨씬 편리해지고 스스로 더 똑똑해진 느낌을 받을 수 있지 않을까요? 이미 많은 웹서비스가 나와서 기존 산업을 바꾸고 있지만, 아직도 온라인화할 수 있는 영역은 무궁무진한 것 같습니다. 다양한 산업 분야에서 지속적인 혁신이 있을 거라고 생각합니다.

빅데이터에 관심을 가진 사람들이 꼭 봐야 할 책이나 온라인 자료 등이 있다면 소개를 바랍니다.

우선 빅데이터 분야의 지식 전달에 앞장서고 있는 ‘오라일리’의 여러 백서나, 빅데이터 트렌드를 선도하는 스트라타 컨퍼런스의 자료(http://strataconf.com/)를 참고하라고 당부하고 싶습니다. 통계나 기계학습 쪽의 기반 지식을 갖추는 데는 관련 책과 함께 미국 유수의 대학에서 제공하는 온라인 강의 자료를 추천하고 싶네요. 특히 온라인 Q&A 사이트인 Quora에 빅데이터 관련 의미있는 질의응답이 많이 올라와 있어요.

정보검색에 대해서는 제가 관리하는 관련자료 모임이 있고요( http://goo.gl/17rnl ). 제가 최근에 한국을 방문했을 때, 데이터 사이언스 관련 분야에 종사하는 분들과 만나뵙는 자리가 있었어요. 제 블로그에 발표자료 및 후기를 올려 놓았습니다 (http://goo.gl/v2Dh5 ).

마지막으로 늘 제한된 시간을 어떻게 잘 활용할지를 놓고 늘 고민하는 IT 전문가들에게시간, 일정, 업무관리 경험을 소개해 주세요.

시간관리라면 덮어놓고 책부터 사서 따라하는 분들이 많을거 같은데요. 저는 백이면 백 명이 모두 방법이 다를 수 있는 것이 시간관리라고 생각해요. 그런 의미에서 저는 우선 자신의 시간관리 실태(?)를 측정해보시라고 말씀드리고 싶어요. 저는 이를 위해 과거예 몇차례 프로그램을 개발했지만, 이 역시 존재하는 툴, 즉 엑셀과 R만 잘 조합해도 충분히 효과적인 분석을 해낼 수 있습니다. 이렇게 분석하다보면 자신이 언제 생산성이 높은지, 주로 시간을 낭비하는 경우는 어떤 때인지를 정확히 아실 수 있을 겁니다.

측정을 통해 문제 및 개선점이 도출되면 이를 실천해보고, 주기적으로 다시 측정을 통해 얼마다 효과를 거두었는지를 확인해볼 수 있겠죠. 처음 솔루션이 효과를 거두지 못하더라도  언젠가는 효과를 보실 수 있을 겁니다. 이 과정에서는 존재하는 도구나 방법론을 적당히 참고하셔도 좋을 것입니다. 저는 역시 측정에 기반을 둔 Pomodoro 테크닉을 추천하고 싶네요.

요약하면 자신을 대상으로 한 끊임없는 관찰과 실험이 핵심이라고 하겠습니다. 시간관리의 과학화라고나 할까요? 사실 이런 접근은 삶의 모든 부분에 적용될 수 있고, <재능은 어떻게 단련되는가?>와 같은 책을 보면 분야를 막론하고 정상에 선 사람들은 대부분 이런식으로 꾸준히 자신을 연마하는 공통점을 지닌다는 것을 알 수 있습니다. 우선 뚜렷한 의지를 갖추고, 나아갈 곳을 정확히 알려주는 데이터의 힘을 활용한다면 뭐든 이룰 수 있지 않을까요?

———–

기술 업계에서는 매년 수많은 유행어(buzz word)가 명멸하지만 ‘데이터 사이언스’라는 말은 등장한지 몇년이 지난 후에도 계속 참여 업체 수와 컨퍼런스가 늘어나면서 하나의 ‘현상’으로 자리매김하고 있다. 데이터의 양이 2년마다 두 배로 늘어난다는 각종 리포트와 함께 데이터에서 가치 창출 업무의 중요성이 부각되며 ‘데이터가 이시대의 원유’라는 말까지 나왔다.

‘현상’으로 자리 잡은 데이터 사이언스

잘 알려진 대로, 데이터 사이언스라는 용어는 흔히 ‘빅데이터’라는 대용량 데이터 처리에 대한 관심 확대와 함께 널리 사용되고 있다. 이는 2000년대 초반, 구글과 야후를 비롯한 온라인 서비스 회사에서 개발한 하둡(Hadoop)과 같은 데이터 처리 기술이 다른 분야에까지 널리 퍼지면서 나타난 현상이다.더불어 스마트폰 대중화로 인해 언제 어디서나 데이터를 접하고 생산할 수 있게 된 것도, 일반 사용자 입장에서는 중요한 변화다.

데이터 사이언스 현상을 얼핏 보면, 이렇게 눈에 보이는 기술적인 발달을 중심으로 해석하기가쉽다. 대용량 데이터를 수집·가공·분석해 가치있는 결과를 끌어내는 데에는 인프라, 분석, 시각화에 이르기까지 다양한 기술이 필요하다. 스마트폰의 대중화 역시 포터블 하드웨어/소프트웨어 기술의 발달로 가능했다. 실제 이런 기술이 없었다면 지금과 같은 ‘붐’이 일어날 수 없었을 것이다.

하지만 이런 기술적 진보가 ‘데이터 사이언스 현상’의 본질을 꿰뚫고 있는지는 다시 한번 생각해볼 문제다. 몇몇 최신기술을 도입만 하면 우리나라도 데이터 사이언스 선진국이 될 수 있을까? 전문 인력 몇명을 고용하면 ‘데이터 중심 조직’이 되는 걸까? 만약 그렇지 않다면 어떤 요소가 더 필요한 걸까? 이런 변화가 개인에게 갖는 의미는 무엇인가?

이 글에서는 데이터 사이언스의 종주국이라고 할만한 미국의 사례를 바탕으로 앞 질문에 대한 해답을 찾아보려 한다. 지난 5여 년간 필자의 경험을 바탕으로, 데이터 사이언스는 특정한 기술의 집합이라기보다는, 미국이라는 사회 경제적인 토양에서 탄생·성장한 생태계에 가깝다는 결론에 이르렀다. 이는 기술과 조직 문화, 산업계와 학계 등을 아우르는 종합적인 개념이다. 그리고 데이터 사이언스를 제대로 구현하기 위해서는 이런 생태계에 대한 이해가 필수적이다.

지금부터는온라인 서비스 기업, 데이터 솔루션 기업, 스타트업, 학계 순서로 미국의 데이터 사이언스 생태계의 각 구성요소를 살펴본다.

온라인 기업: 데이터 사이언스 기술개발 주도

우선 데이터 사이언스 혹은 빅데이터 처리와 관련된 대부분의 기술적 혁신이 시작된 구글, 야후, MS, 아마존, 페이스북, 링크드인, 트위터 같은 주요 온라인 기업의 역할을 살펴보자. 이 기업들의 공통점은 우선 현재 기술로 감당하기 힘들 정도의 대용량 데이터 처리를 주 업무로 한다.구글과 빙(Microsoft Bing)이 검색해주는 웹 문서의 양, 페이스북과 트위터가 보유한 사용자 수를 생각해보면 이들 데이터의 규모를 상상할 수 있다.

이 기업들은 최고(state-of-the-art)의 기술 역량을 자랑하지만 데이터의 용량 및 변화속도는 점차 방대해지고 빨라지고, 데이터에서 얼마큼의 가치를 뽑아내느냐에 따라 그 경쟁력이 결정되기때문에, 지속적으로 신기술을 개발해야 한다. 웹 검색 시장을 예로 들어보자. 최근 몇 년간 구글과 MS는 검색 데이터의 양을 늘리고 검색 품질을 개선하는데 노력을 기울여 왔으며, 이런 경쟁은 대용량 데이터의 저장, 처리 및 분석을 위한 다양한 기반 기술의 등장과 발전을 가져왔다.

이 회사들이 개발한 기술은 특허로 보호받거나 외부에 공개되지 않는 경우가 대부분이지만, 경우에 따라 개발한 기술을 오픈소스로 공개하거나, 관련 논문을 발표해 기술 확산에 기여하기도 한다. 실제 검색 및 데이터마이닝 학회에 가보면, 이들 기업에서 나온 논문(http://research.microsoft.com/en-us/)이상당수에 달한다. 기술을외부에 공개해 기술 리더십을 공고히 함으로써, 기업가치 및 인력채용에 도움을 받는 모습이다. 한가지 특이한 점은, 이런 회사들이 기술적 리더십만큼이나 조직 문화라는 관점에서도 변화를 주도하고 있다는 점이다. 정도나 성격의 차이는 있지만 이들 기업의 대부분이 수평적 조직구조와 함께 데이터에 기반한 의사결정 및 기민한 조직문화를 조직 운영의 근간으로 하고 있다. 재미있는 것은 이런 조직문화를 경쟁력의 주요 요인으로 꼽는 견해가 많다는 점이다.

예컨대 데이터 사이언스의 대표격이라고 할 수 있는 웹 검색 회사에서 발표된 논문(http://research.google.com/pubs/pub36500.html)에는 구체적인 기술만큼이나 기술의 운영이나 조직 문화와 관련된 부분이 많다. 이들 논문을 읽어보면, 새 기술의 적용 여부를 판단하기 위해 사용자 트레픽의 일부를 활용하는 A/B테스트와 같은 기술이 효과적으로활용되기 위해서는 조직의 의사결정의 축이 완전히 데이터 중심으로 바뀌어야 함을 알 수 있다. 실제 사용자 트래픽을 통해 실험한 결과를 의사결정권자가 무시하는 일이 반복된다면 데이터 수집과 분석 과정이 낭비에 지나지 않을 것이기 때문이다.

또한 많은 경우 데이터 분석을 위한 전문 인력 (Data Scientist)또는 팀을 보유하고 있다는 점도 특징이다. 구글의 수석 이코노미스트인 Hal Varian(http://wsdm2012.org/program/keynotes.html)은 검색 트렌드에서 거시경제 지표를 예측하는 내용의 연구를 발표한 바 있다.링크드인의 데이터 사이언스팀은 가입자 검색 및 그룹 추천 등의 기술 구현에 결정적인 역할을 수행했다. 이들 전문 인력은 데이터 처리, 분석, 시각화라는 전 영역에 걸친 전문성을 가졌다는 점에서, 특정 영역의 업무만을 담당하는 기존 인력과 구분된다.

빅데이터 솔루션 업계: 첨단기술 확산 주도

데이터 사이언스 생태계의 다른 축으로, 일반 기업에게 데이터 관련 솔루션을 제공하는 여러 업체를 빼놓을 수 없다. 여기에는 전통적인 데이터베이스 업체인 오라클 / 마이크로소프트 / IBM을 포함해 빅데이터 관련 솔루션을 전문으로 제공하는 클라우데라·MapR, 마지막으로 빅데이터 처리용 플랫폼을 서비스로 제공하는 Amazon Web Service의 아마존 / Windows Azure의 마이크로소프트 등을 들 수 있다.

업체마다 각각 다른 타깃 고객층과 접근법을 갖고 있지만, 이들은앞서 언급한 주요 온라인 기업 등에서 개발한 첨단 기술을 다른 기업과 산업으로 확산하는 역할을 한다. 생태계에 비유한다면 기반 기술이라는 종자를 널리 퍼뜨리는 나비나 벌 역할을 하는 것이다.

예컨데, 구글/야후에서 처음 개발된 하둡(Hadoop)과 같은 대용량 처리기술은 클라우데라 / MapR과 같은 솔루션 업체가 없었다면 이렇게까지 널리 확산되기 어려웠을 것이다.여기에 대한 더 자세한 소개는 최근에 발간된 시장조사 보고서(http://radar.oreilly.com/2012/01/big-data-ecosystem.html)를 참고하기 바란다.

스타트업 & 오픈소스 커뮤니티: 건강한 숲을 구성하는 잡목과 풀

온라인 기업의 기술이나 문화는 한국에도 비교적 잘 소개된 편이다. 하지만 미국의 데이터 사이언스 생태계를 떠받치는 다른 축으로 스타트업과 오픈소스 커뮤니티를 꼽는 경우는 흔하지 않다. 몇몇 대형 온라인 기업이 숲속의 거대한 나무 역할을 한다면, 수많은 스타트업과 오픈소스 커뮤니티는 숲을 구성하는 잡목과 풀 역할을 한다.

미국의 온라인 스타트업에는 여러 형태가 있지만, 그중에서 대용량 데이터 처리를 기반으로 하는 스타트업이 다수 존재한다. 사실 SNS등의 발달로 성공적인 서비스의 가입자가 기하급수적으로 늘어나는 현실을 고려하면, 대용량 데이터 처리의 노하우는 어느 온라인 기업에서도 무시할 수 없는 부분이다.

이중 데이터 사이언스 관점에서 주목할만한 기업으로, 최근 페이스북에 인수된 인스타그램(Instagram)이나 한국에도 잘 알려진 드롭박스(DropBox), 검색 분야에서는 개인 정보를 모아 검색해주는 그렙린(Greplin) 등이 있다. 이들의 특징은 공개된 기술과 자체 노하우를 접목해 엄청난 규모의 데이터를 얼마 안되는 인원과 자본으로 처리해 낸다는 점이다.

이제는 스타트업이라기에는 규모가 너무 커졌지만, 트위터의 검색 아키텍처에 대한 공식 블로그의 포스팅(http://engineering.twitter.com/2011/05/engineering-behind-twitters-new-search.html)을 보면, 처음에 MySQL과 Ruby on Rails를 결합한 솔루션으로 서비스를 시작했음을 알 수 있다.계속 늘어나는 사용자 리퀘스트와 데이터 용량을 수용하는 차원에서 Earlybird, Blender등의 자체 솔루션을 개발하여 대응하기에 이른다.

이와 함께 오픈소스 커뮤니티는 기업 혹은 개인이 개발한 수많은 기술 공유창구역할과 함께 스타트업이 성장하고 다시 커뮤니티에 기여할 수 있는 환경을 제공한다. 스타트업 창업자 및 초기 맴버의 경우 오픈소스 커뮤니티 활동을 통해 인연을 맺는 경우도 많기에, 스타트업과 오픈소스는 불가분의 관계라고 할 수 있다.

야후의 내부 프로젝트로 시작된 하둡(Hadoop)이나, 페이스북이 개발·공개한 아파치 카산드라(Apache Cassandra) 등 유명한 오픈소스 프로젝트 중에는 기업체 프로젝트에서 시작된 것이 많다. 기타 트위터, 링크드인을 비롯한 많은 회사들도 오픈소스 활동에 동참하고 있다.

기초과학 및 공학 교육, 연구기관: 데이터 사이언스의 터전

마지막으로 이 모든 조직이 필요로하는 인력을 양성하고, 기초과학을 발전시키는 학문적 환경에 대한 언급이 빠질 수 없다. 좋은 토양에서 다양한 유기체가 번성할 수 있듯이, 건강한 학문적 토양이야말로 데이터 사이언스 ‘문화’가 꽃피울 수 있는 터전이기 때문이다.

우선 미국이 데이터 사이언스 종주국으로 자리매김하게 된 데에는 세계 최고 수준의 기초과학 및 공학 교육 인프라의 역할이 컸다. 대부분의 학과에서 자국인의 비율이 절반이 되지 않을 정도로 미국뿐 아니라 전 세계의 젊은이들이 미국의 교육기관을 점령하고 있으며, 또한 졸업 후에 미국에서 자리를 잡기를 희망한다. 그야말로 고급 기술인력의 블랙홀 역할을 하는 것이다.

대학원 및 각종 연구기관 역시 산업계와 협력해 신기술 개발 및 확산에 큰 역할을 하고 있다. 데이터 사이언스와 직접 관련된 컴퓨터과학 및 통계학뿐 아니라 대부분의 기초과학 분야에서 미국 학계가 주도권을 쥐고 새로운 연구결과를 쏟아내고 있다. 이러한 연구 결과가 논문이나 기술 이전의 형태로 직접 산업계에 활용되는 것은 드문 일이 아니다.또한, 산업계에서는 인턴 및 정규직 모집 시에 이런 연구경험이 있는 인재를 적극 채용하고 있다.

미국의 데이터 사이언스 따라잡기 – 사회

지금까지 미국의 데이터 사이언스 생태계를 대기업, 스타트업 및 오픈소스 커뮤니티, 학문적 토양의 순서로 살펴보았다. 요약하면 미국의 데이터 사이언스 현상은 기술과 조직문화, 산업계와 학계간의 어우러짐이 이루어낸 복합체다. 따라서 이를 단지 받아들이고 흉내 내는 것에서 벗어나 장기적인 안목에서 우리만의 ‘생태계’를 만들어야 한다는 것이다.

물론 토양, 작은 유기체, 큰 나무까지 모두 조화를 이루는 생태계를 만드는 일에는 오랜 노력과 투자가 뒤따라야 한다. 우선적으로 우수 인력을 양성할 수 있는 교육제도 마련과 더불어 스타트업 및 오픈소스 활동이 활발히 일어날 수 있는 환경이 필요하다. 적어도 컴퓨터 관련 학과에서 ‘스펙’을 쌓는다는 의미가, 창업과 자발적인 개발활동을 하는 것으로 바뀐다면 가능하지 않을까 생각해 본다. 또한 대기업에서 기술 수입과 아울러, 이를 운용하는 자세와 조직 문화까지 배우려는 태도가 필요한 시점이다.

데이터 사이언스 따라잡기 – 조직

지금까지 주로 사회적 관점에서 데이터 사이언스 현상을 살펴보았다. 그렇다면 개별 조직의 관점에서는 어떨까? 관련 솔루션을 그대로 도입함으로써 데이터 사이언스를 구현할 수 있을까? 필자는 그렇지 않다고 생각한다. 데이터 사이언스를 성공적으로 구현하기 위해서는, 주어진 문제와 데이터의 성격에 맞는 모델과 시스템을 사용해야 하는데, 이는 주어진 솔루션을 그대로 도입하는 식으로 해결하기 힘든 경우가 많기 때문이다. 앞서 언급한 트위터의 사례처럼, 처음에는 적합한 외부 솔루션을 찾을 수 있다고 하더라도, 데이터의 양이나 성격의 변화로 인해 추가적인 개발이 필요한 경우가 많다.

앞서 주요 온라인 기업 사례에서 잠깐 소개했지만, 어떤 조직에 데이터 사이언스를 구현한다는 것은, 의사결정권자의 주관이 아니라 데이터에 기반한 추론에 의해 의사결정이 내려짐을 의미한다. 그런 의미에서 데이터 사이언스 도입은 기술보다는 ‘문화’의 문제다. 우선 지금 가능한 인프라를 활용해데이터를 수집하고 이를 의사결정에 응용해본 후에, 필요한 경우에만 빅데이터 솔루션 등에 투자하는 것이 낭비를 막을 수 있는 방법이다.

솔루션 도입에 있어서도오라클이나 IBM, EMC 등에서 내놓은 고가의 상용 솔루션 뿐만 아니라, 클라우데라, MapR등의 무료 솔루션 혹은 아마존 Web Service등의 호스팅 서비스 등 다양한 옵션을 고려해야 할 것이다. 효과적인 선택을 위해서는 데이터의 규모, 보안 요구사항, 처리 내용의 전화 등등 다양한 고려사항이 존재한다.

데이터 사이언스 따라잡기 – 개인

데이터 사이언스는 주로 조직 차원의 논의로 다루어지기에, 개인을 위한 데이터 사이언스라는 개념이 생소한 독자가 많을 것이다.하지만, 스마트폰의 보급과 R등 오픈소스 분석 도구의 보급으로 모든 개인이 데이터 분석가의 역할을 하는 것이 가능해졌다. 이중 주목할만한 움직임은 개인의 삶에서 수집된 데이터를 가공 / 분석해 개인의 삶을 분석/개선하는데 활용하는 Self-Tracking이라는 기술 및 관련 커뮤니티의 발달이다.

이중 대표격인 Quantified Self라는 커뮤니티(http://quantifiedself.com/)는 지역별로 각 개인이 자신의 Self-Tracking사례를 정리해 발표하는 모임을 개최하고 있다. 여기서 버터 복용과 수학 문제 풀이 속도의 관계, 수면 시간과 행복도의 관계 등 다양한 사례가 소개되고 있다. 기업이 정보 시스템 도입을찰을 얻는 것이다. 필자는 약 10년동안 삶에서 여러가지 데이터를 추출하여 이를 분석하는 활동을 해왔고, 이를 블로그를 통해 소개한 바가 있다.

이런 개인적 데이터의 분석에는 빅데이터도, 최신 기계학습 기술도 들어가지 않지만, 각 개인이 자신의 문제를 해결하기 위해 찾아내는 해결책의 다양함을 보면 데이터 사이언스는 거창하고 복잡한 것이 아니라, 일상의 문제에 대한 과학적 해결책을 찾으려는 노력에서 시작함을 알 수 있다.또한, 이런 개인을 많이 보유한 조직은 변화하는 시대에 살아남을 수 있는 경쟁력을 확보하게 될 것이다

여행자의 삶

삶의 한 단계를 마무리하고 다음 단계를 시작하는 이런 시기에는 자신의 삶의 태도에 대해 되돌아보는 기회를 갖게 됩니다. 예전에 ‘줄서지 않는 삶’이라는 글을 쓴 적이 있는데, 최근에 삶의 태도로 자리매김한 부분이 있습니다. 저는 이를 ‘여행자의 삶’이라고 부르는데, 백팩 하나에 들어갈 정도의 짐만 가지고 여러 나라를 다니며 많은 경험을 하는 여행지들처럼, 더 이상 뺄 것이 없을 때까지 소유를 줄이고 대신에 존재의 질을 높이겠다는 결심입니다.

이번 이주를 하면서 이런 결심을 하게 되었습니다. 보통 사람들은 대학원을 마치고 제대로 된 직장을 구하면 살림의 규모를 키우고 지출을 늘립니다. 대학원때 받던 최저생계비 수준의 월급에서, (많은 경우) 중산층 혹은 그 이상의 소득을 올리게 되니 어찌보면 당연한 일입니다. 분명 물질이 가져다주는 행복이 있으니, 이런 선택에도 타당한 측면이 있습니다. 저도 결혼을 해서 가정을 꾸리게 되었다면 이런 선택을 했을지도 모르겠습니다.

뺄샘의 미학

하지만 저는 이번에 이사를 하면서, 삶에서 몇 가지를 더 빼기로 했습니다. 적어도 당분간은 차 없이 생활하기로 하고, 버스 출퇴근이 가능한 곳에 집을 구했습니다. 또한, 꼭 필요한 살림살이 이외에는 구입하지 않기로 하고, 침대나 청소기는 사지 않았습니다. 마지막으로, 집에 인터넷을 설치하지 않기로 했습니다. 어찌보면 대학원때보다도 더 소박한 생활입니다.

이들 각각의 선택은 삶에 어떤 의미의 ‘제약’을 가져옵니다. 차가 없으니 아무때나 회사나 쇼핑을 갈 수 없지만, 대신 버스 시간표에 맞추어 생활하고 차가 꼭 필요할 때에는 ZipCar를 이용합니다. 집에 침대도 없으니 누우려면 자리부터 펴야 합니다. 진공 청소기 대신에 마루바닥을 쓸고 걸레질을 하는 것으로 청소를 대신합니다. 마지막으로, 인터넷은 아이패드의 3G 연결을 사용하거나 집 근처에 나가서 사용합니다.

일부러 고생을 사서(?) 할 생각은 아니었지만 이런 선택에는 몇가지 이유가 있습니다. 우선, 이런 제약조건은 가능성을 의도적으로 제한함으로써 저에게 주어진 것에 최대한 집중할 수 있는 환경을 만들어 줍니다. 차가 없고 인터넷이 없으니, 어디를 가거나 온라인에서 무언가 할 때에는 한번에 몰아서 끝내야 하지만, 차량 및 요금 납부로 번거롭게 신경쓸 일도, 시간적인 낭비도 줄어드는 효과가 있습니다. 가구가 적은 집안도 청소가 간편하고 생산적인 일에 좀더 집중할 수 있는 환경을 제공합니다.

이렇게 단순화된 삶이 좀더 중요한 일에 사용할 수 있는 시간과 여유를 만들어주기를 기대해 봅니다. 선택의 가지수가 많을수록 각각에 집중하기 힘들고, 결국 어느 한가지에도 충분한 노력을 기울이기 힘들기 때문입니다. 이런 변화의 결과로 복잡한 환경에서 너무 많은 일을 벌려놓고 수습하기에 바빴던 예전의 모습이 바뀌기를 바래봅니다. 제한된 정신 에너지를 ‘소유’보다는 ‘존재’에 쏟을 수 있다면, 분명 존재의 질은 높아지리가 믿습니다.

덧샘과 뺄샘의 균형

제가 속세를 등지고 구도의 길에 오른 것은 아니니, 앞으로 계속 이런 노선을 고수할지는 모르겠습니다. 지금은 제가 설정한 여러가지 제약이 만족스럽지만, 앞으로 시간이 지나면 갑갑하게 느껴질지도 모릅니다. 어떤 이유에서건 지금은 삶에서 ‘뺄샘’을 해야할 때라고 느꼈지만, 나중에는 뺄샘과 덧샘의 균형점을 찾아가리라 믿습니다. 텅 빈 방에서 유난히 충만함을 느끼는 아침입니다.

박사학위
박사학위 자체가 생각만큼 대단한 것은 아니라고 여려 번 밝혔지만, 학위 심사를 마친 지금 생각해보니 그런 생각이 더 강해집니다. 박사 학위의 주제와 깊이는 학과  및 지도교수님과의 타협을 거친 결과물이며,  여기에는 연구실의 인력 및 지금 사정 등의 많은 요소가 관여하기 때문에, 졸업 논문의 품질이 학생의 연구자로서의 자질에 비례한다고 보기는 어렵습니다.

저의 경우에도, 교수님과 시작한 연구의 펀딩이 중간에 끊기면서, 연구 방향에도 조금 수정이 필요했었고 결국은 제가 꿈꾸었던 연구 목표를 100% 달성한 상태로 졸업 논문을 쓰지는 못하게 되었습니다. 반대로, 두번의 인턴 생활을 통해 했던 연구는 졸업 논문과는 무관하게 별도의 학회지에 출판되었습니다. 결국, 졸업 논문은 연구자로서 제가 그렸던 그림의 일부, 그것도 불완전한 일부가 된 것입니다.

하지만, 모든 대학원생의 목표인 ‘졸업논문 통과’라는 목표를 위해 달려오면서, 한가지 목표를 설정하고 많은 경험을 축적해온 것이 사실입니다. 졸업 논문이라는 구심점이 없었다면 이런 노력들이 산발적인 결과에 그쳤을지도 모릅니다. 따라서, 비록 완성된 형태는 아니라도 제가 대학원에서 했던 연구들이, 앞으로의 더 좋은 연구의 출발점이 될 수 있다고 믿습니다. 이런 의미에서 진부한 표현이지만, 졸업은 끝맺음보다는 시작으로서의 의미가 더 큰것 같습니다.

박사 연구주제 소개
이번에는 간단히 제 박사  연구주제 및 성과를 소개하면서, 제가 대학원 생활을 통해 느낀 점을 적어보겠습니다. 제 박사 논문의 제목은 ”개인 정보의 검색 및 평가기법”입니다. 개인 정보를 모아 검색해주는 소프트웨어도 있고 대부분 Platform에서도 검색이 지원되는데 (데스크톱 검색) , 이렇게 ‘개인 정보’라는 특정 영역을 대상으로 검색 및 평가기법을 개발한 것이 연구의 골자입니다. 제 블로그를 꾸준히 보신분은 아시겠지만, ‘개인정보 관리’라는 저 자신의 관심분야와 ‘검색’이라는 저희 연구실의 주력분야의 접점에 해당하는 주제입니다.

이미 다 되는 건데 왜 연구를 하느냐고 믈으신다면 (검색 연구를 한다고 하면 이런 분들이 많습니다;) 연구의 의의는 몇가지로 정리해볼 수 있습니다. 1) 본 연구는 특정 Application이나 Platform이 아니라, 개인정보라는 영역의 특성에 초점을 맞춥니다. 따라서, 연구의 결과물이 어떤 Platform에도 적용될 수 있고, 또한 개인정보와 비슷한 특성을 공유하는 인접 정역에도 활용이 가능합니다.

2) 개인정보의 검색을 위한 프로그램은 많지만, 개인정보의 검색이라는 주제는 ‘개인정보’라는 데이터의 특성상 연구 결과 및 데이터의 공유가 어려워,  활발히 연구되지 못했습니다. 본 연구에서 제안하는 평가기법은, 실제 개인정보 대신에, 개인 정보의 특성을 지닌 가상의(simulated) 개인정보를 사용하여 이런 문제를 극복했습니다. 저희가 개발한 평가기법 및 데이터가 작년 ECIR에서 열린 웍샴의 바탕이 되기도 하였습니다.

(쓰다보니 너무 전문적인 주제가 되는 것 같습니다. 정보검색 분야에 관심이 있으신 분이 아니라면 다음은 건너뛰셔도 됩니다. )

본 연구의 성과로, 우선 개인정보에 많이 나타나는 문서의 구조를 활용하는 검색 모델이 있습니다. 예컨데 이메일에는 <제목 / 내용 / 날짜 / 보내는이 / 받는이>라는 속성(field)이 존재합니다. 본 연구에서 제안한 검색모델은 이처럼 문서에 존재하는 속성을 질의어에서 자동으로 찾아서 검색 성능을 높이는 역할을 합니다.

에를 들어, 사용자가 “james 2011 meeting”이라는 질의어를 입력하면 시스템에서 이를 자동으로 “sender:james date:2011 title:meeting”으로 해석하여 검색 성능을 높이는 것입니다. 물론 이처럼 사용자의 질의 의도를 예측하는 과정에서 불확실성이 발생하기에, 확률을 사용하여 이를 모델링합니다.

위에서 개인 정보인 이메일을 예로 들었지만, 본 검색 모델은 실제로는 임의의 구조화된 데이터 및 문서에 적용이 가능한 기법이며, 실제로 영화(IMDB.com) 및 이력서(Monster.com) 데이터를 사용하여 BM25F등의 검색기법을 뛰어넘는 성능을 입증하였습니다. 즉, 개인 정보에서 시작한 연구지만, 활용 범위는 제품검색, 인물검색 등으로 훨씬 넓은 것입니다.

이외에도 저의 졸업논문의 주요 주제로, 사용자가 현재 보고 있는 문서와 관련된 문서를 추천하여 개인정보의 접근성을 높이는 모델과, 개인정보의 검색기법 평가를 위한 데이터를 생성하는 기법등이 있습니다. 더 관심이 있으신 분은 관련 논문과, 아래 Ph.D 세미나 동영상을 참고하시면 좋을 것 같습니다. (세미나는 심사를 통과한 논문의 내용을 학과 청중들에게 발표하는 자리입니다.)

마치며
예전에 졸업한 학생들이 ‘박사 학위를 받는 순간 더 똑똑해지는 줄 알았는데 그게 아니더라’는 농담을 하던 기억이 납니다. 세상에 많은 일이 그렇듯이, 학위라는 ‘형’을 얻는 순간 그에 걸맞는 ‘실’을 자동으로 갖추게되지는 않는다는 자각이 뼈아픕니다. 그런 자각으로 자신을 다스리고, 계속 절차탁마를 거듭하다 보면 언젠가 ‘박사’라는 칭호가 부끄럽지 않는 스스로를 발견하게 될 줄로 믿습니다.

집필 동기에 대한 저자의 말을 들어보면, 저자가 왜 ‘달인’들을 만나러 다녔는지를 알 수 있습니다: “진정한 인생론은 말보다는 실천에서 그 진가를 발휘한다. 인생을 이야기할 때, 어떤 이론을 내세우지 않더라도 그대로 하나의 인생론이 되어버리는 그런 인생, 그런 인생을 목표로 하는 사람들을 만났다.” 인생 자체가 인생론이 된다니, 듣기만 해도 공감이 가는 대목입니다. 저자가 말하는 달인의 비법들을 몇가지 소개합니다.

남이 가지 않은 길을 선택한다

‘줄 서지 않는 삶’이라는 저의 철학과도 맞닿는 부분이지만, ‘달인’들은 남들이 닦아놓은 길을 따라가기보다, 자신에게 맞는 길을 스스로 개척한 경우가 대부분이었습니다.

내가 만난 이들은 이상하게도 모두 열등생이었다. 원인은 달랐지만 ‘재미가 없어서’라는 말로 압축될 것 같다. 능력이 아니라 흥미가 없어 궤도를 벗어난 것이다. 그들은 자신의 열정을 바칠 수 있는 대상을 찾아다녔고, 일단 발견하면 엄청난 노력을 퍼부었다. 그리고, 그렇게 거침없이 나아가서 새로운 인생을 열어간 것이다.

“원숭이 재주는 앞으로 점점 더 발달할 것이다. 네가 후계가 1호가 되면 이 세상에서 제일인자가 되는 셈이다. 어떤 세계에서든 최고가 되는게 가장 좋다.” - 원숭이 곡예의 달인이 어린 시절 아버지에게 들은 이야기

철저한 기본기가 생명이다.

‘달인’이라는 이름에 걸맞게, 이들은 철저하게 기본기를 수양했습니다. 제대로된 기본기를 갖기 위해 몇년의 시간을 투자하는 것도, 안정적인 직장을 버리고 금전적 손해를 감수하며 외국으로 건너가는 일도 감수하였습니다.

스스로 몇 년 노력해서 칼을 곧게 갈 수 있으면 그때 다시 찾아오라고 하죠. 금속공예에서는 칼을 가는 것이 모든 테크닉의 기초예요. 정말 칼을 잘 갈 수 있으면 뭐든 다 할수 있다고 보시면 돼요. 잔정한 평면을 만들어낼 수 있으면 그만큼의 기술이 생기고 동시에 진정한 평면을 알아보는 눈도 가질 수 있거든요. 솜씨가 좋아지면 보는 눈도 좋아지니까요.

후쿠카와가 특별했던 것은 그렇게도 궁핍한 생활을 하면서도 200만 엔을 빌려서까지 미국에 나이프를 공부하러 간 사실이다. 나이프에 인생을 건 이상 본고장의 제작방법을 직접 눈으로 보고 와야겠다고 결심했기 때문이다.

이탈리아에서 뭘 배워왔기에 그렇게 되었냐는 질문을 받으면 정말 곤란하더라고요. 체계적인 기술이 있는 것도 아니고 숨겨진 비밀이 있는 것도 아니거든요. 결국 일류 자전거가 만들어져가는 과정을 날마다 제 눈으로 보고 직접 그 과정에 참여한 경험이 자연스럽게 제 기술이 된 것 같아요.

기술을 예술의 경지로 끌어올린다

어느정도 기술이 궤도에 오른 이후에도 이들은 끊임없이 수양을 거듭하여 더 높은 경지를 찾아나섭니다. 탄탄한 기본기에, 열정이 창의성에 불을 붙이며, 시작은  기술자지만 결국 예술가의 경지에 오르는 것입니다.

미국에서 무수한 나이프 걸작을 본 뒤에야 나이프 속에 숨겨진 그 깊이를 알 수 있었어요. 그때까지 나이프는 실용성을 중심으로 생각했었는데, 실용성 이상의 미적 감각이 없으면 정말로 좋은 나이프가 될 수 없겠더라고요. 이 정도까지 도달하려면 기술이 문제가 아니라, 스스로 자신을 닦아가야 하는 거예요. 왜 항상 험난한 길을 왔냐구요? 나이프를 만드는 것도 그렇고요, 쉽게 하는 것은 싫었어요. 쉬운 건 항상 타협을 불러오거든요. 타협이 싫어요.

정말 칼을 잘 쓸 정도가 되면 칼을 사용하는 감각이 없어져요. 칼과 손끝이 하나가 되어야 하거든요. 칼과 손가락이 하나가 되어 칼의 존재를 잊어버리고 손끝으로 자른다는 느낌이라 해도 좋고, 칼날 끝에 손끝과 같은 감촉이 있다고 해도 좋아요. 그렇게 하면 칼로 자르는게 아니라 잘라야 할 부분에 칼이 빨려 들어가는 느낌이 들죠. 칼이 혼자 자연스럽게 움직이고 손은 뒤에서 쫒아가는 느낌이라 해야 할까요.

그의 요리는 날마다 새로운 도전이었고, 새로운 창조였어요. 그날의 재료를 앞에 두고 이걸 어떻게 하면 좋은 요리가 나올지 날마다 죽기살기로 생각해서 새로운 요리를 만들어내더라고요. 물론 메뉴에 표준 요리가 있지만, 레스토랑도 요리사도 진정한 승부는 그날 그날의 특별 요리에서 판가름이 나요.

멘토를 만들고 신뢰를 쌓는다.

아무리 기술이 뛰어나도 혼자서는 인정받을 수 없는 것이 세상 이치입니다. 여기 소개된 달인들은 주변에서 멘토를 만들고, 이들의 신뢰를 받아 더 높은 도약의 계기를 잡은 사람들입니다.

저를 뺀 기술자 네 사람 전원이 미리 짜고 정육점을 나갔어요. 하지만, 저는 전무의 인품에 감복해 있던 때라 그럴 수 없다며 남아 있었죠. 다음 날부터 얼마간은 혼자 다섯 사람 몫을 해치웠죠. 이를 계기로 모리야스는 전무에게 인정을 받고, 전무는 직원을 충원한 이후에도 모리야스를 점장을 발탁한다.

나는 달인이 될 수 있을까?

대학원 생활은 얼핏 달인들의 수양과정과 비슷한 점이 많습니다. 교수님이라는 멘토의 지도하에, 특정 분야를 기본기부터 다시 배우고, 자신의 분야에 혁신을 가져올 수 있는 연구를 수행하는 과정이기 때문입니다.이렇게 한 분야에 깊이를 갖출 수 있는 시기는 다시 돌아오지 않기에, 전문가로 성장하고자 하는 사람에게 대학원 생활은 매우 중요한 의미를 지닐 것입니다.

지은이는 자신이 정한 분야에서 충분한 기본기를 닦고 본격적으로 세상에 나아가기 전까지를 ‘수수꺠끼의 공백시대’라고 표현하는데, 대학원 생활이 바로 그런 시기라고 할 수 있을 것 같습니다. 마지막으로 지은이의 말을 빌리자면, 언젠가 찾아올 자신의 출범을 무모한 모험으로 만드는가, 아니면 과감한 도전으로 만드는가는 수수꺠끼의 공백시대를 어떻게 보냈느냐에 따라 결정되는 것이 아닐까요?