우승이의 블로그

Hadoop 기반의 오픈소스 프로젝트

우승 — Sun, 11 Oct 2009 20:35:12 +0900

Apache Hadoop의 저변이 점점 확대되어가고 있습니다. 최근 클라우딩 컴퓨팅에 대한 국내 기업들의 관심이 높아지면서 덩달아 주목을 받고는 있지만 국내의 클라우딩 컴퓨팅이라는 것이 서버, 스토리지 Virtualization 에 보다 관심이 많기 때문에 사실상 Hadoop 의 국내에서의 활용 예는 그리 많지는 않을 것 같습니다.. 네이버가 가장 잘 사용하고 있을 것이고 글쎄요 국내의 다른 기업에서는 실제 실무에 바로 적용하기 위해서 Hadoop 을 제대로 이해하고 활용하고 있는 예는 많지는 않을 것 같네요. 학계쪽에서 알고리즘이나 컴퓨팅과 관련해서 관심이 많아지고 논문들도 하나둘씩 나오는 것 같습니다.

아무튼 Hadoop 과 관련한 다양한 오픈소스 프로젝트에 대해서 정리를 해봐야지 하고 생각하고 있다가 간단히 마인드맵으로 정리를 해보았습니다. 물론 이외에도 Hadoop 기반의 많은 오픈소스 프로젝트들이 생겨나고 있고 차후에 업데이트를 해나갈 생각입니다.

자세한 내용들은 구글검색을 통해서 찾아보세요.

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

문득 일요일 아침에 드는 생각 ...

우승 — Sun, 23 Aug 2009 11:22:44 +0900

류한석의 피플웨어에 올라온 글을 읽다가 문득 생각나는 일이 있어서 적어봅니다. 왜 갑자기 이 생각이 났는지는 모르지만 글 중에 인용된 "아이들이 책을 읽지 않을 때 - 바보의 벽" 이라는 글을 읽다가 떠오르는 일이 있어서요

중학교때 3학년에 올라갔을 때 무척이나 내성적이고 소심했던 제가 사춘기를 겪고 있으면서 더 내성적이 되면 어떻하나 걱정이 되었는지 어머니께서 담임 선생님께 저의 성격을 고칠 수 있는 좋은 방법이 없을까 의논하셨던 것 같습니다. 당신 미술과목을 맡고 계셨고 틈틈히 조각를 하시면서 작품활동을 하시던 담임 선생님은 어느날 나를 부르시더니 당신이 일주일 마다 하나의 주제를 줄테니 원고지 10매 정도로 글짓기를 해오라고 하시는 겁니다. 그때는 무지 귀찮았지만 묵묵히 선생님의 또다른 숙제라고 생각하고 1학기 내내 그렇게 글짓기를 했습니다. 지금 생각해보면 선생님께선 저에게 엄청한 특별대우를 나한테 해주신 거죠.

선생님이 주신 여러 주제들이 있지만 지금 기억나는 주제 중 하나는 "상처" 입니다. 그때 내가 쓴 글 하나하나는 다 기억나진 않지만 간단히 요약하면 상처라는 것은 의사가 고쳐주는 것도 아니고 약이 고쳐주는 것도 아니고 자신의 몸 스스로 이겨내어야만 고칠 수 있다는 내용이었죠. 당시 선생님은 이 글을 읽어보시고 아주 잘 쓴 글이라고 칭찬을 해주셨습니다. 어린 마음에 그 칭찬이 얼마나 좋았던지 지겨워하지 않고 글짓기 숙제를 열심히 했고 글쓰는 재미를 알게 된거죠. 당시 내가 글을 아주 잘썼다고 자랑할려는 것도 아니고 다만 그 일로 인해 글을 쓴다는 것이 얼마나 즐거울 수 있는지를 알게 되었습니다.

그 이후에 고등학교에 올라와서는 삼년내내 일기를 쓰게 된 동기가 되기도 했고, 믿기 힘들겠지만 끄적끄적 시를 쓰기도 했습니다.(지금 내 모습을 아시는 분은 상상이나 하실런지) 다시 말하면 내가 왜 글을 써야 하는지 왜 글을 쓰는 것이 즐거운 지 등을 스스로 느끼게 해주고 동기를 부여해 주었을 뿐 아니라 그걸 스스로 느낄 수 있도록 한 한기 내내 꾸준히 글을 쓰도록 챙겨주셨죠. 아이러니하게도 고등학교 1,2학년 담임이 국어선생님이셨지만 결코 나에게 이런 재미와 흥미를 알게 해주시지는 못하셨죠.

이 글을 쓰다보니 문득 초등학교(당시에는 국민학교) 4학년 때 담임선생님이 생각이 나네요. 글짓기 숙제를 해갔는데 저는 "참새" 라는 제목으로 동시를 썼는데. 기억나는 구절은 참새는 짹짹 우는 것이 아니라 참새는 즐겁게 짹짹 웃고 즐겁게 노래하고 있다 라는 구절인데 그 글을 보신 담임 선생님의 첫마디는 "누가 대신 써줬니?" 였습니다. 그 말은 나에게 너무나도 큰 충격이었습니다. 그 질문은 내가 쓴 동시가 잘 쓰여졌다는 걸 의미하는 동시에 너가 썻을리 없다는 걸 의미하는 것이었기 때문이였죠. 칭찬받기는 커녕 되려 혼난거니까요. 물론 그 이후 나는 글짓기 숙제를 제대로 해갔을리가 없죠. 당시 담임 선생님은 특별히 학교에서 과학을 담당하시던 분이셨는데 매우 젊고 의욕넘치고 똑똑하기로 학부모사이에서도 소문이 자자하시던 분이셨고 최근 교장을 거쳐 퇴임하셨다는 얘기를 동창들로부터 건너들었습니다. 하지만 난 그 분을 어린아이의 맘을 전혀 헤아리지 않은 못된 어른, 선생님으로만 기억하고 있을 뿐입니다.

이런 기억들이 주마등처럼 떠오르면서 나는 아이들에게 얼마나 많은 상처주는 말을 했을까 곰곰히 생각을 해봅니다. 아이들이 스스로 자신의 길을 찾아 가도록 도와주는 것이 아니라 내가 아는 가장 최선이라고 믿는 방식, 가장 좋다고 생각하는 편협된 삶의 방식에 아이들이 따라주지 않는다는 이유만으로 상처주고 윽박지르고 화낸 못된 어른, 편협된 아버지가 되어버린 것은 아닌가 반성하게 되네요.

여전히 아이들이 스스로 어떻게 살아가야 할지 느끼게 할 수 있는 부모, 멘토로써 많이 부족함을 느낍니다.

일요일 아침 몇몇 글을 읽다가 포스팅까지 하게 되었네요.

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

The process of understanding data

우승 — Sat, 08 Aug 2009 22:49:51 +0900

Finding proper questions is more important than data set itself.

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

Hadoop Ecosystem

우승 — Thu, 06 Aug 2009 22:32:53 +0900

Hadoop 의 Echosystem , 사이트에 가보면 Hadoop의 주요 서브프로젝트로 각자 진행되고 있다. 하지만 이외에도 Hive, Sqoop, HadoopDB, Cascasde, X-RIME, Neptune 등 Hadoop 을 기반으로 하는 다양한 오픈소스 프로젝트들이 있다. 하지만 많은 프로젝트들이 문서작업들이 미흡해서 이해하기도 힘들고 실제 업무에 적용하기도 힘들고 실제 적용할 만한데가 많지도 않다는 게 문제라면 문제랄까. 암튼 Hadoop 이 세상의 중심이 믿는 이들이 늘어나고는 있는 것 같다.

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

Hadoop DB

우승 — Mon, 03 Aug 2009 14:15:04 +0900

뜬금없는 포스팅이긴 한데 ...

예일대학에서 HadoopDB 라는 논문과 오픈소스로 공개를 했습니다.
자세한 내용은 옆의 링크를 참고하세요. http://db.cs.yale.edu/hadoopdb/hadoopdb.html

MapReduce Framework 을 task coordinator 와 network communication layer 로 사용하고 각각 datanode에 MySQL 또는 PostgreSQL 을 설치, JDBC 을 이해할 수 있도록 InputStream 을 수정해서 마치DBMS 를 HDFS의 data source 처럼 인식토록 해서 구현한 것 같습니다. 그리고 Hive 의 확장해서 SQL Planner 라는 것을 제공하고 있습니다. 한마디로 TaskTracker 란 녀석한테 JDBC을 가르켜서 각 데이터노드에 설치된 DBMS 와 대화할 수 있도록 한 것이죠.

제가 생각하는 장점은 기존의 Hadoop Framework 을 그대로 사용하면서 확장되었기 때문에 동시에 운용이 가능하다는 겁니다. Join 같은 structured data에 걸맞는 operation 에는 DBMS가 아무래도 빠르니까 이점이 있을 것 같구요. 여튼 재밌는 응용입니다.

하지만 아직은 alpha 수준이라서 당분간 지켜봐야 겠고, 아무튼 Hadoop 이 뜨거운 감자인 건 확실한 것 같습니다. 이렇듯 다양한 응용이 나오는 걸 보니까요.

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

고민중...

우승 — Fri, 12 Jun 2009 08:42:20 +0900

저도 들어오지 않은 이 블로그를 계속 해야 할지에 대해서 고민중이랍니다.

이 블로그는 문닫고 새로 시작하고 싶은 맘도 있구요...

다시 시간에 맡길 생각입니다.

총총총

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

2009년 소프트웨어 아키텍트가 반드시 알아야할 10가지

우승 — Mon, 23 Mar 2009 00:21:56 +0900

출처는 여기를 참고하시면 됩니다

Dion Hinchcliffe 의 블로그에 최근 관심을 가지고 지켜봐야 할 소프트웨어 아키텍쳐에 대해서 잘 정리를 해 놓았습니다. 웹 2.0 의 기술적인 트랜드와 이를 뒷받침하고 있는 소프트웨어 및 시스템아키텍쳐에 대해서 지속적으로 관심을 가지고 계신 분들이라면 다 아시는 내용이겠지만 잘 정리해서 알기 쉽게 설명하고 있으니까 꼭 한번 읽어보심이 좋을 것 같습니다.

그리고 글 중간 중간에 본인이 그간에 자신이 쓰거나 참고한 사이트에 대해서 링크를 걸어놓았는데 시간이 날때 한번 훓어 보세요.

10가지가 무엇인지 간단히 요약하면 다음과 같습니다.

1. Cloud Computing
2. Non-relational database
3. Next-generation distributed computing
4. Web-Oriented Architecture (WOA)
5. Mashups
6. Open Supply Chains via APIs
7. Dynamic Lanuguage
8. Social computing
9. Crowdsourcing and peer production architectures.
10. New Application Models

마침 Hadoop 에 대해서 공부하면서 이것저것 해보고 있는데 Hadoop 의 HDFS 상에 구현된 HBASE 가 바로 non-relational database 입니다. 그리고 차세대 분산컴퓨팅에 대한 글은 Hadoop 에 대해서 언급을 하고 있으니까 머랄까 그냥 Dion 이 말하는 소프트웨어 아키텍쳐 트랜드에 크게 비껴가지않고 무언가를 제가 하고 있기는 한가봅니다. 하지만 깊은 이해는 여전히 부족하고 그냥 표면적인 것만 이해하는 것 같아서 좀 그렇긴 하네요.

Open Supply Chains 와 Crowdsourcing & peer production 에 대해서는 시간을 내서 다시 한번 관련된 글들을 찾아서 꼼꼼히 읽어볼 생각입니다.

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

[Reference] How to work the MapReduce of Hadoop

우승 — Tue, 27 Jan 2009 10:12:02 +0900

하둡의 MapReduce 프로그램이 어떻게 동작하는지는 이 그림하나로 잘 설명되어 있는 것 같다.

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

[Reference] XaaS(X as a Service) 그리고 사생활보호(Privacy)

우승 — Tue, 27 Jan 2009 09:50:00 +0900

Peter Laird라는 오라클(전엔 BEA)의 아키텍트가 XaaS(X as a Service)에 대한 포스팅된 자료들을 잘 정리해놓았네요. 언제 다 읽어볼 수 있을지 모르지만 제목만 보니까 온갖 것에 2.0 붙이던 것처럼 온갖 것에 as a Service 을 붙여놓았네요. 클라우드 컴퓨팅이라고 말하는 부분과도 연관되어 있고, 아무튼 IT 인프라에 대한 새로운 접근방법이라고 할 수 있을 겁니다. 한번 꼼꼼히 공부해 볼 필요가 있을 것 같습니다.

이상적으로 생각한다면 IT 인프라 (프로세싱, 저장장치, 메모리, 네트워크 심지어 이를 관리하기 위한 시스템, 인력 등등을 모두 포함) 를 전기,가스처럼 사용할 수 있도록 하는 시절이 온다는 거죠. 이미 이런 비슷한 얘기는 많이 들으셨겠죠. 아마존이 어떻다더라 구글이 어떻다더라, 마이크로소프도 이에 질세라 뭔가를 내놓았고. 2000년도초 Sun에서 얘기한 씬클라이언트 생각도 하고, IBM의 On Demand 전략도 이 맥락속에 있구요.

갑자기 생각나는 것이 있는데 바로 Privacy 이 대한 것입니다. 이러한 인프라들이 점점 늘어갈 수록 Privacy에 대한 이슈는 더욱 더 중요해지고 이에 대한 많은 논의와 대응책들이 등장할 것이라고 생각됩니다. 다만 이러한 것에 대해서 그리 심각성을 못느끼고 공짜라는 이유만으로 열심히 자신의 정보를 퍼주는 일반 사용자들이 대다수라는 점이 걱정스럽긴 합니다.

그래서 전 몇달전부터 FriendFeed 의 사용을 중단했습니다.. 제 개인 로그를 주욱 보는 순간 섬찟하다는 생각이 들었거든요. 이건 좀 아니다 싶더군요. Facebook 도 마찬가지구요. 미투데이는 이 점에 있어서는 접근성에 제한점이 있어서 상대적으로 편하게 느끼고 있습니다. 미투데이API을 이용해서 FF 같은 걸 누군가 만든다면 아마 바로 탈퇴할까 생각중입니다. 사실 네이버에 인수되었다는 소식에 좀 갈등하고는는 있습니다.
이런 말 있잖아요. 세상엔 공짜란 없다. 자신의 전화번호와 이메일 주소를 적어주면 길가에서 바로 나눠주는 샘플 화장품이나 음료수같다고 생각이 드는 건 아마 저 만의 걱정은 아닐 거라고 생각됩니다.

오랜만에 포스팅인데 횡설수설이네요.

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.

2008년 연말의 제 근황은...

우승 — Sun, 07 Dec 2008 22:24:49 +0900

제 개인적인 얘기는 많이 하지 않는 편인데 오늘은 그냥 맘 편하게 요즘 제 근황에 대해서 쓰고자 합니다. 저의 지인들이 아니면 별로 관심이 없을 듯 하지만 오늘따라 블로그에 글을 쓰고 싶어졌습니다. 그러고보니 지난 4월에 회사를 옮겼으니까 이번 직장으로이 벌써 8개월이 넘어서는 군요. 회사를 옮길 때 무언가를 기대하지 않았다면 무리해서 회사를 옮기지 않았겠지요. 하지만 전에도 회사를 옮길 때마다 제 기대데로 되었던 적은 한번도 없었던 것 같습니다. 아무래도 제 자신의 의지도 문제겠지만 주변의 환경도 한몫하기 때문에 늘 실망도 있는 법이지요. 하지만 제가 가지고 있는 장점중에 상황에 대한 대비는 늘 비관적으로하되 스스로는 늘 긍정적일려고 노력한다는 점이지요. 이번에도 그러한 저의 성격이 이 상황을 무리없이 견디게 하는데 도움이 되고 있습니다. 7-8년전 같으면 불같이 화내고 섭섭해하고 누군가를 비난하겠지만 그것도 어느 선에서 참게 되더군요. 나이가 들었다는 증거이겠지요.

아무튼 요즘 제 근황을 몇가지를 얘기해보자면

우선 맡고 있던 과제하나가 스톱이 되었습니다. 드랍이 되었다고 말할 수도 있지만 아직 포기한 것은 아니기에 스톱된 거라고 표현하는 겁니다. 나름 애정을 가지고 몇개월동안 쫓아다닌 거라 실망이 크지만 원래 인생이 그런거 아니겠습니까.

두번째로는 요즘 워낙 금융위기다 머다 해서 제가 속한 부서에 영향이 적잖이 많이 미치고 있습니다. 추진하는 과제도 그렇고 조직적으로도 그렇구요. 아마도 이런 상황에서 누구나 불안해하고 내년에는 어떻게 될까 고민하는 것은 당연하겠지요. 저도 마찬가지랍니다. 12월이 지나면 알게되겠지요. 미리 고민하지 않는다! 추측하지 않는다! 그런 생각을 가지고 요즘 남은 일들을 마무리짓고 있습니다.

세번째로는 온갖 만성질병이 제 주위를 감싸는 군요. 워낙에 통풍때문에 매일먹어데는 약도 지겨운 데 3주전에는 후두염 진단을 받아서 약을 며칠 먹었고, 지난주에는 배가 너무 아파서 잠을 자질 못해서 병원에 가서 내시경을 해보니 만성위염이 상당히 진전된 상태이고 급성십이지장궤양이 겹쳤다고 하더군요. 덕분에 아침저녁으로 먹는 약이 각각 4알씩, 8알에 통풍약까지 해서 13알이 되는 알약을 매일매일 챙겨먹고 있습니다. 거기에 가벼운 피부병으로 깨끗히 목욕하고 드라이로 말리고 연고를 바르고 있네요. 이 나이가 되면 병하고 슬슬 같이 살아야 할 나이인가봅니다.

네번째로는 지난 8개월사이에 체중이 5kg이상 줄었습니다. 만성위염의 영향도 있는 듯 하지만 곰곰히 생각해보면 라이프스타일이 바뀐 것과 식생활도 영향을 미친 것 같습니다. 하루에 한번은 꼭 먹던 아이스크림을 이제는 일주일에 한번정도 먹고 있으니까요. 전에는 최고 81kg , 평균 78kg 정도 유지되던 몸무게가 요즘 아침에 재보면 73kg 정도이고 어제 아침엔 71kg 까지 나오더군요. 이 몸무게는 위염에 의한 약과 음식조절을 하다보니 나온듯 하네요. 71kg 이라니!

마지막으로는 제가 머리를 기르고 있습니다. 지난 3개월 넘게 기른 덕에 거의 15년넘게 짧게 하고 다니던 머리스타일이 완전히 바뀌었습니다. 좋아보인다는 사람도 있지만 부모님은 별로 좋아하질 않으시네요. 단정치 못하다고.

직장을 옮기고 8개월이 지났는데 제가 생각한 것보다 더 많은 성취를 하지 못해서 좀 섭섭하긴 하지만 저는 여전히 내년 2009년이 기다려집니다. 무언가 새로운 일들을, 사람들을 만날 수 있을거라는 기대감에 말이죠. 생각해 보면 제가 맡았던 과제들은 항상 처음하는 과제였고 그러다보면 늘 과제를 마무리짓지 못하고 다른 이들에게 넘기고 또다른 새과제를 맡아서 진행한 것 같습니다. 그에 비해 올해는 그렇게 새롭다고 하는 과제는 없었지만 새로운 환경에서 새로운 사람들과 만나서 일했다는 것 자체가 큰 보람이고 그 분들에게도 늘 고마움을 느끼고 있답니다.

모처럼 얘기를 주욱 하고 났더니 조금은 답답했던 마음이 풀어지는 듯 하네요.

올해도 며칠 남지 않았지만 혹 이곳에 들르시는 분들중에 저를 아시는 분이시든 아니든 올해 잘 마무리하시고 늘 긍정적으로 내년을 기대하면서 준비하셨으면 합니다. 사실 이건 제 자신에게 하는 다짐이기도 하구요.

내년 2009년은 더욱 멋질 겁니다. 저는 확신해요.

크리에이티브 커먼즈 라이선스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이선스에 따라 이용하실 수 있습니다.