Edward J. Yoon's Blog

[Android SDK] Can't open input server /Library/InputManagers/Safari140

2013-05-15T02:02:00.001-07:00

What the ....

^Cmacbook:~ edwardyoon$ android avd
2013-05-15 17:55:48.414 java[1432:1707] Can't open input server /Library/InputManagers/Safari140

macbook:~ edwardyoon$ ls /Library/InputManagers/Safari140/
ls: : Permission denied
macbook:~ edwardyoon$ sudo android avd
Password:

교만에 대하여

2013-04-30T08:47:00.003-07:00

오랜만에 방문한 국산 포탈에 "포스코 라면"이라는 요상한 검색어가 하나 올라와더라. 살펴보니 올해 초 진급한 포스코 임원이 대한항공 이용 중 기내식이 입맛에 안맞아 라면을 끓여달라 주문하고는 짜거나 설익었다며 폭행했다는 내용이더군.

사람 됨됨이를 보려면 권력을 줘보라는 말이 맞나 싶으면서도 한편으로는 안쓰러웠다. 왜냐면 (어디까지나 내 생각엔) 권력을 아주 힘들게 쌓아올린 사람일수록 권력적 교만의 정도가 심하기 때문에, 얼마나 치열하게 올라간 자리인지 안봐도 훤히 보였으니까.

태생부터 위치한 본래의 클래스에 속해 변함없이 사는 사람은 일반적으로 교만은 없다. 그 사람 태생이 엘리트였으면 그런 교만도 없었을것. 호랑이가 알통자랑 않는것처럼, 교만이란 어쩌면 지위박탈 위기감에서오는 허세 아닌가 싶다.

나 또한 요즈음, 나태해지고 교만해짐을 스스로 느끼는데 진중히 돌봐야할 문제인듯 하다.

아파치 하마 설치 및 페이지랭크 예제 실행해보기

2013-04-29T00:06:00.001-07:00

한국 분들에게서 질문이 제법 오고 있어서 한글로 하나 작성합니다. 모두 개별적으로 답변드리기는 쉽지가 않네요.

미리 준비해야할 것들

Hadoop 1.0의 HDFS

Hama 0.6 버전까지는 Hadoop 1.0과 CDH3만을 지원하고 있습니다.

Sun/Oracle 배포 Java
SSH
Hama 최신버전을 다운로드 합니다.

이 글에서는 준비가 다 완료되었다고 가정하고 바로 하마 설치 들어가봅시다.

분산 모드로 설치하기

Hama 최신버전 타르볼을 압축해제한 후, 편집해야할 파일은 conf 디렉토리 밑에 groomservers, hama-env.sh, 그리고 hama-site.xml 세 개 입니다.

1) 먼저 hama-env.sh 파일을 까서, 아래와 같이 JDK가 설치된 경로와 zookeeper 실행여부를 선택합니다 (주키퍼를 설치해놓지 않았으면 true로 하고, 기존 설치된 주키퍼를 쓰려면 false로 합니다).

# The java implementation to use.  Required.
export JAVA_HOME=/usr/lib/jvm/java-7-oracle

...

# Tell Hama whether it should manage it's own instance of Zookeeper or not.
export HAMA_MANAGES_ZK=true

2) 이제 hama-site.xml 을 까서 다음과 같이 기본적으로 설정되어야할 properties를 작성해줍니다. 항목별로 설명하면 bsp 프레임워크의 마스터 서버의 호스트명과 포트번호, HDFS 파일시스템의 네임노드 호스트명과 포트번호, 주키퍼 호스트명, 그리고 인풋 데이터 파티셔닝을 실시간 처리하겠다는 설정 값들입니다.

  <property>
    <name>bsp.master.address</name>
    <value>server01.udanax.org:40000</value>
  </property>

  <property>
    <name>fs.default.name</name>
    <value>hdfs://server01.udanax.org:9000/</value>
  </property>

  <property>
    <name>hama.zookeeper.quorum</name>
    <value>server01.udanax.org</value>
  </property>

3) 여기까지 되었으면 이제 groomservers 파일을 열어서, 슬레이브로 동작할 서버들의 호스트명을 다음과 같이 나열해줍니다:

server02.udanax.org
server03.udanax.org
server04.udanax.org
...

설정이 완료되면, sever01.udanax.org 서버가 마스터로 나머지 02~04번까지의 서버가 슬레이브로 동작하게 됩니다.

데몬 실행 및 페이지랭크 실행해보기

설정이 끝났으면, 다음과 같이 start-bspd.sh 구동 스크립트로 데몬을 실행합니다.

$ bin/start-bspd.sh
$ tail -f logs/hama-edward-bspmaster-udanax.org.log
2013-04-29 15:46:10,198 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2013-04-29 15:46:10,198 INFO org.apache.hama.bsp.BSPMaster: Starting RUNNING
2013-04-29 15:46:21,165 INFO org.apache.hama.bsp.BSPMaster: groomd_server02.udanax.org_50000 is added.

로그를 보면 슬레이브들이 마스터서버에 추가되는 것을 볼 수 있습니다. 데몬이 잘 올라왔다면 이제 예제를 실행해볼 수 있습니다. 다음 명령어는 Pi 계산하는 예제입니다.

$ bin/hama jar hama-examples-0.6.1.jar pi
13/04/29 15:50:15 INFO mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
13/04/29 15:50:16 INFO bsp.BSPJobClient: Running job: job_201304291546_0001
13/04/29 15:50:19 INFO bsp.BSPJobClient: Current supersteps number: 0
13/04/29 15:50:22 INFO bsp.BSPJobClient: Current supersteps number: 1
13/04/29 15:50:22 INFO bsp.BSPJobClient: The total number of supersteps: 1
13/04/29 15:50:22 INFO bsp.BSPJobClient: Counters: 6
13/04/29 15:50:22 INFO bsp.BSPJobClient:   org.apache.hama.bsp.JobInProgress$JobCounter
13/04/29 15:50:22 INFO bsp.BSPJobClient:     SUPERSTEPS=1
13/04/29 15:50:22 INFO bsp.BSPJobClient:     LAUNCHED_TASKS=3
13/04/29 15:50:22 INFO bsp.BSPJobClient:   org.apache.hama.bsp.BSPPeerImpl$PeerCounter
13/04/29 15:50:22 INFO bsp.BSPJobClient:     SUPERSTEP_SUM=3
13/04/29 15:50:22 INFO bsp.BSPJobClient:     TIME_IN_SYNC_MS=220
13/04/29 15:50:22 INFO bsp.BSPJobClient:     TOTAL_MESSAGES_SENT=3
13/04/29 15:50:22 INFO bsp.BSPJobClient:     TOTAL_MESSAGES_RECEIVED=3
Estimated value of PI is 3.1424
Job Finished in 6.432 seconds

정상적으로 설치가 잘 되었다면 위와 같이 Pi 계산 결과값이 나오는것을 볼 수 있습니다. 성공하셨나요? :D 그럼 다음으로 이제 좀 더 현실적인 예제 PageRank를 계산하는 예제를 실행하려면, 먼저 generator 커맨드로 100개의 vertices와 1,000개의 edge를 갖는 랜덤 그래프 데이터를 HDFS 상에 생성합니다.

$ bin/hama jar hama-examples-0.6.1.jar gen symmetric 100 10 randomgraph 2
13/04/29 15:54:45 INFO mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
13/04/29 15:54:46 INFO bsp.BSPJobClient: Running job: job_201304291546_0002
13/04/29 15:54:49 INFO bsp.BSPJobClient: Current supersteps number: 0
13/04/29 15:54:52 INFO bsp.BSPJobClient: Current supersteps number: 1
13/04/29 15:54:52 INFO bsp.BSPJobClient: The total number of supersteps: 1
13/04/29 15:54:52 INFO bsp.BSPJobClient: Counters: 6
13/04/29 15:54:52 INFO bsp.BSPJobClient:   org.apache.hama.bsp.JobInProgress$JobCounter
13/04/29 15:54:52 INFO bsp.BSPJobClient:     SUPERSTEPS=1
13/04/29 15:54:52 INFO bsp.BSPJobClient:     LAUNCHED_TASKS=2
13/04/29 15:54:52 INFO bsp.BSPJobClient:   org.apache.hama.bsp.BSPPeerImpl$PeerCounter
13/04/29 15:54:52 INFO bsp.BSPJobClient:     SUPERSTEP_SUM=2
13/04/29 15:54:52 INFO bsp.BSPJobClient:     TIME_IN_SYNC_MS=121
13/04/29 15:54:52 INFO bsp.BSPJobClient:     TOTAL_MESSAGES_SENT=516
13/04/29 15:54:52 INFO bsp.BSPJobClient:     TOTAL_MESSAGES_RECEIVED=516
Job Finished in 6.279 seconds

그 다음 페이지랭크를 실행하면 끗~

$ bin/hama jar hama-examples-0.6.1.jar pagerank randomgraph pagerankresult 4

오픈 소스, 개발자들에게 참여 독려할만한 걸까?

2013-03-11T07:30:00.005-07:00

5 ~6 년간 몸소 경험해본 바, 오픈 소스 참여가 개발자에게 마냥 좋은건 아니고 단점들이 좀 있다.

그 중 심각한건 .. 글로벌하게 개방된 네트워크 내 유능한 사람들과 지내다보면, 현실의 우물안 개구리 조직 생활이 재미가 없어진다.

아시다시피 경쟁이 치열한 한국엔 꼰대 문화가 있다. 방어하고자하는 세대가 있고 논리가 전혀 안통하는 매니저들이 있다는거. 아무리 유능해도 올라가는데에는 한계가 있고, 일이라는게 결국 사람이 하는거라 공과 사를 구분해도 사람간의 관계는 이모셔널할 수 밖에 없다. 그런 상황에 개발자적 스킬이 너무 유능해져도 나는 여기서 뭐하는건가 싶을거다. 또한, 이런 슈퍼 개발자는 취업 자체도 힘들어진다 (이건 외국도 마찬가지). 강해지면 적군이 삼삼오오 연합으로 달라드는 이치다. 이런건 누가 잘못해서가 아닌 자연에 이치다. 또, 적당한 실력에 시킨대로 열심히 하는 성실한 자를 찾는 경우가 많으니까.

한켠, 현실이 재미없어졌다하여 그리고 금전적으로 완전히 자유로워 놀면서 오픈 소스에 올인 할 수 있는 상황이라도 그건 나름의 고충이 있다. 마치 버춸 레알러티에 갇힌 리니지 폐인처럼 인생이 고독해진달까. MB 형님 표현을 빌어, 내가 remote position, open source 다 해봐서 좀 아는데 온라인으로 혼자 일하는 것처럼 재미없는 일도 없다.

물론 이러한 궤도를 완전히 뛰어 넘어 일개 개발자가 사회적 영향력을 갖게 되면 말은 틀려진다만은 그건 스티브 잡스 되는것 처럼 쉽지 않다. 위에 언급된 문제는 누군가 그 오픈소스를 높게 평가하고 Buying 하기전까지 겪어야될 문제다.

그럼 누가 오픈 소스를 하는게 좋나.

개인적으로는 개발자적 스킬보다는, 이미 기본 비지니스가 있고 오픈 소스 액티비티를 전략적으로 본인 비지니스에 활용하고 유리한 상황을 만들어내는데 재능있는 정치적(?)인 사람들이 해야 그 맛을 충분히 즐길 수 있다. 사회적 권력과 역량이 어느정도 되어야 한다는 말씀. 단순 개발한거 공개하고 개방형 개발자 네트워크에 들어가는건 적당히만 하는게 좋다는 얘기.

개발자로 태어나 그 열정을 한번 불사르고자 해보겠다면 말리지 않겠으나, 어설프게 들이대면 안하니만 못한게 오픈 소스.

Computers are useless. They can only give you answers.

2013-02-21T02:32:00.000-08:00

We don't cling to score of karaoke machine after singing. Because we enjoyed singing.

Life is the same. People who knows how to enjoy life is real winner.

인생 일기 Tuesday Feb 12, 2013

2013-02-12T04:43:00.000-08:00

추락하는것은 날개가 있다... like Icarus who heeds the calling Of a sun but now is falling.

인생 일기 Sunday, Feb 2013

2013-02-10T04:12:00.003-08:00

노래방에서 우리는 노래가 끝난 후에 발표되는 점수 따윈 연연하지 않는다.
과정을 잘 즐겼기 때문이다.

요즈음 인기 있는 오디션 프로그램도 보면,
누가 일등하고 누가 꼴등하면 어떠하랴.

인생은 결국 과정이며 어떻게 즐기느냐가 중요하다.
계좌잔고 따위로 인생을 평가할텐가.

한때는, 일을 해야하는 시스템으로부터 완전히 자유로워지는것만을 갈망했다.

그래서 불행했다.

자기가 정말로 좋아하는 일, 함께하면 즐거운 이들.
그 안에서 나의 삶과 필생의 업적을 이룬다면야, ...

Small office interior

2013-02-02T02:18:00.003-08:00

I made a Clu

2013-01-30T17:41:00.001-08:00

I have to work for buying foods. But, I couldn't work all the time. So, I created a program in my server. I called him, Clu. He earns less than me yet but he is just 1 year old ;-)

I bought a Fender Amp!

2013-01-17T03:40:00.001-08:00

Big Data of Engineering Physics/Science

2013-01-14T21:42:00.001-08:00

As you know, the manufacturing systems generate huge amounts of sensor data from distributed manufacturing devices. It's a big data world. However, the problems are all engineering physics/science related, and slightly different from web text mining techniques. Their main concerns are storing huge data, extracting interaction effects of systems, and mining of emerging patterns from time series (the real-time monitoring and control systems are another issue). I believe that Hadoop HDFS and Apache Hama can cover this area in the future.

빅데이터와 스플렁크에 대한 생각들

2013-01-14T03:58:00.003-08:00

2011년 3월, KT에 재직할쩍에 유클라우드 내부의 모니터링 시스템을 검토하면서 스플렁크라는걸 처음 봤었다. 당시에는 모니터링이라는 기능에 집중하고 있었고, 상당히 말끔한 UI 이기는 하지만 기술적으로 (나에겐) 특별히 흥미로운점이 없어서 별 생각 없었는데 요즘 매우 뜨는것 같다.

본질은 그대로이나 '빅데이터' 거품이 합해졌다. 레거시 시스템에 설치하는 설치형 소프트웨어라는점에서 극단적인 장점과 단점이 공존하는데, 이는 중요치 않고 일단 데이터 과학자나 엔지니어 그리고 R&D 투자가 부족한 기업들에게 크게 어필하는것 같다.

기업/정부 시스템들이 딱히 필요성을 못느끼는 상황에서 '빅데이터' 트렌드를 따라가다보니 결과물은 쥐어짜야하겠고, .. 난항을 겪으면서 도입하는게 스플렁크라면 참 걱정스럽지 아니할 수가 없다.

스플렁크 외에 잡얘기를 잠깐 덧붙이면, ...

한국 IT는 중요한 컴포넌트를 대부분 가져다 쓰고, 비지니스 로직과 서비스에만 집중하는 경향이 있다. 저비용 개발과 수익을 우선시하기 때문에 그렇다. 그러다보니 결국 오늘날 서비스도 점점 글로벌화 되어가는 이 시점에, 소프트웨어는 물론 서비스 둘 다 놓치게 되는 상황이 오고 있는거 아닌가 싶다.

예전에 IT분야 뉴스를 보면 미투데이가입자가 몇만명 돌파했니, 네이버가 뭘 했니 하는 뉴스가 간간히 보였지만 요즘은 애플 vs. 삼성 말고는 별로 볼게 없다.

아니나 다를게 동영상하면 Youtube, SNS하면 페이스북/트위터, 검색하면 구글, 소프트웨어하면 오픈소스와 자바, .... 물론, 모바일 패러다임에 카카오톡같은 .5 IT 세대가 나오긴 했지만 결국 다 밀릴거 같다.

Samsung adopts Splunk for Big Data Analysis, closes Hadoop-based projects

2013-01-07T20:33:00.000-08:00

Original news link (Korean): 클라우드-빅데이터, 삼성의 쓴맛 체험기

Samsung's "Hadoop and Big Data" project has ended (finally) by adopting Splunk, which began from 2010.

According to IT industry experts, they just decided to give up technology internalization and adopt Splunk after many trials and errors for about two years. They says the main problem is the lack of Hadoop and Open Souce experts.

I think this is very symbolic event in IT of Korea ...
I'm dying to tell them "No pain, no gain".

Quick Understanding of NoSQL

2013-01-07T18:39:00.001-08:00

Quick Understanding of NoSQL from Edward J. Yoon

2013 년 계획

2012-12-02T03:25:00.001-08:00

2012년 한 해가 또 이렇게 저물어 가는구나. 다행히 년초 계획^[1]은 대부분 이루었고 오히려 기대보다 넘어선 것들이 많다.

2013년은 이제 그 동안 야심차게 갈아온 칼을 꺼내는 해가 되지 않을까 싶다. 몇 가지 좀 정리해보면,

소득 안정화, 재테크 자산 5배 키우기
하마 웹 북 완료
끝내주는 하마 실제 사례

일단 요정도만 ..

음 왠지 좀 재미는 없는 것 같다. 어느덧 30대 중반. 뭐든 한참 시작할때가 재밌다. 오픈소스도 인생도 .. 내년엔 경험해보지 못한 또 다른 시작이 있기를.

1. http://blog.udanax.org/2011/10/2011-2012.html

The 4th OSS Conference of the Ministry of Knowledge Economy

2012-11-29T18:17:00.002-08:00

This week, I was invited as a special lecturer and panel speaker at the 4th OSS Conference of the Ministry of Knowledge Economy (Korea). It was fun and here's a few pictures.

Trustin Lee (Netty), Minsuk Lee (Assistant Dean of NHN Next), Edward J. Yoon (Apache Hama)

Edward J. Yoon (윤진석 @ 공개소프트웨어데이)

Flume NG Performance

2012-11-19T04:24:00.000-08:00

According to Flume wiki^[1], it has capable of achieving approx. 70,000 events/sec on a single machine (high-end level) at the time of the test with no data loss (300 bytes per event). If you can't imagine how big 70,000 events/sec is, see this "Tweets per second"^[2].

1. https://cwiki.apache.org/FLUME/flume-ng-performance-measurements.html
2. http://yearinreview.twitter.com/en/tps.html

Bioinformatics, Big Data, and MapReduce

2012-11-06T23:29:00.000-08:00

Today suddenly someone asked me about Bioinformatics, Big Data, and MapReduce, I said "you should be more concerned about data complexity than size. And also, studying GraphLab or Hama will be helpful" ... :/

Memorise these, and you could pass yourself off as an expert.

리치스탄

2012-10-30T23:12:00.001-07:00

미국의 슈퍼리치 전문기자 로버트 프랭크가 쓴 '리치스탄'이란 책에 이런 일화가 나온다. 엄청난 부자가 반바지에 슬리퍼 차림으로 아들과 산책을 나갔다 문득 자동차가 사고 싶어 고급차 매장에 들어갔다. 하지만 자동차 판매원은 허름한 옷차림의 이 부자를 쫓아버린다. 자신이 파는 고급차를 살만한 사람으로 보이지 않았던 거다.

이 슈퍼리치는 자동차 매장을 나오면서 아들에게 "양복은 부자들에게 고용된 사람들이나 입는 것"이란 취지의 말을 한다. 고용된 직장인들은 출근할 때 회사에서 원하는 대로 옷을 입어야 하고 남들에게 잘 보이기 위해 옷차림에 신경 써야 하는거다.

슈퍼리치들이 옷이나 보석같은 분야에 돈을 쓰지않고 여행이나 자녀교육비에 지출하는 점을 프랭크는 부자들이 "물질 사치적"이라기보다 "경험 사치적"인 소비성향을 보이고 있다고 해석했다.

경험하고 공부하는데 돈을 써라.

Running Hama Over InfiniBand

2012-10-23T04:46:00.002-07:00

Create an SDP configuration file

Each BSP peer (task) will have its own port number for communicating with others. For example, if you set set bsp.peer.port to 61000 and set bsp.tasks.maximum to 5, BSP peers will use the port range from 61000 to 61005.

To enable SDP^[1] support for BSP peers, create a configuration file like the following sample:

[edward@192.168.10.1 ~]# cat {$HAMA_HOME}/conf/sdp.conf
# Use SDP when binding to
bind 192.168.10.1 61000-61010

# Use SDP when connecting to
connect 192.168.10.0/24 61000-61010

NOTE: This configuration file must reside on every node.

Set the system property that specifies the location of the configuration file

And then, set the location of the configuration file by adding -Dcom.sun.sdp.conf to the bsp.child.java.opts property as following:

  <property>
    <name>bsp.child.java.opts</name>
    <value>-Dcom.sun.sdp.conf={$HAMA_HOME}/conf/sdp.conf -Xmx1024m</value>
  </property>

If everything is OK, you will see the following logs.

CONNECT to 192.168.10.2:61005 (socket converted to SDP protocol)
CONNECT to 192.168.10.5:61002 (socket converted to SDP protocol)
CONNECT to 192.168.10.4:61003 (socket converted to SDP protocol)
CONNECT to 192.168.10.1:61006 (socket converted to SDP protocol)
...

1. http://en.wikipedia.org/wiki/Sockets_Direct_Protocol

OSS App Hackathon @ National Information Society Agency

2012-09-21T02:34:00.003-07:00

Yesterday, there was a OSS App Hackathon arranged by the NIA (National Information Society Agency) in Seoul. I attended as a panel of judges w/ Prof. Lee of the Next, NHN University. A lot of people were in there.

You can read more details (Korean news) here:
- http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=138&aid=0001997038

Fault-tolerance in Hama

2012-09-13T05:44:00.002-07:00

Recently, Hama core committers Suraj Menon and Thomas Jungblut are working on Fault-tolerant BSP system. And I am trying to read the source code. Their design describes the new BSP computing system and API enabling checkpoint-based recovery. Furthermore, describes the confined recovery, which can be used to improve the cost and latency of recovery.

I didn't fully understand and test yet but quite nice!

PageRank with Apache Hama

2012-09-04T18:55:00.001-07:00

The dataset contains 5,716,808 pages and 130,160,392 links and is unzipped ~1gb large.

[oracle@bda03 hama-0.6.0-SNAPSHOT]$ hadoop dfs -ls edward
Found 1 items
-rw-r--r--   3 oracle hadoop 1058414409 2012-08-28 22:16 /user/oracle/edward/links-simple-sorted.txt

[oracle@bda03 hama-0.6.0-SNAPSHOT]$ bin/hama jar hama-examples-0.6.0-SNAPSHOT.jar pagerank /user/oracle/edward/links-simple-sorted.txt out
12/09/10 18:44:25 INFO bsp.FileInputFormat: Total input paths to process : 1
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.3:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.5:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.16:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.14:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.15:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.8:50010
12/09/10 18:44:25 INFO net.NetworkTopology: Adding a new node: /switch1/192.168.10.11:50010
12/09/10 18:44:25 INFO bsp.FileInputFormat: Total # of splits: 17
12/09/10 18:44:25 INFO bsp.BSPJobClient: Running job: job_201209101841_0002
12/09/10 18:44:28 INFO bsp.BSPJobClient: Current supersteps number: 2
12/09/10 18:44:31 INFO bsp.BSPJobClient: Current supersteps number: 8
12/09/10 18:44:34 INFO bsp.BSPJobClient: Current supersteps number: 16
12/09/10 18:44:37 INFO bsp.BSPJobClient: The total number of supersteps: 16
12/09/10 18:44:37 INFO bsp.BSPJobClient: Counters: 10
12/09/10 18:44:37 INFO bsp.BSPJobClient:   org.apache.hama.bsp.JobInProgress$JobCounter
12/09/10 18:44:37 INFO bsp.BSPJobClient:     LAUNCHED_TASKS=17
12/09/10 18:44:37 INFO bsp.BSPJobClient:   org.apache.hama.bsp.BSPPeerImpl$PeerCounter
12/09/10 18:44:37 INFO bsp.BSPJobClient:     SUPERSTEPS=16
12/09/10 18:44:37 INFO bsp.BSPJobClient:     SUPERSTEP_SUM=272
12/09/10 18:44:37 INFO bsp.BSPJobClient:     COMPRESSED_BYTES_SENT=802984424
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TIME_IN_SYNC_MS=13996
12/09/10 18:44:37 INFO bsp.BSPJobClient:     IO_BYTES_READ=1058414409
12/09/10 18:44:37 INFO bsp.BSPJobClient:     COMPRESSED_BYTES_RECEIVED=802984424
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TOTAL_MESSAGES_SENT=11412446
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TASK_INPUT_RECORDS=5706070
12/09/10 18:44:37 INFO bsp.BSPJobClient:     TOTAL_MESSAGES_RECEIVED=5706223
Job Finished in 12.322 seconds

Semi-clustering with Apache Hama

2012-08-26T04:32:00.001-07:00

How do you analyze the social networks? Sentiment analysis or Text mining? I think the valuable insight can be found by analyzing the evolution of network structures or, information flows. Network science is needed.

In this post, I'm introducing the powerful graph computing package of Apache Hama and semi-clustering algorithm described Google's Pregel paper^[1]. A semi-cluster in a social graph is a group of people who interact frequently with each other and less frequently with others. It is different from ordinary clustering in the sense that a vertex may belong to more than one semi-cluster.

The algorithm is a greedy algorithm. Since Apache Hama provides complete clone of Pregel, you can write a semi-clustering program and run it on large graphs in a few minutes like this:

    @Override
    public void compute(Iterator<SCMessage> messages) throws IOException {
      if (this.getSuperstepCount() == 0) {
        // In superstep 0, V enters itself in that list as a semi-cluster of
        // size 1 and score 1, and publishes itself to all of its neighbors.
      }

      // In subsequent supersteps, V circulates over the received semi-clusters
      SCMessage clusters = null;
      while ((clusters = messages.next()) != null) {
        for (SemiCluster c : clusters.getClusters()) {
          // If a semi-cluster c does not already contain V, V is added to c to
          // form c’.
        }
      }

      // The semi-clusters are sorted by their scores and the
      // best ones are sent to V’s neighbors.

      // Vertex V updates its list of semi-clusters with the
      // semi-clusters that contain V.

      boolean updated = updateLocalClusters(clusters);
      if (!updated) {
        // The algorithm terminates either when the semi-
        // clusters stop changing or the user may provide a
        // limit.

        // At that point, the list of best semi-cluster
        // candidates for each vertex may be aggregated
        // into a global list of best semi-clusters.
        
        voteToHalt();

      } else {
        // The semi-clusters are sorted by their scores and the best ones are
        // sent to V’s neighbors.
      }
    }

What do you think - easy enough to use? :-)

P.S., the implementation issue is still left open^[2]. If you want to contribute your code or just want to share something with us, Please feel free to contact Hama team.

1. Pregel: a system for large-scale graph processing
2. Implementation of a Semi-Clustering algorithm, described in Pregel paper.

MapReduce and Beyond

2012-08-26T04:31:00.001-07:00

Hi, in this post I'm going to tell you about past and near future of big data processing. In 2006, I worked as a Senior Software Engineer for web portal company, NHN, corporation. Since then, I had experienced a data explosion (the average pageview per day was one billion), and began to research distributed computing technologies.

In my early research, batch-oriented MapReduce^[1] was one of interesting technology. As all of you know well now, MapReduce programming is very simple and powerful, especially, useful for the aggregation and several basic relational algebraic operations on large data-sets.

However, MapReduce is NOT good for everything. For example, graph algorithms^[2], machine learning, and matrix arithmetic. SQL-like Pig, Hive, and MR-based Mahout shows well the scope and limit of MapReduce. Iterative MapReduce also has some problems such as heavy cost for task assignment and I/O overhead. A lack of ability to perform as a real-time was also issue.

Today, many MapReduce alternatives are now available to solve efficiently such problems:

Apache Hama^[3] - BSP (Bulk Synchronous Parallel) computing engine on top of Hadoop
Apache Giraph - BSP (Bulk Synchronous Parallel) based graph computing framework
Apache S4 and Twitter Storm - Scalable real-time processing system

Wow! too many to learn, but please don't worry. Hadoop 2.0, YARN^[4] will manages these new alternatives at once.

1. MapReduce: Simplified Data Processing on Large Clusters
2. Pregel: a system for large-scale graph processing
3. Apache Hama: Bulk Synchronous Parallel Computing Framework
4. Interview with Arun Murthy on Apache YARN