Mimul's Developer World http://mimul.com:80/pebble/default/ 미물의 개발 세상 ko 미물 Fri, 10 Feb 2012 05:21:29 GMT 미물 2012-02-10T05:21:29Z ko 미물 Mimul's Developer World http://mimul.com:80/pebble/default/ Smartmobhttp://feedburner.google.com Flume 설치 및 사용기(Hadoop 저장) http://feedproxy.google.com/~r/Smartmob/~3/C9sOBsNV_60/1328851289297.html 1. Flume 소개
  - Cloudera에서 공개한 오픈소스로 Flume은 대량 로그 데이터를 효율적으로 수집, 집계, 이동하는 것을 목적으로 개발된 높은 안정성과 가용성을 갖춘 로그 관리용 오픈 소스.

  - 신뢰성
   . 장애 발생 시에도 데이터를 잃지 않고 이벤트를 전달하는 것을 계속할 수있는 Fail-Over 기능.
   . 지원되는 신뢰 수준
    > end-to-end : 수신된 이벤트가 이벤트를 받은 에이전트가 생존하고 있는 한, 끝점에 도달 보장됨.
    > store on failure : 전송 노드에 오류가 발생하면 해당 노드는 오류 노드가 복원될 때까지 데이터를 로컬 디스크에 저장하거나 양자 택일 다른 대상을 선택할 수 있음. 효율성 측면에서 우수하지만 복합적인 장애와 구체적인 증상을 수반하지 않는 오류가 발생하면 데이터가 손실 발생.
    > Best effort :확인 및 재전송을 일절하지 않고 데이터를 다음 노드로 넘김. 가장 낮은 신뢰 수준이지만 가장 가볍다.

  - 확장성
   . 여러대의 Agent, Collector가 연동이 가능함.
   . 여러 종류의 리소스들을 수집할 수 있음.

  - 관리 용이성
   . 데이터 흐름 제어, 노드 모니터링, 설정 변경 및 대규모 시스템의 출력 제어를 중앙에서 Master에서 다이나믹하세 관리 가능함.


2. Flume Architecture

  - Flume Master
   . Flume Node를 중앙에서 제어하는 역할. 데이터 흐름을 제어하고 모니터링함.
   . http://flume-master:35871/에서 브라우징 가능하고 Node status, Node configuration, Physical/Logical Node mapping, Command history 등 4 개의 테이블이 표시.

  - Flume Node
   . 노드에 대한 진단 정보와 인식, 데이터 흐름 및 노드가 실행중인 컴퓨터의 시스템 메트 릭을 표시. http://flume-collector:35862/에서 브라우징 가능.
   . Flume Agent : 원천 로그 소스 데이터를 읽어서 컬렉터로 전달하는 기능을 함.
   . Flume collector : 여러 Agent들에게세 데이터를 수집해서 여러 파일 시스템에 저장하는 기능을 함.


3. 다운로드 & 설치
  - Flume Prerequisites
   . Oracle JDK 1.6.x
   . Hadoop, Apache Zookeeper packages
  - wget http://archive.cloudera.com/cdh/3/flume-0.9.4-cdh3u3.tar.gz
  - tar xvfz flume-0.9.4-cdh3u3.tar.gz
  - ln -s flume-0.9.4-cdh3u3 flume
  - hadoop 라이브러리 Flume으로 카피(Apache Hadoop과 연동)
   . cd /database/server/flume/lib
   . cp /database/server/hadoop/hadoop-core-0.20.205.0.jar .


4. 설정
  - 환경(vi ~/.bashrc)
   . export FLUME_CONF_DIR=/database/server/flume/conf
   . export FLUME_HOME=/database/server/flume

  - Flume/Hadoop 호스트 정보
   . 192.168.41.1 flume-master
   . 192.168.41.2 flume-collector
   . 192.168.41.3 flume-agent
   . 192.168.41.4 hadoop-namenode

  - Flume 설정
   . cd /database/server/flume/conf
   . cp flume-site.xml.template flume-site.xml
   . vi flume-site.xml
<configuration>
  <property>
    <name>flume.master.servers</name>
    <value>flume-master</value>
    <description>This is the address for the config servers status
    server (http)
    </description>
  </property>

  <property>
    <name>flume.collector.event.host</name>
    <value>flume-collector</value>
    <description>This is the host name of the default
    collector.
    </description>
  </property>

  <property>
    <name>flume.collector.port</name>
    <value>35853</value>
    <description>This default tcp port that a Flume collector node
    listens on to receive events.
    </description>
  </property>
  <property>
    <name>flume.collector.dfs.dir</name>
    <value>file:///logs/flume-${user.name}/collected</value>
    <description>This is a dfs directory that is the the final resting
    place for logs to be stored in.  This defaults to a local dir in
    /tmp but can be hadoop URI path that such as hdfs://namenode/path/
     </description>
  </property>
</configuration>

  - flume-site.xml copy(master, collector, agent)


5. 구동 및 추가 설정 등록
  - Master
   . 구동 : $FLUME_HOME/bin/flume master
   . http://flume-master:35871/


  - Node(Collector)
   . 구동 : $FLUME_HOME/bin/flume node -n flume-collector
   . http://flume-collector:35862/


  - Node(Agent)
   . 구동 : $FLUME_HOME/bin/flume node -n flume-agent

  - Master에서 Collector 설정
   . http://flume-master:35871/flumemaster.jsp 이동> config 클릭
   . Node name: flume-collector
   . Source: collectorSource(35853)
   . Sink: collectorSink("hdfs://hadoop-namenode:9000/logs/%H00","%{host}-")

  - Master에서 Agent설정
   . Node name : flume-agent
   . Source : tail("/logs/catalina.out")
   . Sink : agentSink("flume-collector1",35853)


6. hadoop 파일 확인
- 디렉토리 확인
[hadoop-namenode]/logs> hadoop fs -ls /logs
Found 2 items
drwxr-xr-x   - k2 supergroup          0 2012-02-10 12:15 /logs/1100
drwxr-xr-x   - k2 supergroup          0 2012-02-10 12:15 /logs/1200

  - 상세 파일
[hadoop-namenode]/logs> hadoop fs -ls /logs/1100
Found 1 items
-rw-r--r--   1 k2 supergroup    8650125 2012-02-10 12:14 
  /logs/1100/mimul-20120210-121702811+0900.6805779060084639.00000026
[hadoop-namenode]/logs> hadoop fs -ls /logs/1200
Found 1 items
-rw-r--r--   1 k2 supergroup   17300251 2012-02-10 12:15 
  /logs/1200/mimul-20120210-121702811+0900.6805779060084639.00000026


[참조 사이트]
]]> Cloud cloud flume hadoop logcollector 로그수집 Fri, 10 Feb 2012 05:21:29 GMT tag:mimul.com,2012-02-10:default/1328851289297 2012-02-10T05:21:29Z http://mimul.com:80/pebble/default/2012/02/10/1328851289297.html 소셜 네트워크 시대 우리의 자화상 http://feedproxy.google.com/~r/Smartmob/~3/nHcUCX8Yvcs/1328662953457.html
▷ 전문화 추세가 가속되면서 지식이 파편화하고 있다는 것이 루트번스타인의 문제 인식이다. 오늘날 사람들은 많은 정보를 받아들이고 있지만 정작 그 기원과 의미, 활용 방법에 대해선 정확히 모르고 있다. 지식의 양은 늘어나지만 종합적 이해력과 창의력은 퇴보하고 있다. 지식은 넘쳐나지만 지혜는 빈곤하다. 이런 현상을 초래한 중요한 원인의 하나가 인터넷 검색을 통해 얻는 ‘인터넷 지식’에 있다.

▷ 언론학계의 떠오르는 별인 영국 브라이턴대의 타라 브라바즌 교수가 16일 “요즘 대학들은 ‘구글 대학’이 됐다”고 꼬집었다. 학생들은 진지하게 학문을 탐구하기보다는 인터넷을 이용해 답만 빠르게 얻으려고 한다는 것이다. 그는 온라인 백과사전 위키피디아에 대해서도 “논쟁이 배제된, 합의된 정보만 제공해 창의력을 잃은 세대를 양산한다”고 지적했다. 이 말에 속이 뜨끔할 사람이 한둘이랴. 대학교수들은 지금 이 순간에도 인터넷에서 리포트를 짜깁기해 제출하는 학생들을 막을 방법이 없다고 하소연한다.

▷ 우리가 인터넷 서핑을 하며 서치하고, 스킵하고, 스캐닝하는 동안 이를 관장하는 신경회로는 강화되는 반면, 상대적으로 깊이 사고하고, 분석하고, 통찰하는 능력은 감소하고 있다는 주장이다. 니콜라스 카는 인터넷 서핑의 영향력을 단순한 현상 분석이 아니라 뇌가소성이라는 뇌과학 이론을 빌어 뇌구조에 미치는 영향까지 세밀하게 진단해낸다. 즉 트위터, 페이스북 등에서도 쉽게 살펴볼 수 있듯 정보나 의사소통 자체를 단순화, 분절화 함으로써 깊이 생각하는 방법 자체를 잃어버린 뇌로 만들었다는 것이다. 그는 현대인들이 건망증, 집중력 장애를 호소하는 까닭도 모두 이런 이유에서라고 강조한다

▷ 전문화를 통한 지식의 파편화로 인해 지식의 양은 엄청나게 늘어나고 있지만, 학문간의 교류는 줄고 종합적 이해력은 퇴보하고 있는 지식사회의 역설적 현실은 지식의 풍요속에서 암흑기를 맞고 있는 현대사회의 실상이다. 전문가를 통한 ‘분석과잉‘시대인 동시에 ‘통찰력부재‘의 시대인 것이다. 전문화는 단순화의 다른 모습일 뿐인 것이다. 전문의는 많지만 정작 온전한 몸과 마음을 치유할 수 있는 종합의가 없는 것이다.

[참조 사이트]
]]> Life2.0 생각의탄생 생각하지않는사람들 파편화 Wed, 08 Feb 2012 01:02:33 GMT tag:mimul.com,2012-02-08:default/1328662953457 2012-02-08T01:02:33Z http://mimul.com:80/pebble/default/2012/02/08/1328662953457.html 매크로위키노믹스에서 CEO가 기억해야할 것 http://feedproxy.google.com/~r/Smartmob/~3/ydPWYX-Q4Xs/1328575166918.html

1) 자신이 소유하고 있는 것(재화 혹은 서비스)을 플랫폼으로 발전시켜 다른 사람들이 그 플랫폼을 바탕으로 새로운 가치를 창출할 수 있도록 기회를 제공하라. 다시 말해서, 단순한 창조자가 되는 데서 그치지 말고 큐레이터가 되어야 한다.

2) 협업을 위해서는 일부 지적재산을 공유하고 지적재산권 전문 변호사의 도움을 받아야 한다. 그러니, 비즈니스 활동 중 어떤 부분을 공개하고 어떤 부분을 내부에 남겨두어야 할지 생각해보아야 한다.

3) 지금처럼 불확실한 시대에 미래를 통제하려면 역설적으로 다른 방법, 즉 자유롭게 놓아주는 방법에서 시작할 필요가 있다.

4) 인센티브를 제공하고, 우수함을 인정하고, 능력 있는 인재들을 리더십의 자리에 앉혀 선봉을 강화하고 선봉에 서 있는 사람들에게 자극을 가해야 한다.

5) 구시대적인 위계질서를 초월하고 조직 내부에서 아이디어와 정보가 자유롭게 흘러갈 수 있는 역동적인 실력 중심의 문화를 구축해야 한다.

6) 오늘날의 젊은이들은 디지털 세상과 새로운 세상이 제시하는 무한한 가능성에 대한 이해심을 타고난 첫 번째 세대이다. 따라서 넷 세대에게 권한을 주어야 한다.
]]> Book Cafe book macrowikinomics 매크로위키노믹스 Tue, 07 Feb 2012 00:39:26 GMT tag:mimul.com,2012-02-07:default/1328575166918 2012-02-07T00:39:26Z http://mimul.com:80/pebble/default/2012/02/07/1328575166918.html SNS 시대에 필요한 건 경험이다 http://feedproxy.google.com/~r/Smartmob/~3/1iS1pfa7ghw/1327984146244.html
지혜(경험에서 오는)는 오래 묵은 것일수록 더 가치가 있지만, 정보는 새로운 것이어야지만 의미가 있다. 그렇기에 정보는 살아있기 위해서는 ‘실시간’이 되어야 한다. 잠쉬도 쉬지 않고 업데이트가 되어야 한다.
그러한 속성으로 인해 우리는 매 순간 매몰되가는 시간에 쫓겨 SNS를 통해 실시간 정보들의 실황을 중계 받는다. 습관처럼.
결국, 분주하게 하루를 살아가지만, 자기 전에 하루를 떠올리면 기억속에 생각나는 건 거의 없다. 분주함 속에 고요를 외치며 하루를 산 꼴이다.
보고 배우고 들은 것은 내 몸에 들어와서 나를 변화시키는 것이 아니라, 그저 짜릿한 자극 한번을 주고는 휙 지나가 버린다. 그리고 다음 자극을 찾아 먼길을 떠난다.

정보와 지식은 머리에 있더라도, 내가 하고자하는 것을 하기 위해서는 표현을 해야하고, 설득을 해야하고, 사용자에 맞는 무엇을 내놓아야 한다. 그러기에는 머리속에서 맴돌던 것을 입으로, 손으로, 발로 내 뱉기 위한(행동을 위한) 시간이 필요하다. 이러한 시간을 줄여주고, 깨달음을 주는 것이 바로 경험이다.
그리고 경험이 주는 위대한 선물은 스스로의 능동적인 인간이 되게 하는 것이다. 즉, 자신의 생각과 욕구를 능동적으로 실천해가는 습관이 결국 자신 삶의 태도가 된다.

인터넷의 발달로 인해 무의식적으로 인터넷으로 검색하고 읽은 내용이 진실이라 인지하고 더이상 경험을 통한 지식을 게을리한다.

나 스스로가 먼저 경험의 빈곤에서 벗어나도록 노력해야겠다.
]]> Small Talk 경험 Tue, 31 Jan 2012 04:29:06 GMT tag:mimul.com,2012-01-31:default/1327984146244 2012-01-31T04:29:06Z http://mimul.com:80/pebble/default/2012/01/31/1327984146244.html Task 관리 툴 http://feedproxy.google.com/~r/Smartmob/~3/I2HUCAmgViI/1327892196605.html
1. 할일 관리 서비스
- Asana(http://asana.com/)
- Trello(https://trello.com/)
- Toodledo(http://toodledo.com)
- Wunderlist(http://www.wunderlist.com/)
- Remember The Milk(http://www.rememberthemilk.com)

2. 소셜 할일 관리 서비스
- Wunderkit(http://www.wunderkit.com/)
- Schemer(http://www.schemer.com)

3. 할일 제거하기(잡담)
- 늘 반복적으로 하는 업무에 대해서는 자동화한다. 이것도 일이죠?
- 모든 일을 파하고 잉여의 생활로 접어 든다. 돈이 문제죠?
- 협업을 줄이고 독고다이로 자기 완결형 인간이 된다. 이건 능력밖의 일이죠?
- 피하기 어렵다면 일을 즐기라. 마누라 얼굴이 떠오르죠?
- 업무의 중요도 가리지 말고, 빨리 처리가 가능한 일을 먼저 처리해 버린다. 업무의 편식 증후군이죠. 욕먹기 십상?
- 해야할 일을 잊어 버린다. 인간 본성에 충실하지만, 딋탈이 크죠?
- 업무를 포기할 건 포기하는 용기를 가지자. 포기 업무는 내가 판단할 사항이 아니죠?
- 집중에 방해받는 요인들을 사전에 제거한다. 스마트폰/SNS/메신저 를... 왕따?
]]> Common Skill todo Mon, 30 Jan 2012 02:56:36 GMT tag:mimul.com,2012-01-30:default/1327892196605 2012-01-30T02:56:36Z http://mimul.com:80/pebble/default/2012/01/30/1327892196605.html 큰 기업에서 파괴적 혁신이 힘든 이유 http://feedproxy.google.com/~r/Smartmob/~3/XBRvFbdhjUU/1327847861309.html 1. 안정된 수익을 가진, 성공을 맛본 큰 기업은 Disruptive Innovation을 못한다
- 돈이 되는 사업이냐? 고 가치를 추구하고, 성과 위주의 목표를 가진 의사결정자들의 머리.
- 컬처, 프로세스의 일관성이 깨지지 않나? 기존에 효율성을 제고하려고 정비된 프로세스 등에 위배된다고 생각함. 즉, 리소스는 좋지만, 프로세스가 발목을 잡게 되는 형국이 반복된다.
- 큰 기업의 경우 태생적으로 Sustaining innovation(기존 고객을 위한 혁신)을 추구하려고 하지, Disruptive innovation(일부/틈새 고객들을 위한 혁신)을 추구하려고 하기는 힘들다는 생각.
- 요약하자면 전략은 선택인데, 그 선택이란 속성이 선택과 비선택의 갈림길을 결정하는 것. 선택을 위한 방법이 큰 기업에서는 기업이 살아남고 효율적으로 가기 위한 그동안의 사행착오들이 방법론이나 프로세스로 만들어지게 되었으며, 또한 고가치(성과) 추구의 성향으로 인해 의사 결정의 진입 장벽을 높이게 됨. 이런 것들이 파괴적 혁신을 하기 위한 걸림돌로 작용하는 경우가 많아서 쉽지 않다는 의미. 자원(사람, 장비, 기술)들은 우수하지만…

2. 작은 기업은 Disruptive Innovation가 가능하다
- 자원이 부족하더라도 적게 벌어도 된다.
- 돈을 들여 시장조사하지 않고, 한번 질러본다는 시도가 좋은 기회를 가져올 수 있다.
- 요약하자면 리소스는 부족하지만, 프로세스와 추구하는 가치의 추종에 대한 진입 장벽을 없애고 자원을 믿고, 다양한, 새로운 시도를 하는데 걸림돌이 적게 든다.

3. 그럼, 큰 기업에서 Disruptive Innovation가 가능할려면
- Heavyweight Team을 두어서 새로운 도전을 준비하고, 물리적으로 같은 공간에 넣어서 별동대를 만들어 그들에게 책임과 권한을 부여해라.
- 전략이 선택되어지면 도전이 완료될 때까지 믿고 지켜봐줘라.
- 또다른 방법은 필요한 부분의 역량을 가진 기업을 M&A하라.

기업이 처음 시작하면 리소소가지고 성공하고, 성장해가고, 시간이 흐를수록 효율성을 제고하기 위해 프로세스가 만들어지고, 가치(고 수익, 성과 지향)가 만들어지고, 이런게 성숙되어 기업 문화가 완성된다. 그렇지만, 기업이 성장해가면서 이러한 것들이 오히려 기업을 발목을 잡게 되는 Trade-Off가 발생한다는 것이다. 이를 간과해서는 큰 기업이 영속성을 유지할 수 없다.

[참조 사이트]
]]> Best Practices disruptive innovation Sun, 29 Jan 2012 14:37:41 GMT tag:mimul.com,2012-01-29:default/1327847861309 2012-01-29T14:37:41Z http://mimul.com:80/pebble/default/2012/01/29/1327847861309.html 분산 검색 엔진 관련 오픈 소스들 http://feedproxy.google.com/~r/Smartmob/~3/-5NRYYLTFyI/1327042102890.html 1. Katta
- Lucene-Based, and support for distributed, scalable, fault-tolerant, real-time search.
- http://katta.sourceforge.net


2. ElasticSearch
- Lucene-Based, distributed, cloud, providing rest interface search solution.
- http://www.elasticsearch.com


3. LinkedIn five open-source program
- Zoie - Realtime indexing/search system.
- Bobo - Faceted Search Engine.
- Sensei - distributed realtime searchable database with dynamic clustering. Leverages Zoie and Bobo.
- Decomposer - machine learning algorithms.
- Krati - simple persistent data store.
- http://sna-projects.com/


4. Lucandra
- Lucene-Based, an index exists Cassandra database.
- https://github.com/tjake/Lucandra


5. Hbasene
- Lucene-Based, an index exists HBase database.
- https://github.com/akkumar/hbasene
]]> Cloud cloud elasticsearch katta linkedin lucene search Fri, 20 Jan 2012 06:48:22 GMT tag:mimul.com,2012-01-20:default/1327042102890 2012-01-20T06:48:22Z http://mimul.com:80/pebble/default/2012/01/20/1327042102890.html