EUC-KR 기반의 아파치-톰캣 시스템에서 브라우져 주소창의 한글을 처리하려고 할 때 다음과 같은 문제가 발생했다.

주소창에 ‘http://v.daum.net/search?q=한글’을 직접 입력하는 경우 크게 3가지 경우가 발생했다.

1) ‘한글’이라는 파라미터 값이 ‘EUC-KR’로 URLEncoding 되서 넘어오는 경우
2) ‘한글’이라는 파라미터 값이 ‘UTF-8′로 URLEncoding 되서 넘어오는 경우
3) ‘한글’이 bytes로 변환되서 넘어오는 경우

이와 유사한 문제가 아파치 rewrite module을 사용할 때도 발생했다. 예를 들어 ‘http://v.daum.net/한글’을 ‘http://v.daum.net/search?q=한글’로 재작성하는 경우 ‘한글’이 bytes로 변환된다.

이에 대한 해결방법은 여러가지가 있을 수 있는데, 다음과 같은 아이디어를 기반으로 문제를 해결했다.

1. URLEncoding된 문자열의 헥사값을 bytes로 변환할 수 있다.
2. bytes의 인코딩을 예측할 수 있다.

(구현된 코드는 톰캣 내부의 파라미터 처리 부분과 Daum 검색개발팀의 황재석님의 코드에 도움을 받았습니다.)

‘getParameterSafely(request.getQueryString(), “q”);’와 같이 사용하면 됩니다. 단, 파라미터에 ‘%’ 문자가 포함된 경우 오작동하게 됩니다.

/* public query parsing method */
public static String getParamterSafely(String queryString, String key) {
  if (StringUtils.isEmpty(queryString)) {
    return "";
  }

  try {
    String safeQueryString = urlDecodeSafely(queryString);
    return getParameter(safeQueryString, key);
  } catch (UnsupportedEncodingException e) {
    //ignore
    e.printStackTrace();
  }
  return "";
}

/* URLDecoding 수행 */
private static String urlDecodeSafely(String queryString)
  throws UnsupportedEncodingException {
  if (StringUtils.isEmpty(queryString))
    return "";
  byte[] src = queryString.getBytes("ISO-8859-1");
  byte[] bytes = urlDecode(src);
  String charset = guessCharset(bytes);
  return new String(bytes, charset);
}

/* 헥사코드를 bytes로 변환 */
private static byte[] urlDecode(byte[] data)
  throws UnsupportedEncodingException {
  int ix = 0;
  int ox = 0;
  while (ix < data.length) {
    byte c = data[ix++];
    switch ((char) c) {
      case '+':
        data[ox++] = (byte) ' ';
        break;
      case '%':
        data[ox++] = (byte) ((convertHexDigit(data[ix++]) << 4)
          + convertHexDigit(data[ix++]));
        break;
      default:
        data[ox++] = c;
    }
  }

  return ArrayUtils.subarray(data, 0, ox);
}

/* 헥사코드 변환 */
private static byte convertHexDigit(byte b) {
  if ((b >= '0') && (b <= '9'))
    return (byte) (b - '0');
  if ((b >= 'a') && (b <= 'f'))
    return (byte) (b - 'a' + 10);
  if ((b >= 'A') && (b <= 'F'))
    return (byte) (b - 'A' + 10);
  return 0;
}

/* 재석님의 캐릭터셋 추측하는 메소드 */
private static String guessCharset(byte[] bytes) {
  try {
    CharsetDecoder decoder = Charset.forName("MS949").newDecoder();
    ByteBuffer bb = ByteBuffer.wrap(bytes);
    decoder.decode(bb);
    bb.clear();
    return "MS949";
  } catch (Exception e) {
    return "UTF-8";
  }
}

/* 쿼리 문자열에서 특정 키의 값을 가져온다. */
private static String getParameter(String safeQueryString, String key) {
  String parameters[] = safeQueryString.split("&");
  if (parameters != null) {
    for (String parameter : parameters) {
      if (parameter.startsWith(key + "=")) {
        return parameter.replaceFirst(key + "=", "");
      }
    }
  }
  return "";
}

지리산 스님들의 못 말리는 수행 이야기

나의 채식 생활을 처음 접하는 분들이 가장 많이 하는 질문이 ‘왜 채식을 하세요?’인데, 이 질문에 이렇게 대답을 하곤 한다.

‘가족분들이 출가를 하셨고, 그 모습을 가까이서 살펴보니 참 좋아보이더라. 특히 채식은 쉽게 할 수 있으며 내 삶에 많은 도움이 되는 것 같아서 채식을 하기로 결심했다.’

스님과의 인연으로 ‘보리심의 새싹’ 블로그를 만드는데 조그만 도움을 드렸는데, 그곳의 글들이 모여 하나의 책으로 나오게 되었다.

지리산의 소소한 삶, 항상 행복한 모습, 내면의 변화 그리고 결심. 작지만 소중한 이야기들이 이 책에 담겨있다. 많은 분들이 이 책을 통해 답답한 마음을 잠시 잊고, 보다 근본적인 내면의 변화를 경험해볼 수 있기를 바란다.

독재자 박정희를 모방하고 있는 이명박 정부와 한나라당. 그 끝은 어디일까?

대규모 토목건설, 언론통제, 사상통제, 암살, 전시행정…

결국 목적은 장기집권일까? 부정부패일까?

죽은 사람은 말이 없고 죽음은 돌이킬 수 없는 현실이 되어버렸다.

너무나 당연한 것들이 당연하지 않은 세상. 슬프다.

지난 겨울 동안 비어 있던 제비집

새로 도착한 제비 부부는 열심히 집을 수리하더니 지금은 하루 종일 벌레 사냥을 다니고 있고 가끔 둘이 집에 모여 신나게 수다를 떨기도 한다.

집을 지키는 암컷 제비

잠시 쉬고 있는 수컷 제비

그런데 제비가 자리를 잡고 몇일이 지났을 때 작지만 큰 사고가 하나 발생했다. 사무실 옥상을 날라다니던 제비 한 마리가 쿵! 소리를 내며 유리에 충돌했고 배를 위로 하고 바닥에 쓰려져 정신을 잃은 것이다. 깜짝 놀라 살펴보니 의식을 잃었던 제비가 다행이도 잠시 후 정신을 차리고 하늘로 날라갔다.

그 날은 구름이 많고 하늘이 흐린 날이였는데 아마 창문에 비친 하늘을 진짜 하늘로 착간했던 것 같다. 작은 생명체가 그렇게 힘 없이 다치는 모습을 다시는 보고 싶지 않아 유리창에 신문지를 붙여 놓았으나 변화무쌍한 제주도 날씨에 몇일을 버티지 못하고 신문지는 다 떨어져나간 상태다.

한라산이 바라 보이는 사무실 창문

사실 현대적 건물은 아름다움을 위해 다양한 재료를 사용하는데 특히 유리를 사용한 건물이 많아지고 있는 것 같다. 그 유리의 투명한 아름다움이 인간에게 얼마만큼의 행복감을 주는지 짐작은 가지만 그 아름다움이 작은 생물들에게 얼마나 많은 고통과 위험을 안겨주고 있는지 생각하면 마음이 아파진다. 이러한 아름다움은 조용한 덫과 같다고 할까?

예쁜 외관의 GMC 빌딩

아름다운 Daum GMC 건물은 수학여행 온 학생들이 견학을 하고 갈 정도로 멋지게 유리로 외관을 꾸민 대표적인 건물이다. 하지만 이곳에는 사람들이 알지 못하는 많은 사연이 있을지도 모른다. 지난 1월 15일 잠시 바람을 쐬러 나왔던 나는 회사 정문 앞에 쓰러져 있는 새를 발견했다. 처음에는 새가 겨울을 이겨내지 못하고 영양실조로 지쳐 쓰러져 있는지 알았는데 사무실로 데리고 온 새의 입에서 피가 흐르는 것을 보니 유리벽에 충돌해서 죽음의 위기를 맞이한 것임을 직감할 수 있었다.

피를 많이 흘린 호랑지빠귀

다행이도 이 호랑지빠귀는 (사)한국야생동물보호협회에서 오신 분들이 구조해 갔고 치료를 받은 후 자연으로 돌아간 것으로 알고 있다.

인간은 자연 진화의 법칙을 뛰어넘는 매우 빠른 속도의 발전을 계속하고 있다. 인간의 힘은 지구의 지형을 바꾸고 환경을 변화시키고, 이 변화의 속도에 적응할 수 없는 생명체들의 죽음과 멸종을 앞당기고 있다. 하지만 이런 절망적인 상황에서도 무언가 우리가 할 수 있는 일들이 있지 않을까? 차가운 비극을 줄일 수 있는 따스함이 우리에게 남아있지 않을까?

마음이 많이 아프지만 그래도 희망을 잃고 싶지 않다.

(참고 자료)

• 미국에서 1년 동안 약 10억 마리의 새가 유리에 충돌해서 죽는다고 합니다. 이를 방지하기 위한 방법도 설명되어 있네요.
• 건물의 불을 끄면 약 83%의 충돌을 막을 수 있다고 합니다.
• 새들의 창문 충돌을 막는 방법(PDF)

정리하자면 다음과 같은 방법으로 새의 죽음을 줄일 수 있다.

1. 새가 다친 흔적이 있으면 그 원인을 조사한다.
2. 새 모이통을 빌딩 가깝게 또는 멀리 떨어진 곳에 설치한다.
3. 유리의 반사를 줄일 수 있는 다양한 방법을 시도한다.
4. 높은 빌딩인 경우 밤에 소등한다.
5. 위의 조치가 성공적인지 확인한다. 만일 부상당한 새를 발견하면 야생동물보호협회에 연락한다.

try {
  SqlMapClient.startTransaction();
  SqlMapClient.startBatch();
  while (...) {
    SqlMapClient.insert(query, params);
  }
  SqlMapClient.executeBatch();
  SqlMapClient.commitTransaction();
} catch (Exception e) {
  log.error(e, e);
} finally {
  SqlMapClient.endTransaction();
}

이 기능을 활용해서 BatchManager를 만들어서 사용하고 있는데, 사용자의 로그인 시간을 기록하거나 게시물의 조회수를 늘리는 등 빈번하게 동일한 update가 발생하는 서비스에 사용하면 효과가 있다.

사용법은 기존의 서비스 코드 수정을 최소화하는 방법으로 고안했다. SqlMapClient.insert(query, params)를 BatchManager.insert(query, params)로 수정하면 된다.

관련 코드)
BatchManager.java

public class BatchManager {
  private static BatchWorker worker = BatchWorker.getInstance();
  static {
    Runtime.getRuntime().addShutdownHook(new Thread() {
      public void run() {
        try {
          worker.flushAll();
          worker.stop();
        } catch (Exception e) {
          e.printStackTrace();
        }
      }
    });
  }

  public static void insert(String query, Object params) {
    worker.put(new BatchQuery(INSERT, query, params));
  }

  public static void update(String query, Object params) {
    worker.put(new BatchQuery(UPDATE, query, params));
  }
}

BatchWorker.java

public class BatchWorker {
  public static final int HEARTBEAT = 1000;
  public static int MAX_WAIT = 30000;
  public static final int SIZE_OF_ONE_BATCH = 200;
  public static final int MAX_SIZE = 100;
  private long lastTime;
  private final Timer timer;
  private Vector queue;
  private static BatchWorker singletonWorker;

  private BatchWorker() {
    lastTime = System.currentTimeMillis();
    timer = new Timer(true);
    queue = new Vector();
    startWorker();
  }

  public static synchronized BatchWorker getInstance() {
    if (singletonWorker == null)
      singletonWorker = new BatchWorker();
    return singletonWorker;
  }

  private void startWorker() {
    timer.scheduleAtFixedRate(new TimerTask() {
      @Override
      public void run() {
        try {
          doBatch();
        } catch (Exception e) {
          // ignore
          e.printStackTrace();
        }
      }
    }, 0, HEARTBEAT);
  }

  private void doBatch() {
    if (System.currentTimeMillis() - lastTime > MAX_WAIT
      || queue.size() >= MAX_SIZE) {
      executeQuery();
      lastTime = System.currentTimeMillis();
    }
  }

  private synchronized void executeQuery() {
    if (queue.size() == 0)
      return;
    try {
      int cnt = 0;
      SqlMapClient.startTransaction();
      SqlMapClient.startBatch();
      while (cnt++ < SIZE_OF_ONE_BATCH) {
        if (queue.size() == 0)
          break;
        BatchQuery batchQuery = queue.remove(0);
        switch (batchQuery.type) {
          case INSERT:
            SqlMapClient.insert(batchQuery.query, batchQuery.params);
            break;
          case UPDATE:
            SqlMapClient.update(batchQuery.query, batchQuery.params);
            break;
          default:
            break;
        }
      }
      SqlMapClient.executeBatch();
      SqlMapClient.commitTransaction();
    } catch (Exception e) {
      log.error(e, e);
    } finally {
      SqlMapClient.endTransaction();
    }
  }

  public int size() {
    return queue.size();
  }

  public void put(BatchQuery query) {
    queue.add(query);
  }

  public void flushAll() {
    while (queue.size() > 0)
      executeQuery();
  }

  public void stop() {
    timer.cancel();
  }
}

BatchQuery.java

public class BatchQuery {
  public enum QueryType {
    INSERT, UPDATE
  }

  public String query;
  public Object params;
  public QueryType type;

  public BatchQuery(QueryType type, String query, Object params) {
    this.type = type;
    this.query = query;
    this.params = params;
  }
}

참고)

• Oracle10g 환경에서는 batch로 처리할 경우 쿼리 수행은 빨라지나 batch 처리마다 쿼리 파싱이 발생해서 CPU 비용은 증가하는 경우도 보였다.
• 예전에 찾아본 바로는 한번에 만건 이상도 batch 처리가 가능하다고 한다. 환경에 따라 가장 효율적인 batch 크기를 결정해야 한다.
• batch 처리할 경우 수행속도가 빨라지는 장점이 있고 transaction lock이 적게 잡혀 DB 부담을 줄여주는 효과도 있다.

하지만 일반적인 개발환경에서 테스트 데이터가 DB에 직접 쌓이게 되면 데이터가 꼬이는 경우가 발생할 수 있어서 이를 해결할 방법이 필요하다. 예를 들어 게시판에 글을 쓰고, 수정하고, 지우는 기능을 테스트하면서 오류로 글이 지워지지 않고 남는 경우가 있을 수 있고, 새로운 데이터를 입력하는 테스트인 경우 unique key 제한에 걸려 매번 테스트 데이터를 수정해야 하는 불편함이 따를 수 있다.

이 문제를 피해가기 위해 여러가지 방법을 활용할 수 있는데 Spring에서는 AbstractTransactionalSpringContextTests와 같은 방식으로 이를 해결하고 있다. iBatis 환경에서는 다음과 같이 JUnit4의 기능을 활용해서 DB unit test를 편하게 할 수 있다.

public class TransactionalTestCase {

  @BeforeClass
  public static void create() {
    SqlMapClient.startTransaction();
  }

  @AfterClass
  public static void destroy() {
    SqlMapClient.endTransaction();
  }

  protected ResultSet executeQuery(String sql) throws SQLException {
    Connection conn = SqlMapClient.getConnection();
    Statement st = conn.createStatement();
    return st.executeQuery(sql);
  }

  protected int executeUpdate(String sql) throws SQLException {
    Connection conn = SqlMapClient.getConnection();
    Statement st = conn.createStatement();
    return st.executeUpdate(sql);
  }

  protected int countTableRows(String tableName) throws SQLException {
    int count = 0;
    ResultSet rs = executeQuery("select count(*) from " + tableName);
    while (rs.next()) {
      count = rs.getInt(1);
    }
    return count;
  }

  protected void deleteTable(String tableName) throws SQLException {
    executeUpdate("delete from " + tableName);
  }
}

기본적으로 클래스의 시작과 끝에 Transaction을 걸어주고 있고, 데이터 초기화 기능 및 간단한 테이블 조회 기능을 추가했다. 각자의 환경에 따라 세부적인 코드는 변할 수 있겠지만 이 코드를 바탕으로 쉽게 DB unit test를 할 수 있는 기회가 될 수 있기를 바란다.

지난 주에는 ‘블로거뉴스 제작 발표회’에서 개발팀에서 고민하고 있는 내용들을 발표할 기회가 있었고 현재 진행 중인 다양한 시도들을 공유하고 의견을 들을 수 있었다. (이미지는 카앤드라이빙님의 블로그에서 빌려왔습니다.)

블로거뉴스 개발팀의 벽을 뛰어 넘는 시도들

발표 내용은 하이컨셉님이 자세히 정리한 글을 참고하면 좋을 것 같다. 간단히 설명하자면 새롭게 변화하는 변화의 중심은 RDB 기반에서 검색엔진 기반으로 변화하면서 검색 엔진의 랭킹을 사용자의 참여를 통해 구현하는 ‘열린편집 엔진’, 사용자의 행위, 문맥, 관계 등을 분석해서 글을 추천하는 ‘개인화’ 그리고 API 와 위젯을 기반으로 한 롱테일 블로그 활성화라고 할 수 있다. 하이켄셉님은 이번 시도를 ‘컨텍스트 웹’으로 해석했는데 오히려 개발할 때는 몰랐던 다양한 시도들의 근간이 되는 철학이 이미 존재하고 있음을 알게 되었다.

앞으로 또 다시 6개월이 지나면 현재 구현하고 있는 새로운 변화의 결과를 볼 수 있을 것이다. 과연 상상하고 있는 것과 만들어진 결과가 얼마나 차이가 있을지, 새로운 문화를 만들 수 있을지 기대반 걱정반이다.

개발자 앞에서 발표는 여러 번 했었지만 다양한 배경의 블로거들 앞에서 발표를 하니 마음만 앞서서 말을 급하게 했던 것 같다. 특히 전날 저녁에 농구 시합을 뛰고, 제주에서 서울로 이동을 하고, 또 홍대에서 발표 전에 가볍게 농구 한게임을 하고 왔더니 몹시 피곤해 보이는 것 같다.

발표하는 모습

그리고 역시 블로거분들의 날카로운 질문들이 이어졌다. 같이 발표한 준성님의 유연한 대답과 달리 답변이 많이 꼬였던 것 같다. 특히 블로거뉴스는 ‘열려있다’라고 하면서 ‘열려있다’에 대한 정의를 내 자신의 틀에 맞추려고 하는 잘못이 있음을 깨닫게 되서 좋았다.

질문에 답변 중

7년째 개발을 하고 있는데 지금까지의 경험을 바탕으로 블로거뉴스를 통해 세상에 좀 더 가치있는 것을 만들어 내고 싶다. 많은 사람들이 관심을 가지고 있고 영향력을 갖고 있는 블로거뉴스가 ‘다음 뷰’로 변화하는 중심에서 내가 할 수 있는 것들, 우리가 할 수 있는 것들에 집중해서 최선을 다 할 것이다.

결국 정작 내 블로그에는 쓸 글이 없어지는 상황이 반복되고 있다. 그래서 짧게 글을 남길 수 있는 Me2Day에 사람들이 끌리는 것일까? WEB2.0의 열기는 식고 있는데 그 결과로 우리에게 남은 것은 무엇일까? 많은 사람들이 자신의 생각과 이야기를 웹에 담아 놓고 있다. 웹을 통한 집단 지성의 발휘가 가능할까? 웹을 통한 정보의 확산과 민주주의의 실현이 도래할까? 아직은 모든 것이 불확실하다.

어찌 되었건, 우선은 블로거뉴스를 통해 의미 있는 서비스를 만들어 보고 싶다. RDB 기반에서 검색 엔진 기반으로 전체 구조를 변경하고, 협업 필터링과 클러스터링을 활용해서 지금 구조에서는 불가능 했던 정보 조직화 및 전달이 가능하도록 하고 싶다. Lucene도 다시 공부하고 협업 필터링 엔진도 살펴봐야 한다. 녹슨 머리에 기름칠을 할 때인가 보다.

그렇다면 2009년에는 나는 또 어떤 모습으로 변하게 될까?

연말에 휴가를 보내는 중 아내가 나에게 물어보았다. “왜 개발을 해?”
토비님의 ‘진정한 프로의 모습‘도 떠올랐고, ‘배움과 성장을 함께 하고 싶다’는 생각도 들었다. 난 왜 프로그래머의 삶을 살고 있을까? 정말 중요한 가치를 만들어내고는 있는 것일까?

내년에는 ‘블로거뉴스‘에 모든 고민과 능력을 집중시키는 한 해가 될 것 같다. 하나의 서비스를 통해 사람들의 소통을 확대시키고 지식을 나누고 서로 공감할 수 있게 할 수 있다면 내가 개발하는 것들이 의미있는 가치를 만들어내는 것이라 믿는다.

그래서 최근에는 개발보다는 사회 또는 웹에 관한 책을 많이 읽고 있다. 대부분 정독을 하기 보다는 전체적은 의미만 파악하고 있는데 나름 생각을 정리하는데 도움이 되고 있는 것 같다. 그리고 이런 생각들을 기술적으로 풀어낼 수 있는 고민들이 뒤따라야 할 것이다.

2009년은 지금까지 고민하고 익혀온 것들을 실험하는 한해가 되지 않을까? 빠르게 적용하고, 이를 통해 배우고, 다시 발전시키는 방식으로 서비스를 만들어가고 싶다. 같이 고민하고, 의견을 듣고, 최선의 결정을 내리고 싶다. 모든 사람들의 능력이 같이 성장할 수 있는 한해가 되고 싶다.

겨울산은 10년전쯤 설악산 대청봉에 오르고 처음인 것 같다. 정인이는 운동 부족으로 많이 힘들어하긴 했지만 역시 중반 이후의 멋진 풍경에 크게 만족해 했고 눈꽃이 만반할 한라산과 파란 하늘, 그리고 제주도를 둘러싼 바다의 모습까지 어느것 하나 부족하지 않았다.

컴팩트 카메라로 사진을 찍었는데, 최근에 읽고 있는 책을 보면서도 그랬지만 이제는 괜찮은 사진기를 하나 사고 싶어진다.