Openlook Stories

파이쿠차 -오랜만의 파이썬 마을 모임!

Hye-Shik Chang — Mon, 21 Jul 2008 15:25:48 -0000

다음 주(7월 27일-8월 2일)에 오랜만에 애자일 개발 워크샵 일로 1주일 동안 서울에 머물게 됐습니다. 그래서 서울 방문 기념으로 거의 1년 만에 파이썬 마을 모임을 한 번 하려고 합니다.

지난 번에 다른 행사의 부대행사로 파이썬 관련 세션을 하나 생각하면서, 자기가 파이썬을 쓰는 분야에 대해서 얘기하고 토론하는 걸 좀 생각해 봤었는데요. 최근에 페차쿠차라는 걸 보고 한 번 "내가 파이썬을 쓰는 곳/파이썬으로 만든 것"을 페차쿠차 형식으로 한 번 해 보면 어떨까 생각했습니다.

페차쿠차는 발표 포맷이 정해져 있는데요, 슬라이드 20장을 각 20초 씩 해서 총 6분 발표를 해야합니다. 보통 많은 사람들이 발표하는 곳 가면 거의 반 정도는 발표하는 사람을 제발 끌어내리고 싶은 유혹을 받는데 그런 걸 줄이기 위한 포맷이라고 하네요. 그래서 이번에는 20장은 보통 엄청 오래 한 분 아니라면 회사 기밀까지 나와야할 것 같아서, 12장 * 20초 해서 4분으로 하면 좋을 것 같네요. 중요한 것은 슬라이드는 자동으로 넘어가니까 한 슬라이드에서 시간을 마음대로 조절해서 쓸 수는 없다는 게 페차쿠차의 기본 원리라고 합니다. (다양한 분야에 활용하시는 분들이 참석하셔서 경험을 나누시면 좋겠습니다!)

혹시 장소나 시간에 대해서 좋은 생각이나 제안 (또는 장소제공) 등 남기실 말씀이 있는 분들은 알려주세요. ^^ 대략 인원 추산도 해야하니 참석하실 수 있는 분들 답글 남겨주시면 고맙겠습니다~

인스턴스 복사를 직접 다루기

Hye-Shik Chang — Thu, 10 Jul 2008 13:02:39 -0000

종종 한 인스턴스를 대량으로 복제해서 약간씩 바꿔야할 일이 있습니다. 주로 진화 알고리즘 계열이나 고치기 전/후를 비교해야하거나, 엄청나게 바꾼 뒤에 롤백을 해야한다는 등의 경우가 그런데요. 파이썬에서 복사는 기본 타입들은 각각 독특한 방법이 있지만, 보통은 copy모듈을 쓰면 간단합니다.

>>> x; copy.copy(x)
<__main__.X instance at 0x83992ec>
<__main__.X instance at 0x839970c>

그런데 철학적(?)인 분위기를 잡으며 경험이 조금 더 많은 사람이 쓱 나타나서 "너 깊은 복사랑 얕은 복사 알아?"라고 할 것 같은 느낌이 언제나 copy를 쓸 때마다 들곤 하죠; 깊은 복사(deep copy)는 참조하고 있는 객체 모두를 복사하기 때문에 속성으로 들어있는 놈들까지 별개의 인스턴스가 돼서 완전히 떨어집니다. 얕은 복사에서는 참조는 복사하지 않고 자신만 복사하기 때문에 리스트같은 것들이 공유가 되는 특징이 있습니다. 물론 얕은 복사가 훨씬 빠르고 자원을 효율적으로 쓰겠죠.

그런데 종종 클래스를 만들다 보면 어떤 것은 깊숙히, 어떤 것은 얕게 해야할 일이 발생하는데요. 그러면 copy.copy를 쓸 수도 없고 copy.deepcopy를 쓸 수도 없고 애매한 상황이 됩니다. 결국은 얕은 복사를 한 다음에 수동으로 깊은 복사를 해 주면 되겠죠. 그래서 좀 더 복사 과정을 자세히 다뤄보도록 하겠습니다.

우선 복사를 하려면 인스턴스를 새로 하나 만들어야 합니다. 여기서 발생하는 문제! __init__가 호출되면 복사라고 부르기가 애매하겠죠. 이미 초기화된 놈을 다시 초기화하게 되니까.. 그래서 __init__는 호출하지 않고 그냥 객체만 생성하는 방법을 써야하는데, 신형 클래스(new style class)냐 구형 클래스(old style class)냐에 따라서 방법이 다릅니다.

신형 클래스는 __new__를 쓰면 됩니다.

>>> class S(object):
...     def __init__(self): print "YAY!!!"
... 
>>> s = S()
YAY!!!
>>> s
<__main__.S object at 0x8399bec>
>>> s.__new__(S)
<__main__.S object at 0x8399b2c>

구형 클래스에서는 types.InstanceType을 쓰거나 types 모듈 불러오기가 귀찮으면 type(s)를 써서 만들 수 있습니다.

>>> class S:
...     pass
... 
>>> s = S()
>>> type(s)(S)
<__main__.S instance at 0x8399aac>
>>> s
<__main__.S instance at 0x8399a6c>

그래서 일부만 복사하는 놈을 만들어 보면

>>> class S(object):
...     def copy(self):
...             newobj = S.__new__(S)
...             newobj.a = self.a[:]
...             newobj.b = self.b
...             return newobj
... 
>>> s1 = S()
>>> s1.a = [1,2,3,4,5]
>>> s1.b = [6,7]
>>> s2 = s1.copy()
>>> s2.a[0] = -1
>>> s2.b[0] = -2
>>> s1.a, s1.b
([1, 2, 3, 4, 5], [-2, 7])
>>> s2.a, s2.b
([-1, 2, 3, 4, 5], [-2, 7])

이렇게 a는 복사되고, b는 공유되는 방식 copy()를 만들 수 있습니다.

사실 파이썬 자체에서 pickle 모듈같은 곳에서 저장/복원을 위한 속성 저장법이 있는데, copy 모듈도 같은 방법을 지원합니다.

>>> class S(object):
...     def __getstate__(self):
...             return self.a, self.b, self.c
...     def __setstate__(self, value):
...             self.a, self.b, self.c = value[0], value[1][:], value[2].copy()
... 
>>> s1 = S()
>>> s1.a, s1.b, s1.c = [1,2], [3,4], {'spam': 1, 'egg': 2}
>>> s2 = copy.copy(s1)
>>> s1.a[0] = s1.b[0] = -7
>>> s1.c['ham'] = 3
>>> s2.a, s2.b, s2.c
([-7, 2], [3, 4], {'egg': 2, 'spam': 1})
>>> s1.a, s1.b, s1.c
([-7, 2], [-7, 4], {'egg': 2, 'ham': 3, 'spam': 1})

__getstate__나 __setstate__ 중 하나만 구현해도 상관은 없는데 그렇게 하면 리턴값이나 받아오는 값이 모두 딕셔너리가 돼야합니다. 위에서는 a는 그대로 참조만 가져오고, b와 c는 복사하는 방식으로 클래스 복사 방법을 지정해 줬습니다. 복사와는 크게 관련은 없지만 pickle에서 저장할 수 없는 속성들 (예를 들어 소켓 같은 것)이 들어있는 클래스는 __getstate__를 지정해 주는 방식으로 특정 속성을 저장에서 뺄 수 있습니다.

파이썬 3의 한글

Hye-Shik Chang — Tue, 01 Jul 2008 06:00:19 -0000

따로 말은 필요없고 직접 예제로!

>>> 합계 = sum
>>> 딸기, 바나나, 오이 = '딸기', '바나나', '오이'
>>> 가격 = {딸기: 300, 바나나: 500}
>>> 가격[오이] = 450
>>> 합계(가격[물건] for 물건 in [오이, 딸기, 딸기, 바나나, 오이, 바나나, 딸기])
2800
>>> 가격
{'딸기': 300, '오이': 450, '바나나': 500}
>>> dir()
['__builtins__', '__doc__', '__name__', '__package__', '가격', '딸기', '바나나', '오이', '합계']
>>> '전생에 백수였습니다'[2:7]
'에 백수였'

캬~~

"파이썬은 멀티코어 줘도 쓰잘데기가 없나요?"에 대한 파이썬 2.6의 대답

Hye-Shik Chang — Sat, 28 Jun 2008 01:54:33 -0000

바야흐로 초딩도 멀티코어로 오락하는 시대가 오면서 이제 파이썬 GIL 공포가 많은 사람들을 위협하고 있었습니다. 그에 대한 해결책으로 예전부터 병렬 프로그래밍을 위한 여러가지 프레임워크, 예를 들어 MPI, CORBA, PyRO 같은 것들이 나왔지만, 다들 멋있게 모든 걸 포용하는 라이브러리를 만들다 보니 설치가 어렵거나 배우는데 한참 걸리는 게 결국 문제가 돼서 실제로 심각한 개발자 아니면 그냥 "CPU 1개면 충분해요"라고 눈을 반짝거리며 스스로 최면을 걸고 있었던 것이 사실입니다~

그래서 GIL의 파이썬 프로젝트 자체에서의 해결책으로는 공식적으로 결론에 도달한 것은 아니지만 Adam Olsen의 GIL없애기 프로젝트 같은 것도 있었는데, 이번에 몇몇 사람들의 강력한 후원으로 파이썬 2.6과 3.0부터 pyProcessing이 새 이름 multiprocessing 으로 표준 라이브러리로 들어오게 되었습니다.

pyprocessing의 다른 병렬 처리 라이브러리들에 대한 장점은 뭐니뭐니해도 표준 threading 모듈과 API가 같다는 점이겠죠. threading으로 기존에 짜 놓은 프로그램을 그냥 모듈 이름과 클래스 이름 아주 약간만 바꿔주면 쓰레딩 대신 멀티프로세싱을 사용하게 되어서 결국에는 멀티코어를 제대로 쓰는 프로그램이 됩니다. 실제로 쓰레딩같이 모든 변수를 공유하는 것은 아니고, 리턴값만 전달을 받기 때문에 정확히는 좀 다르다고 볼 수도 있지만, 뭐 "그렇게 짜면 왕변태"라고 선언하면 되겠죠. ㅎㅎ;

그래서 실제로 쓰는 모양을 보려고 옛날에 유행했던 정규식으로 소수 검사를 하는 걸 한 번 돌려 봤습니다.

from multiprocessing import Process as worker
import re, time

def isprime(n):
    convert = ''.join('1' for i in xrange(n))
    return not re.match(r'^1?$|^(11+?)\1+$', convert)

serial_st = time.time()
for i in range(10):
    isprime(1234567)
print 'Serial:', time.time() - serial_st

parallel_st = time.time()
processes = [worker(target=isprime, args=(1234567,)) for i in range(10)]
[p.start() for p in processes]
[p.join() for p in processes]
print 'Parallel:', time.time() - parallel_st

보시면 threading으로 만든 모듈과 join, start, worker 등의 사용법이 같아서 그냥 쉽게 바꾸실 수 있는데, 이렇게 돌려보면 대략 시간이 듀얼코어에서는 이렇게 나옵니다.

Serial: 18.2321028709
Parallel: 8.54528999329

대략 2배 정도 빨라졌죠~ 그냥 고전적인 던져주고 실행해서 리턴받는 방식 말고 보통 실제로 더 많이 쓰는 Queue 모델로 일꾼을 코어 개수만큼 돌려보면 이렇게 할 수도 있습니다.

from multiprocessing import Process, Queue
import re, time

q = Queue()

def isprime(n):
    convert = ''.join('1' for i in xrange(n))
    return not re.match(r'^1?$|^(11+?)\1+$', convert)

def primeworker():
    while True:
        n = q.get()
        isprime(n)
        print time.time() - parallel_st

parallel_st = time.time()
processes = [Process(target=primeworker) for i in range(2)]
[p.start() for p in processes]
for i in range(10):
    q.put(1234567)
[p.join() for p in processes]

시간은 대략 9초 정도 듭니다. 그리고 fd 넘겨주기를 지원하는 플랫폼들에서는 소켓도 받아다가 넘길 수가 있으니 네트워크 프로그램도 간단하게 멀티코어를 쓸 수 있습니다.

아주 간단하게 멀티코어를 쓸 수 있는 장점으로 표준 라이브러리로 도입이 되긴 했지만, 아직 문제가 몇 개 있는데요. 대표적으로 FreeBSD에서는 아직 POSIX 1003.1b 세마포어를 "제대로" 지원하지 않기 때문에 FreeBSD에서는 Queue나 Lock등과 관련된 것들을 하나도 쓸 수가 없습니다. (위 예제는 그래서 리눅스에서 테스트할 수 밖에 없었습니다;;)

그 외에 MPI 등의 "심각한" 분산 API들을 쓰던 프로그래머들은 이게 애들 장난이냐 하면서 없는 기능들을 지적할 수도 있는데, 아무래도 표준 라이브러리로써 아주 간단하고 기초적인 기능만 제공하는 것이 목적이고, 셋업이 복잡하거나 거대 프레임워크를 끌고 다니는 경우라면 표준에서 안정적으로 관리하기가 힘들겠죠. 그래서 multiprocessing을 도입하자 주장한 개발자는 이 모듈은 절대 다른 분산 관련 모듈을 쓰지 말라는 의미가 아니고 같이 쓰면 더욱 좋다고 강조합니다.

파이썬 매킨토시 한중일 코덱

Hye-Shik Chang — Thu, 26 Jun 2008 12:27:20 -0000

한동안 CJK 코덱은 잊고 살았는데, 올해 초에 엉뚱하게 코덱 관련 버그가 하나 떨어졌습니다. X-MAC-JAPANESE 코덱이 없다고 하면서 파이썬 설치가 안 돼요 라는 현상인데.. 파이썬 3.0에서는 빌드할 때 잠깐 빼고는 유니코드 코덱 없이는 소스 읽기 조차 안 될 정도가 됐기 때문에 시스템 설정에 있는 기본 인코딩이 안 맞으면 설치도 안 되고 잘 뜨지도 않는 현상이 발생된 것 같군요. 아니 무슨 90년대 유물인 MacJapanese가 아직 디폴트인지는 이해를 못하겠지만 말이죠;;

그래서 찾아보니까 다른 오픈소스 유니코드 관련 프로그램들은 전혀 지원하고 있지 않았지만, 펄이 유독 지원하고 있길래 어쩔 수 없이 펄보다는 나아야지 하는 오기로 (;;) 코덱 작업을 했습니다. 으흐 -ㅇ-;

CJK와 관련된 것은 MacKorean MacJapanese MacChineseSimp MacChineseTrad 이렇게 4가지인데 윈도우의 cp949 cp932 cp936 cp950과 마찬가지로 각각 euc-kr shift-jis gb2312 big5를 확장한 방식입니다. 그런데 확장을 MS보다 더 기상천외한 방법으로 유니코드 스펙을 최대한 활용한 덕에 이런 매핑까지도 등장합니다.

0xA34A  0xF864+0x005B+0x0031+0x0030+0x005D      # number ten in enclosing square, sans, shadowed

2바이트짜리 글자 하나를 무려 유니코드 5글자에 매핑을 하는 데다가, JIS X 0213에서 주로 많이 써서 골탕을 먹였던 중간에 잘라먹어도 말이 되는 글자들이 등장합니다.

0x31    0x0031  # DIGIT ONE
0xA542  0x0031+0x20DE   # DIGIT ONE + COMBINING ENCLOSING SQUARE
0xA341  0x0031+0x20DE+0xF87B    # DIGIT ONE + COMBINING ENCLOSING SQUARE, sans, shadowed

이런 경우에는 U+0031이 오면 0x31 한 글자, U+0031 U+20DE가 와도 0xA542 한 글자, U+0031 U+20DE U+F87B가 오면 0xA341 한 글자가 돼서 유니코드 1~3글자까지가 모두 다 2바이트가 돼버립니다. 그냥 단순 문자열에서는 별 문제가 없지만, 스트림 입출력 트랜스코딩에서는 이거 때문에 아주 미칠 지경이죠. 어흐흐;

그래서 그냥 C 코덱으로 매핑 덮어쓰기로 만들려니 너무 따분하고 이제 아무도 안 쓰는 인코딩 만들어 봐야 뭐하나 하는 생각에 예전에 생각해 뒀던, 딕셔너리 2개만 뿅 하고 던져주면 매핑 테이블을 덮어써서 새로운 코덱이 되는 방법으로 해 봤습니다. 예를 들어서

encode_map = { 
    u'a': 'b',   # replace original mapping
    u'b': None,  # invalidate original mapping
}
codec = _multibytecodec.create_extcodec(어쩌고 저쩌고..)

이렇게 해 주면 codec에 유니코드 a는 euc-kr에서 b로 인코딩해버리고, 유니코드 b는 모르니까 인코딩 안 해 준다고 에러내는 코덱이 나오게 됩니다. 이걸로 역슬래시 같이 논란이 있는 부분이나 용도에 따라서 좀 다르게 써야하는 만들어서 쓸 때 유용하지 않을까 생각해 봅니다~ -ㅇ-;

단, 이게 내부적으로 한 글자씩 조절을 하다보니 굉장히 비효율적이라 속도가 그렇게 빠르지는 않은 편이지만.. 그래도 요새 컴퓨터가 워낙 좋으니까.. ^_^;;

혹시 맥에서 파이썬 빌드가 잘 안 되셨던 분들은 패치를 받으셔서 한 번 해 보세요~ (아마도 별 문제가 없으면 파이썬 2.6과 3.0에 들어갈 수 있겠죠. 펄보다는 나아야지.. ㅎㅎ;;;;;;;;;;;)

오픈룩에는 어떤 전공 사람들이 올까?

Hye-Shik Chang — Wed, 18 Jun 2008 08:06:01 -0000

얼마 전에 친구와 얘기하다가 "내 홈페이지는 아무래도 전산과만 오지 않을까~?"라는 말을 했었는데, 그 후에 과연 진짜로 전공 분포가 어떻게 되는지 궁금해졌습니다. -ㅇ-;

그래서 간단하게 조사해 볼 수 있는 방법을 궁리해 보다가, 대전의 모 학교 내부 접속자들은 IP만 가지고도 건물 위치를 알 수 있기 때문에 웹서버 접속 로그에서 학교 건물 이름으로 전공을 추측하는 게 가능해서 그걸로 소집단이나마 해봤습니다. ^^;

위 그래프에서는 요청횟수가 나타나 있는데, "내 이름 어때"가 최근 접속자에서 많은 부분을 차지하고 있기 때문에 별도로 분리해서 봤고, css, jpg등 부속적으로 따라오는 파일들은 제외하고 순수한 문서 요청만 셌습니다. 기간은 6월 1일부터 오늘까지 18일간이고요~ 역시 전산과가 굉장히 많은 부분을 차지하는데, 의외로 전자과도 꽤 많습니다. 아무래도 내 이름 어때에서 넘어온 게 아닌가 추측이 되는데, 학부(주로 기숙사)에서는 내 이름 어때 요청만 굉장히 많은게 역시 학부생들 간의 유행 URL 전달이 대학원생들보다 활발한 것 같군요.

다음으론 요청수 말고 IP별 접속자 통계인데요. 접속자(unique visitor)에서 날짜별로 다른 날에 접속한 경우 별도 방문으로 처리한 방문횟수를 세 봤습니다. (내 이름 어때는 제외)

요청수는 전자과가 전산과보다 많았지만 접속자는 전산과가 더 많은데, 한 번 방문해서 눌러보는 횟수가 전자과가 더 많은 것 같군요. 아마도 로그를 대충 둘러보면 전산과는 RSS를 구독하는 경우가 많아서 접속이 거의 한 번에 1페이지씩인 경향이 다른 과보다 강한 것 같네요.

마지막으로 단골 손님 수를 전공별로 봤습니다.

단골 손님의 기준은 18일 간 제가 글을 몇 개 안 썼기 때문에, 2번 이상 다른 날짜에 방문한 IP 수로 했습니다. 수가 적어서 신뢰도가 아주 높지는 않지만 역시 전산과가 가장 많고 전자과가 두 번째군요. ^^;

결론: 앞으로는 정상인의 블로그로 거듭나기 위해 노력하겠습니다. --;;;;

동영상(?)으로 보는 파이썬의 역사

Hye-Shik Chang — Mon, 16 Jun 2008 18:17:05 -0000

Michael Ogawa의 code_swarm이라는 프로젝트에서 오픈소스 프로젝트의 CVS나 SVN 등 소스 저장고를 분석해서 일어난 작업들을 시각적으로 보여주는 걸 만들었습니다. 요새 UbiGraph같은 도구도 나오고 하는 걸 보면 시각화가 정말 굉장히 유행이네요~

code_swarm - Python from Michael Ogawa on Vimeo.

저는 3분 50초 쯤에 약간 왼쪽 아래에서 나타나서 잠시 머물다가 사라집니다;;; -ㅇ-;;;;;

이 영상은 미디어아트와 데이터 시각화에서 많은 관심을 모았던 Processing으로 만들었다고 하는데.. 전에 봤을 때는 괜히 어렵기만 하고 별 쓸모 없어보니더니 이걸 보니 확 땡기는군요. ^^;;

-- via Python Daily URL

FreeBSD도 뒤늦게 subversion으로

Hye-Shik Chang — Mon, 09 Jun 2008 21:11:42 -0000

대략 2004~2005년경에 수많은 프로젝트들이 CVS에서 Subversion으로 옮겨갔는데 거의 종교개혁 수준으로 다들 10년 넘게 쓰던 걸 갑자기 화아아악~ 바꾸는게 상당히 무서웠었죠. :) 파이썬 프로젝트도 마찬가지로 2005년 7월에 약간 늦게 svn으로 바꿔서 지금은 파이썬 sys모듈에 svn 리비전 번호가 문자열로 들어갈 정도로 잘(?) 운용되고 있습니다.

FreeBSD는 커널, 유저랜드 유틸리티 전체와 포트, 문서까지 포함하고 있는 거대 프로젝트이다보니 뭘 해도 쉽지가 않은데요. 역시 그래서 그 유명한 bikeshedding의 원조답게 수차례 결론 없는 토론을 거의 반년에 한 번씩 거듭한 끝에, 드디어 얼마 전에 svn으로 이주가 완전히 끝났습니다. (링크는 svn에서 최초 커밋)

물론 이전의 토론 과정에서는 hg, git, darcs, bazaar를 비롯한 수많은 SCM들의 변호사들이 등장해서 굉장한 토론이 꾸준히 있었지만, 분산SCM들은 분산 개발의 편리를 위해서 역사가 긴 대형 프로젝트에는 적합하지 않은 면이 많고, CVS는 그 동안 너무 문제점들이 많이 누적돼와서 결국엔 svn이 채택되었습니다. 또한 hgsvn이나 git-svn, svk 같은 툴들이 있어서 개발자들이 개인 취향에 따라 다르게 쓸 수 있다는 것도 아이러니하게 svn에 큰 점수를 줬습니다. BSDCan에서 subversion으로 이사를 주장했던 Peter Wemm이 FreeBSD에서 내부적으로 꼭 필요한 기능 (예를 들어 키워드 자동 치환, 로그 템플릿) 들을 직접 수정해서 패치를 올리고, 일일이 변환하고 잘못된 점이 있나 확인하고, 다시 잘못된 것 수정하고, 기존 커미터들을 위한 svn 가이드도 작성한 끝에 무사히 이사가 끝났습니다.

새 저장고와 관련된 것들은 대부분 http://svn.freebsd.org에 연결돼 있어서 구경하실 수 있습니다. :)

플레임에서 승리하는 자의 선택 [우리말 도우미], 지뢰밭용 업데이트

Hye-Shik Chang — Sun, 01 Jun 2008 16:07:23 -0000

예전에 올렸던 우리말 도우미를 한동안 잊고 있었는데 불여우 3.0 지뢰밭 출시가 임박해서 많은 분이 요청해 주셔서 3.0 용으로 갱신했습니다.

우리말 도우미 1.0 (불여우 부가 기능) 설치

3.0 지원 외에는 아주 사소한 레이아웃 관련 변경이 몇 개 있었지만 별로 눈에 안 띌 것 같네요 -ㅇ-;

아직 모래통 안에 들어 있어서 쉽게 설치가 안 되고, 사이트에 로그인해야지만 됩니다. 므흐흐.. 언젠가는 모래통을 탈출하여 쉽게 설치할 수 있는 날이 오겠죠. -ㅇ-;

이번 업데이트에 큰 도움을 주신 신종훈님께 감사드립니다.

2005년 이전 글들을 복구했습니다.

Hye-Shik Chang — Thu, 29 May 2008 13:30:49 -0000

2005년 2월에 pyblosxom에서 COREBlog로 옮기면서 글 내용만 옮기고 댓글, 그림은 옮기지 않아서 옛날 자료들이 검색엔진에서 걸리면 상당히 흉한 화면이 덩그러니 나왔었는데요. 이제 문명의 혜택을 받은 django 사용자로써 --; 옛 글도 제대로 나오게 복구해 봤습니다. pyblosxom 때는 moinmoin 첨부를 써서 그림을 올렸었지요. 그런데 지금 보니 절대경로로 쓴 것, 상대경로로 쓴 것, 애플리케이션 서버 포트에 직접 접속하는 것 등등 별의 별 잡스러운 방법으로 일관성 없게 URL이 기록돼 있네요. 크흐;

지금은 이제 2003, 2004년에 남겨주신 소중한 댓글들도 모두 복구해서 잘 넣어 두었습니다. ^_^; (옛 글들은 오른쪽 곁에 있는 "이전 글 보기"를 누르시면 됩니다.) 스팸 2000개 지우는게 생각보다 힘드네요. 흐;;

지금 옛 글들을 둘러보니 대체로 부끄러운 글이 많은데, 그 중에 그래도 가장 애착이 가는 것은 안 초연하다. (2003년 11월 28일) 이군용! 지금도 뭐 상황은 같아서.. 5년이나 지나도 참 일관성 있습니다. 므흣; ㅠ.ㅠ

"내 이름 어때" 만든 이야기~

Hye-Shik Chang — Wed, 28 May 2008 20:35:42 -0000

며칠 전에 올렸던 "내 이름 어때?"를 만들면서 썼던 여러 가지 기술적인 부분에 대해서 간단하게 정리해 봅니다. 물론 django로 만들었습니다! 이히히

Django 템플릿에서 한글 조사 처리

이름 뒤에 은/는 이/가 같은 것들을 제대로 붙이려면 아무래도 템플릿에서 처리를 해 줘야하는데, django에서는 애플리케이션에서 직접 템플릿 태그나 필터를 정의하는 걸 매우 장려하는 분위기라서 "필터"를 따로 정의해서 처리했습니다.

템플릿에서 이렇게 쓰려고 하는 부분이 있다면:

이름을 뒤집으면 {{ rev_last_name|attach_korean_suffix:"이가" }}
되어서..

필터 정의를 이렇게 해 줬습니다.

@register.filter
def attach_korean_suffix(string, suffixes):
    if hangul.ishangul(string[-1]) and hangul.split(string[-1])[2]:
        return suffixes[0]
    else:
        return suffixes[1:]

마지막 줄에서 1:로 굳이 잡아준 이유는 이름 뒤의 ~이 처럼 받침이 없으면 끝에 안 붙는 경우도 처리해 주려고요..

추세 해석

이름의 인기가 늘고 있는지 줄어드는지를 글자로 판단해서 표현해 주기 위해서, 간단한 계산식을 사용했습니다. 우선 원 데이터 자체는 샘플수가 적어서 노이즈가 많기 때문에 보통 많이 쓰이는 9개 윈도우 평균으로 했고, 이렇게 하면 18개 포인트가 나와서 세 부분으로 나눠서 앞 중간 뒤의 평균을 다시 구해서 3가지 값이 나왔습니다. 그래서 눈으로 딱 보면 값이 계속 증가하는지, 올라갔다 내려갔다 하는지를 볼 수 있는데요, 그냥 값으로 볼 수는 없으니 앞/중간 과 중간/뒤의 각각의 변동폭을 0에서 1사이로 정량화해서 봤습니다. 변동폭은 이름마다 절대량이 다르기 때문에 상대량으로 비교해야해서 아래와 같은 식으로 썼습니다.

보기엔 약간 쓸데없이 복잡하긴 하지만, 그냥 상대비율을 (0, 1) 사이로 넣어주는 일 밖에 안 합니다;;;

이렇게 나온 값으로 앞 뒤가 모두 (0.4, 0.6) 구간에 들어오면 "꾸준한 추세입니다."라고 하거나, 앞-중간은 (0.0, 0.3), 중간-뒤는 (0.0, 0.5) 구간에 들어가면 앞 반쪽에서 감소세가 강하고 뒷 반쪽에서 감소세가 둔하다는 의미이므로 "확 줄어들다가 잦아드는 추세입니다."라고 보여주는 식으로 주된 패턴들을 "대충" 느낌으로 나열하는 방법으로 코딩했습니다. 크흐;

구글 차트

이름 전체의 성별 성향이나 이름의 시대적 경향, 이름 글자의 시대적 경향을 보이는 부분에서 구글 차트를 불러서 사용했습니다. 구글 차트는 직접 URL을 코딩하는 방법은 아니고, pygooglechart를 사용했는데요, 이게 의외로 그런대로 잘 만들어서 웬만한 기능은 불편없이 쓸 수 있게 돼 있더군요. :)

다만, 하나 기술적인 문제가 있었던 부분은 이름 글자의 시대적 경향 같은 경우에는 글자마다 실수값 18개씩(경향)이 저장돼야 하기 때문에, 이걸 그냥 저장하는 건 여러모로 번거롭고 해서 구글 차트 API에서 쓰는 0~4095 사이 인코딩하는 방법으로 썼습니다. (base64와 거의 같은 방법입니다.) 그래서, 저장은 바로 구글 차트 API URL에 쓰면 되는 형태가 돼서 다시 불러올 때 매우 빠르게 불러올 수 있긴 한데, 문제는 한 이름 안에 이름 앞자와 뒷자의 경향을 모두 보여줘야하기 때문에 둘의 그래프 크기를 제대로 조절해 주지 않으면 각 글자의 크기가 잘못 나온다는 점이었습니다.

그래서 결국 선택한 방법은 보여줄 때 앞자 뒷자 인코딩된 값을 다시 풀어서 큰 쪽의 스케일로 맞춘 다음에 다시 인코딩하는 -.,-; 약간 노가다성 방법을 썼습니다. 역시 이런 부분은 numpy의 array의 도움을 많이 받을 수 있었습니다.

확장코드 인코딩/디코딩 부분을 따로 떼서 쓸 일이 좀 있을 것 같아서..

encmap = 'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789-.'
decmap = [(encmap.index(chr(c)) if chr(c) in encmap else 0) for c in range(128)]
def decode_ggenc(encoded):
    return [decmap[ord(hi)] * 64 + decmap[ord(lo)]
            for hi, lo in zip(encoded[::2], encoded[1::2])]
def encode_ggenc(data):
    return ''.join(encmap[int(v//64)]+encmap[v%64] for v in data)

통계치가 적은 이름의 성별 추정

역시 통계 샘플 크기가 작아서 주요 이름들을 빼고는 제대로 된 통계치를 낼 수 없어서 주요 이름들의 성별 경향으로 학습한 걸로 예측하는 부분이 필요했습니다. 이번에는 아예 사용된 적 없는 글자까지도 어떻게 좀 해 보려고 통계치에 전혀 의존하지 않고 그냥 자소별로 분해해서 이름만 피처로 사용하기로 했습니다. 그래서 보통 SVM을 쓰는 것이 여러모로 대세이기는 하지만, 카테고리성(이산) 피처값에 매우 유리한 random forest을 썼습니다. (물론 제가 수학을 워낙 못하는 것도 큰 요인으로;;;;)

Random forest는 아무래도 쓸 수 있는 구현이 적다는 게 큰 문제인데요. 파이썬에서 쓸 수 있는 orange를 쓰면 정말 좋겠지만, 아쉽게도 이 구현은 리그레션은 지원하지 않고요. Y.Y R용 패키지인 party와 randomForest 중에 선택해야하는데, party를 먼저 했으나 메모리 3기가를 먹더니 죽었고 (-_-) randomForest는 안정적으로 대략 200메가 정도 먹고 그런대로 쓸 만한 결과를 줬습니다. :)

학습 기법 측면에서는 남자 샘플이 2배 정도 되기 때문에 편향 문제가 있어서 샘플링 조절을 좀 해야했는데요, 그냥 복잡한 것 쓰지 않고 대략 0.3 밑을 반 다운 샘플링하니까 전체적으로 분포가 윗쪽하고 아랫쪽이 그런대로 맞았습니다. 중성적인 이름이 수가 훨씬 적은 것도 또한 중성적 이름 쪽에서 오차를 많이 발생시킬 수 있는 요인이 될 수 있는데, 이쪽에서 오버샘플링을 하려고 하다가 "될 거 같으면 대충해도 돼야 하는거지" 하는 교수님 말씀이 귓가를 스치며 놀이인데 대충하자 하고 -ㅇ-;; 크흐; 그래서 결국 10-fold cross validation으로 평균 피어슨 연관성이 0.97 정도 나왔습니다. (만... 역시 사람 느낌하고 좀 다른 사례가 개별적으로는 제법 많이 발견되긴 하네요;)

페이지 내용 캐시

서비스를 공개한 다음 날 점심시간이 좀 지나고 나서는 접속이 폭주해서, 실시간 계산이 상당히 있었던 구현 특성상 앞으로 어떻게 될 지 참 고민이 있었는데요; 그래서 마침 전혀 필요없겠다 싶어서 꺼놨던 django의 캐시 프레임워크를 살려서 해 봤습니다. 백엔드를 선택할 수 있는데, 역시 제일 잘 나가는 memcached를 썼습니다. 이거 소문대로 깔끔하고 잘 돌아가네요. ^_^;

Django는 다행히도 템플릿에서 일부만 특정 변수에 따라서 캐시하는 기능이 있어서 이름에 따라 바뀌는 부분, 성에 따라 바뀌는 부분을 따로 따로 캐시하도록 3조각으로 따로 캐시해서 생각보다 훨씬 간단하게 쉽게 캐시로 넣었고요, 지금은 CPU부하가 전보다 같은 요청에서 거의 1/10로 줄어들었습니다! 이히히.

다른 사소한 것들..

몇 분께서 물어보셨던 게 자료처리나 통계처리는 어떤 걸 썼느냐가 있는데, 특별히 쓴 것은 없구요, 파이썬 하나면 다 해결됩니다. -ㅇ-; 물론 numpy, matplotlib도 아주 큰 도움이 됐습니다. collections.defaultdict를 전에는 그렇게 자주 쓰지는 않았는데, 이번에 좀 과격하게 3~4 단계 쑥쑥 defaultdict를 겹쳐서도 써 봤더니 pickle이 잘 안 되는 문제만 빼고는, 코드를 아주 많이 줄여준다는 점에서 아주 사랑스러웠습니다.

후속편으로는 이번에 들어온 로그를 한 번 분석해 보려고 하고 있습니다. ^^;

내 이름 어때? -- 한국인의 이름 2탄!

Hye-Shik Chang — Mon, 26 May 2008 19:58:03 -0000

전에 올렸던 한국인의 이름 통계를 많은 분들이 관심있게 봐 주셔서, 본인 이름은 얼마나 많은가요, 얼마나 중성적인가요 같은 질문을 많이 받았습니다. 그래서 직접 확인하실 수 있게 통계에서 나온 여러 자료들을 모아서 한 페이지에 보이도록 서비스를 만들어 봤습니다.

대부분은 이전 글에서 소개해 드렸던 내용이고요, 이번에 추가된 부분은 통계에서 자료가 충분하지 않을 때 자동으로 추정하는 것과 이름이나 글자가 시대가 바뀌면서 어떤 빈도 변화가 있는지 그래프로 나타내는 부분입니다.

자동 성별 추정 부분은 통계 수치없이도 단순하게 바로 이름에서 예측할 수 있게 하기 위해 피처는 그냥 이름을 자소로 쪼갰고, random forest를 사용했습니다. (옵션은 리그레션, 500그루, mtry=3, R randomForest 패키지 사용) 10배 교차검정에서 피어슨 연관성이 0.97이 나와서 대략 결과는 좋긴 한데, 실제로 보다 보면 얼토당토않은 결과가 심심찮게 나옵니다;; 나중에 제대로 쓰려면 글자 단위 통계도 피처로 좀 추가해야할 것 같네요.

그리고, 역시 이름도 시대별 흐름이 있는데요. 예를 들어 미자, 혜자, 경자 같이 -자로 끝나는 이름은 60년대생까지 매우 흔한 여자 이름이었지만 70년대부터 급속히 사라지는데 그래프로 직접 이런 경향을 확인할 수 있도록 했습니다. 데이터셋이 그렇게 크지 않기 때문에 그냥 생데이터를 쓰지는 못하고, 9년 단위 슬라이딩 윈도우 평균으로 했기 때문에 갑자기 튀는 최고점 같은 것은 좀 무시되었습니다. (이 분석을 위해 "생년"만 추가로 데이터를 받아서 보충했습니다.)

자 그럼 본인 이름을 넣어보세요~ ----> 내 이름 어때! <----

이터레이터 팁 몇 가지

Hye-Shik Chang — Mon, 19 May 2008 17:33:59 -0000

나중에 쓰려고 쌓아두고 있던 간단한 예시인데, 더 이상 쌓이지가 않아서 (--;) 방출해 봅니다;

파이썬 이터레이터/제너레이터는 함축적으로 프로그래밍하는 걸 즐기는 사람들에게는 정말 재미있지만, 절차적 프로그래밍을 하다가 갑자기 이터레이터를 쓰는 게 적응이 잘 안 되는 경우도 많이 볼 수 있습니다. 최고의(!) 파이썬 책으로 유명한 David Beazley가 지난 3월에 PyCon 2008에서 튜토리얼로 시스템 프로그래머를 위한 제너레이터 트릭을 발표했습니다. 여러모로 재미있는 내용인데요~ 저기서는 제너레이터를 주로 다뤘는데, 몇 가지 이터레이터와 관련된 사용 예를 소개해 드리려고요~ (별로 관련 없는 것이 뒤죽박죽;;)

zip을 쓰면 이터레이터를 일정 개수씩 빼오는 걸 간단하게 할 수 있습니다.

>>> s = iter('abcdefghijklmnopqrstvwxyz')
>>> zip(range(5), s)
[(0, 'a'), (1, 'b'), (2, 'c'), (3, 'd'), (4, 'e')]
>>> zip(range(5), s)
[(0, 'f'), (1, 'g'), (2, 'h'), (3, 'i'), (4, 'j')]

빈칸이 올 때까지 입력받은 걸 리스트로 받으려면?

>>> list(iter(raw_input, ''))
Python - 
batteries included

['Python - ', 'batteries included']

딕셔너리 2개에서 양쪽 중 하나라도 키가 있는 것들을 뽑아서 돌려서 합치려는 경우..

>>> a = {'a': 3, 'b': 4}
>>> b = {'b': 5, 'c': 6}
>>> set(a) | set(b)
set(['a', 'c', 'b'])
>>> dict((key, a.get(key, 0) + b.get(key, 0)) for key in set(a) | set(b))
{'a': 3, 'c': 6, 'b': 9}

(이 경우는 collections.defaultdict를 써도 간단합니다.)

리스트를 받아서 순위를 계산

>>> from operator import *
>>> s = [9, 8, 1, 5, 3, 7, 4, 0]
>>> map(itemgetter(0), sorted(enumerate(s), key=itemgetter(1), reverse=True))
[0, 1, 5, 3, 6, 4, 2, 7]

(이건 뭐 주제하고 상관도 없고 제멋대로;;;)