행복한 아빠

Ubuntu에 장고 애플리케이션 배포

행복한아빠 — Fri, 07 Oct 2016 11:13:58 +0900

Installation On Ubuntu 14.04.3 LTS

OS : Ubuntu 14.04.3 LTS
Python : 3.5
WSGI : uWSGI
Web : Nginx
DB : MySQL
Application 설치 디렉토리 : /home/ubuntu/hello-web

Python 3.5 설치

Python 3.5

Ubuntu 14 LTS는 python 2.7, python 3.4가 설치되어있다. 따라서 3.5는 따로 설치해야 한다. (그냥 기본 python 쓰기 위해서는 설치 불필요)

$ sudo add-apt-repository ppa:fkrull/deadsnakes
$ sudo apt-get update
$ sudo apt-get install python3.5
$ python3.5 -V

python 3.5 명령어는 "python3.5"이다.

pip3 & virtualenv

python 3.5에 맞게 pip3와 virtualenv를 설치해야 한다.

$ wget https://bootstrap.pypa.io/get-pip.py
$ sudo python3.5 get-pip.py
$ sudo pip3 install virtualenv

mysql client 모듈

python mysqlclient 모듈 설치를 위해 다음을 설치해야 한다.

$ sudo apt-get install libmysqlclient-dev
$ sudo apt-get install python3.5-dev

Git 설치

Git을 이용하여 소스를 관리하고 application을 배포한다면 git을 설치한다.

$ sudo apt-get install git

Application 설치 (Git을 사용할 경우)

$ git clone https://yourgitserver/hello/hello-web.git
$ cd hello-web
$ virtualenv venv
$ source venv/bin/activate
$ pip install -r requirements.txt

각자 다른 형상관리도구를 사용하면 그 도구에 맞게 소스를 옮긴다.

uWSGI 구성

실제 서비스는 WSGI Container에서 한다. WSGI Container로 uWSGI를 사용한다. uWSGI는 Emperor 모드로 실행한다.

$ pip install uwsgi
$ mkdir /home/ubuntu/hello-web/logs
$ sudo mkdir -p /etc/uwsgi/sites
$ cd /etc/uwsgi/sites
$ sudo vi hello.ini

/etc/uwsgi/sites/hello.ini

[uwsgi]
project = hello-web
base = /home/ubuntu

chdir = %(base)/%(project)
home = %(base)/%(project)/venv
module = hello.wsgi:application

master = true
processes = 5

socket = %(base)/%(project)/%(project).sock
chmod-socket = 664
vacuum = true
logto = %(base)/%(project)/logs/%n.log

uWSGI를 Upstart 추가

uWSGI 프로세스 관리를 upstart로 한다.

$ sudo vi /etc/init/uwsgi.conf

/etc/init/uwsgi.conf

description "uWSGI application server in Emperor mode"

start on runlevel [2345]
stop on runlevel [!2345]

setuid ubuntu
setgid www-data

exec /home/ubuntu/hello-web/venv/bin/uwsgi --emperor /etc/uwsgi/sites

NGINX 구성

$ sudo apt-get install nginx
$ sudo vi /etc/nginx/sites-available/hello-web

/etc/nginx/sites-available/hello-web

server {
listen 80;
server_name hello.co.kr, www.hello.co.kr;

location = /favicon.ico { access_log off; log_not_found off; }
location /static/ {
root /home/ubuntu/hello-web;
}

location / {
include uwsgi_params;
uwsgi_pass unix:/home/ubuntu/hello-web/hello-web.sock;
}
}

hello-web 설정을 nginx 구동 디렉토리에 옮기고(symlink) 기본 설정은 삭제한다.

ln -s /etc/nginx/sites-available/hello-web /etc/nginx/sites-enabled/
rm /etc/nginx/sites-enabled/default

구동

$ sudo restart nginx restart
$ sudo start uwsgi

Java Jigsaw가 도대체 뭐지? - Java9의 핵심

행복한아빠 — Tue, 27 Sep 2016 00:57:47 +0900

Java 9 이야기가 솔솔 들립니다. Java 9의 특징 중 가장 주목할 만한 것이 Java jigsaw라는 프로젝트에서 착안한 모듈화 시스템이라는데 대충 소개한 글로는 뭔 소리인지 몰라서 한 번 찾아봤습니다. 자세한 스펙이나 기능요소보다는 Java Jigsaw가 말하려는 개념을 구체적으로 이해할 수 있도록 정리합니다.

새로운 모듈 시스템?

Java는 패키지의 name space나 패키징 방법을 제공하는 JAR 그리고 Maven이나 Gradle 같은 모듈 관련 기능 및 생태계가 비교적 잘 되어 있다고 믿었는데 난데없이 왜 새로운 모듈 시스템을 들고 나왔는지 이해가 안 갑니다.

그래서 Project Jigsaw DRAFT 문서의 프로젝트의 목적을 살펴봤습니다. (http://openjdk.java.net/projects/jigsaw/goals-reqs/03)

SE 플랫폼과 JDK를 작은 컴퓨터 디바이스에 보다 쉽게 경량화(scalable down)할 수 있게 한다.
Java SE 플랫폼의 전반적인 구현 부분과 특히 JDK 부분의 보안성과 유지관리성(maintainability)을 향상시킨다.
애플리케이션의 성능을 높일 수 있게 하고
Java SE 그리고 EE 플랫폼에서 개발자들이 라이브러리와 애플리케이션 구성과 유지를 쉽게 만들어 준다.

음... 모듈화 잘 해서 위와 같이 한다는데 좋은 소리인데 뭘 어케하겠다는 건지...

뭐가 문제였나?

기존의 Java 패키징 메커니즘의 문제로 JAR/Classpath hell, 보안, performance 등의 문제도 지적하지만 이 모든 것의 원인은 캡슐화 지원이 부족한 것 때문이 아닌가 합니다. Java는 public, private과 같은 클래스 수준의 가시성 한정자(visibility modifier)가 있습니다. 그러나 이것은 클래스까지만 유효하지 패키지를 넘어서는 힘을 잃어버리게 됩니다.

예를 들어 우리는 JAR로 제공된 패키지의 클래스를 보면 어느 클래스를 써야할 지 알 수가 없습니다. 대부분의 클래스가 public이고 접근이 가능합니다. 그 안에는 API 설계자가 내부 구현을 위해 만든 내부용 API도 있을 겁니다. 기존에는 이 내부용 API(public 이라면) 접근이 가능합니다, JAR 로 제공되고 문서화가 잘 되더라도 클래스와 메소드가 public이라면 여러가지 이유로 API 설계자가 의도하지 않은 호출이 발생할 수 있습니다.

문제는 API 제공자가 기능 향상이나 리팩토링을 위해 이러한 내부용 API를 바꾸고 싶을 때 입니다. 누가 쓸 지 알 수 없는 상황에서 쉽게 바꿀 수 없는 노릇입니다.

Java Jigsaw는 어떻게 이 문제를 푸는가?

모듈을 만들고 모듈에 명시적으로 외부에서 호출할 수 있는 API를 선언합니다. 언어레벨에서 API 작성자가 외부에 노출한 API외에는 접근할 수가 없습니다.

뿐만 아니라 모듈은 그 모듈에서 사용할 다른 모듈을 선언합니다. JDK는 이 기능(feature)을 통해 모든 내부 API를 캡슐화하여 구성합니다.

모듈 선언 예) $ cat src/com/mycompany/module-info.java

1
2
3
4
5
6
module com.mycompay {
    // com.yourcomapny 를 사용할 거야
    requires com.yourcompany;
    // com.mycompany를 사용할 수 있어
    exports com.mycompany;
}
cs

경험담

프로젝트를 하면서 컴포넌트 기반 개발(CBD)을 위한 아키텍처를 구성하고 개발을 해 왔습니다. CBD의 일반적인 아키텍처는 컴포넌트의 인터페이스를 정의하고 이 인터페이스의 구현을 제공하는 것입니다. 외부 클라이언트는 이 인터페이스를 통해서만 그 기능을 호출하는 것이죠.

예를 들어 위의 구성을 가지면 UserService 인터페이스로 이 컴포넌트를 사용해야 합니다. 그런데 누군가 내부 구현을 위한 UserHelper 클래스에 유용한 API가 있어 이것을 사용하게 되었습니다. 말릴 수가 없습니다. 그리고 이 컴포넌트 설계자는 누군가 UserHelper 를 호출 했을지도 모른다는 두려움에 기능 개선을 위해 UserHelper 클래스를 변경할 수가 없습니다.

이러한 제약은 아키텍처 문서나 개발자 가이드에 적시하여 규칙으로 관리할 수 밖에 없습니다. 그러나 누군가는 약속되지 않은 API 호출을 하고는 합니다.
Java jigsaw의 모듈화 시스템은 이러한 문제를 깔끔하게 해결합니다.

지금까지 잘 살고 있는데 왜?

뭐 설계상의 난점과 그와 관련된 문제도 있지요. 그러나 그러지 않아도 Java 는 잘 돌고 있는데 위험(아래에 설명)을 무릅쓰고 이와 같은 큰 변화를 시도하는 이유가 뭘까요?

Project Jigsaw의 주요 목표는 한마디로 유연한 런타임 이미지를 만들 수 있도록 Java 플랫폼을 모듈화하는 것입니다. 즉 필요한 모듈만으로 경량화된 이미지를 만들기 위함입니다.

기존에는 JRE 일부분만 배포할 수가 없었습니다. 애플리케이션이 사용하지 않더라도 XML, SQL, Swing 같은 패키지는 항상 같이 배포되었습니다.

언어 레벨에서 모듈간의 의존성을 알 수 있으니 애플리케이션이 사용하는 모듈만 모아서 런타임 환경(이미지)를 만들 수 있습니다.

https://bugs.openjdk.java.net/secure/attachment/57772/jdk.png

JDK의 모듈 구조는 위와 같은 형태로 작게 나뉘어 질 것이며, 표준 API(SE, EE)뿐만 아니라 3rd party 라이브러리 심지어 우리가 만든 라이브러리에서도 필요한 것만 골라서 배포할 수 있습니다.

런타임 이미지가 작아진다는 것은 아래 이야기 하는 것들이 가능하다는 이야기입니다.

소형 디바이스

서버 사이드야 용량도 크고 성능도 좋아 상관없지만 라우터나 셋톱박스 같은 작은 디바이스는 괴롭습니다. 런타임 이미지가 작아지면 소형 디바이스에 여러모로 유리합니다.

서버 아키텍처

서버 쪽은 도커에 의해 애플리케이션이 컨테이너화 되는 추세입니다. 런타임 이미지가 작다면 경량의 도커 이미지가 가능하고 배포하고 관리하기 유리해집니다.

클라우드 컴퓨팅, 마이크로 서비스 등의 아키텍처 트랜드에 맞추기 위해, 런타임의 경량화 기반을 준비하는 것으로 볼 수 있습니다.

스타트업 시간과 성능

현재는 필요한 클래스를 순차적으로 로드하느라 JVM 구동 타임에 시간이 걸립니다. 또한 암시적으로 모든 클래스를 동적으로 호출할 수 있는 구조입니다. 모듈화 시스템은 필요한 모듈을 알기에 그것만 로드할 수 있습니다. 또한 모듈간의 호출구조가 정의되어 있기에 성능향상을 위한 기회를 얻을 수 있습니다.

JDK, JRE 통합?

JRE와 JDK는 사용목적에 따라 다르게 배포하고 있습니다. JDK가 JRE를 포함하여 추가적인 패키지를 더 제공하고 있죠. 모듈화 시스템을 제공하면 이러한 분리가 필요 없고 두 플랫폼은 같은 구조를 가지게 된다고 합니다.

넘어야 할 산들

언어 레벨에서 모듈간의 의존관계를 확실히 하면 이처럼 좋은 점이 많습니다. 그러나 넘어야 할 산들이 많습니다.

레가시 코드는 어쩌나

Java의 큰 장점 중 하나가 하위 호환성(Backward compatibility)인데, 이거 어떻게 풀지 두고 봐야겠습니다. Java 9에 레가시 코드를 쓸 경우 모듈화 시스템 관련 부분이 가장 큰 혼란이지 않을까 합니다.

Java 9을 쓴다면 자신의 코드 중 나도 모르게 내부 API 쓴 부분이 있는지 검사해야 할 듯 합니다. (컴파일러나 다른 도구가 체크하겠지만..)

com.sun.*

com.sun과 같은 비공식적인 API는 되도록 사용하지 말라고 경고했습니다. 그러나 성능 등의 많은 이유 때문에 비공식 API를 사용하고는 합니다.

이런 종류의 API를 쓴 코드는 그 대가를 치를지도 모르겠습니다만. com.sun.* 같이 특별한 이유로 흔히 사용했던 API에 대한 고민과 지원이 있을 듯 합니다.

개발도구들

lib/rt.jar나 lib/tool.jar 같은 내부 JAR파일들의 접근이 불가합니다. 이러한 JAR 파일은 IDE나 빌드도구들이 많이 사용하는데 개발도구들이 영향을 많이 받을 듯 합니다.

이와 같이 람다같은 기능과는 달리 레거시 코드에 상당한 영향을 줄 수가 있습니다. Java 9이 출시 되더라도 바로 Java 9으로 이전 하는 것은 위험요소가 있을 듯 합니다.

언어 레벨에서의 모듈화 시스템

언어 레벨에서 모듈화를 지원한다는 것은 도구 레벨에서 불가능한 것들을 가능하게 할 것입니다. 제일 큰 부분은 기본적으로 java runtime 부분을 쪼갤 수 없었던 것을 쪼갤 수 있게 한 것이죠. 이러면 배포시 사용하지 않는 Swing, XML, SQL 같은 패키지는 제외하고 배포할 것입니다.

이런 특징은 여러분의 프로젝트에서도 가능하여 최소한의 런타임 이미지를 배포하여 가볍게 운용할 수 있습니다.

지금처럼 굉장히 많은 클래스 집단이 하나의 JAR로 배포되고 관리되는 대신 굉장히 작은 모듈단위로 배포될 것입니다.

모듈의 단위가 작아질 때의 문제점은 모듈간의 의존관리가 어려워지고 매우 복잡해 진다는 것입니다.

잘못하면 cyclic dependency(모듈간 상호 참조)가 빈번히 발생할 가능성도 적지 않습니다. 필요한 API 있다고 마구 호출하지 말고 설계에 신경을 써야 할 것입니다.

그래서

제가 요즘, 규칙에 좀 관대한 언어를 쓰고 있지만 경우에 따라 Java와 같이 규칙이 엄격한 언어가 유리하기도 합니다.

개인적으로는 규칙이 엄격한 Java 언어에서 무척 반길 만한 내용입니다. 실제 어떻게 적용될 지, 그리고 이 방식의 API 구성이 얼마나 확산될 지 기대됩니다.

처음은 Java 클래스의 가시성 정도로 충분하다고 생각 했었지
그러나 프로그램이 커지다 보니 클래스의 묶음도 필요 했지
클래스 묶음 단위로 관리하고 싶었는데 클래스들 사이가 좋아 다른 동네의 클래스도 막 호출하는 거야
도대체 어떤 클래스가 어떤 클래스를 호출 하는지 알 수가 없네
안되겠어. 클래스 묶음에서 호출할 수 있는 대표를 정하고 대표 하고만 이야기 하도록 하자
그래 클래스 묶음 단위로 관리하려고 하는 거야.
그걸 모듈이라고 불러...

참조:

http://openjdk.java.net/projects/jigsaw/
http://blog.codefx.org/java/dev/motivation-goals-project-jigsaw/

(지난 간 이야기) CBD에 관하여

행복한아빠 — Tue, 27 Sep 2016 00:36:59 +0900

오늘은 집에서 소주 한 잔 하고 글을 남겨 봅니다. 이 다음은 그냥 구어체로 이야기합니다. 뭐 내 블로그니까. 크하하~ (술 취했음)

완벽(?)해지고 싶은 아키텍트

얼라 빡센 프로젝트에 들어왔지. 200명이 넘는 개발자를 대상으로 아키텍처 가이드 제시해야 해...
그리고 우리는 그 당시(2005년) 최신 기술? 트랜드였던 컴포넌트 기반 설계/개발을 위한 아키텍처를 수립했어.
아주 정교한 그리고 현실적인 아키텍처로 말이야...

CBD 전략

우리의 전략은 이랬지(Java 그리고 j2EE를 기반으로...). 우선 컴포넌트마다 패키지를 정의해. 그리고 그 패키지에 외부에서 접근을 허락한 인터페이스를 정의해. 외부에서 우리가 작성한 컴포넌트는 이 인터페이스로만 호출할 수 있는 거야. 이건 약속이야 아키텍처니까.

우리의 패키지는 인터페이스와 그 구현 그리고 흔히 이야기하는 Value Object, 그 외 각종 로직을 담고 있는 helper 클래스가 존재해. 이건 컴포넌트 내부 구현을 위한 클래스야. 관심 두지마. 그냥 인터페이스만 보고 호출해...

그런데 말이야... Javadoc 주석을 충실히 달기를 바래. 소스코드는 문서화의 마지막 보루야. Javadoc 잘 달아야 다음 개발자가 무리없이 작업할 수 있어. 우리는 프로니까... 소명감을 가지고 충실히 달자.

뭔가 잘못됨

우리는 훌륭한 빌드 시스템을 구축하여 빌드 뿐만 아니라 Java API 문서화 시스템도 훌륭히 갖추었지. 이제는 우리가 예측한 데로 결합도는 낮으면서 응집도는 높은 아주 훌륭한 설계를 가진 시스템이 탄생할 거야...

그런데...

예측하지 못한 일이 발생했어. 우리 컴포넌트를 사용하는 개발자들이 우리 인터페이스만 이용하는게 아니야. 우리 컴포넌트 패키지의 모든 클래스를 훑어보고는 괜찮은 API는 죄다 사용하는 거지. 훌륭한 Java document가 문제였던 거지.

오 마이 갓~. 나는 인터페이스만 사용하기를 바랬어. 급하게 만든 MyCalculator나 MyStringUtil 같은 클래스의 API는 나중에 바꿀라고 했어. 그런데 이걸 누군가 사용했다는 거네. 촌스럽게 지은 클래스 이름과 API 이름.. 이거 어떻게.

우리는 고민했지. 도대체 어떻게 이 일이 번지는 걸 막을 수 있지? 우선 규칙을 정했지. 컴포넌트의 최상위 패키지에 있는 클래스나 인터페이스만 너희들이 쓸 수 있는 물건이라고... 그 아래는 구현과 관련된 내부 클래스나 API이니 관심갖지 말라구.

그러나... 개발자들은 대단해. 괜찮은 API 있으면 어떻게든 찾아서 그냥 써 버려. 이건 우리의 경우만 아니야. 개발자들은 원래 그래. 파고 들고 해결하려는 경향이 있어. 우리는 이것을 hack 이라고 하지. 소프트웨어가 발전한 원동력이기도 하지.

물리적으로 제어할 메커니즘이 필요해. 내가 호출 하라고 정의한 것만 호출하게... 더 나아가 내부 문서화를 위한 document 주석은 외부로 내 보내지 않았으면 좋겠어. 그러나... 그런 장치는 없어. 아키텍처 문서나 개발 가이드 잘 작성해서 규칙을 따르자고 이야기를 할 수 밖에...

그런데 개발자들이 이 문서는 잘 안 보네.

뭐 완벽한 게 어디있어. Java는 원래 그래. 원칙적으로 그냥 다 열려 있어. 아키텍처 규칙 잘 정하고 잘 통제하는 수 밖에... (잘 안되어서 그렇지)

그렇게 잊고 살았는데.... 잉 Java Jigsaw 이건 또 뭐야?

Vi를 좋아하시는 분들을 위하여

행복한아빠 — Mon, 26 Sep 2016 12:06:17 +0900

(출처: http://www.redbubble.com/shop/vim+t-shirts)

오랜~만에 개발과 시스템 작업할 일이 있어 주요도구가 파워포인트, 키노트 에서 개발도구들로 바뀌었습니다. 그래서 그동안 내 컴퓨터에 없었던 개발관련 설정 중 기본적인 에디터 관련 설정을 기록해 둡니다. 뭐 매번 찾기도 귀찮으니...

개발도구는 여러 개 있을지라도 에디터 관련 설정은 일단 Vim으로 맞춥니다.

내가 Vi를 좋아하는 이유

마우스

내 책상은 지저분합니다. 나는 노트에 그림을 그리거나 적는 습관이 있어 보통 마우스가 있어야할 오른쪽 자리에 노트가 있습니다. 도대체 마우스 놓을 자리가 없습니다.

(연출사진 흠흠..)

Vi를 사용하면 마우스로 손이 가는 경우가 현저히 떨어집니다. 그냥 키보드에서 손 뗄 필요가 별로 없습니다. 저 멀리 있는 방향키나 Function 키도 별 쓸일이 없습니다. (운동량이 떨어지니 건강에 좋지 않겠네요 ㅡ.,-;)

에디터(또는 IDE) 변경

개발도구 바꿀 때마다 고생을 합니다. 십년넘게 eclipse 쓰다가 IntelliJ 바꾸니 그동안 익숙했던 기능들 버리기도 아깝고 새 환경에 적응하기도 어렵네요. 다른 것보다도 에디팅 기능들은 손에 익었던 것으로 하면 휘리릭~ 인데...

잘 찾아보면 대부분의 유명 도구들은 Vim 플러그인들을 제공합니다. 이것들을 이용하면 에디팅에서는 기존의 생산성과 편리함을 그대로 가지고 갈 수 있습니다.

OS 변경

윈도우즈에서 맥으로 본격적으로 옮긴지 1년정도인데 이제는 윈도우가 어색합니다. 그리고 서버를 다룰 때에는 linux 계열을 써야 합니다. 윈도우에는 notepad가, 맥에는 텍스트편집기가, linux에는 nano 정도가 있는데 세 가지 모두 이질적입니다.

그냥 Vim 쓰는게 훨 좋죠. 윈도우를 제외하고는 Vim이야 설치된 경우가 많으니 별 무리없이 사용할 수 있습니다.

(아무 것도 설치되지 않은 윈도우 서버 다룰 때를 위하여 notepad 익힙시다. ㅡ.,ㅡ)

내 컴퓨터 Vi 관련 설정 들

Vim

Vim을 사용할 때의 기본설정(~/.vimrc)입니다. Python에 맞춘 감이 있네요.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
" Python 파일일 경우 tab 설정, 폴딩설정
au BufRead,BufNewFile *.py set expandtab
au BufRead,BufNewFile *.py setlocal foldmethod=indent
 
set expandtab           " 탭을 스페이스 처리
set tabstop=4           " 탭당 4개 스페이스
set softtabstop=4
set shiftwidth=4        " Auto indent에서 스페이스 개수
set autoindent          " Auto indent
 
" 백스페이스 강화
set backspace=indent,eol,start
 
set ruler               " show line and column number
set showcmd             " show (partial) command in status line
 
" Syntax Highlighting
if has("syntax")
    syntax on
endif
 
set nu                  " 라이번호
set hlsearch            " 검색어 하이라이팅
set showmatch           " 일치하는 괄호 하이라이팅
 
" Vim Color schema
colorscheme jellybeans
 
" 마지막 편집 위치 복원 기능
au BufReadPost *
\ if line("'\"") > 0 && line("'\"") <= line("$") |
\ exe "norm g`\"" |
\ endif
 
set laststatus=2 " 상태바 표시를 항상한다
set statusline=\ %<%l:%v\ [%P]%=%a\ %h%m%r\ %F\
cs

(참고로 27 라인 colorschema 파일은 ~/.vim/colors 밑에 넣으시면 됩니다. 저는 https://github.com/nanotech/jellybeans.vim 사용합니다.)

Shell

Command line 작업할 일이 많은데 command line에서도 vi mode가 훨 사용하기 쉽고 빠릅니다. (~/.bash_profile)

1
set -o vi
cs

Python Shell

Python이나 Django 개발하다보면 python shell을 많이 이용하죠. 물론 Django shell에서도 작동합니다.

Mac에서는 ~/.editrc 파일에 아래 부분을 추가합니다.

1
bind -v
cs

iPython Shell

ipython은 표준 python shell 보다 더 인터렉티브한 shell입니다.

ipython 5.0 버전이상에서는 ~/.ipython/profile_default 파일(없으면 생성)에 다음을 추가합니다.

1
c.TerminalInteractiveShell.editing_mode = 'vi'
cs

그외는 http://stackoverflow.com/questions/10394302/how-do-i-use-vi-keys-in-ipython-under-nix 참조

JetBrain IDE (IntelliJ, PyCharm)

JetBrain IDE는 플러그인 중 IdeaVim 이 있습니다. Vim emulator이지만 쓸만합니다.

Visual Studio Code

역시 플러그인 중 Vim이 있습니다. Vim emulator입니다.

별 기능 없는 Vi로 뭐 하시게요?

Vi가 기능이 별로 없다고요? 저도 모르는 기능 엄청 많이 있고 너무 과하게 있습니다. 뭐 자신만의 기능을 위한 스크립팅도 되니 그런 걱정을 할 이유가 없습니다.

그리고 IDE를 버리고 Vi를 쓴다는게 아니라 개발툴에서 쓴다는 이야기이니 개발툴이 지원하는 막강한 리팩토링이나 코드 어시스턴스 기능은 그대로 씁니다.

별 것 가지고 유난떠시네...

그렇지요. 에디터 가지고 유난떨고 있죠. 그렇지만 후배들에게는 권유하고는 합니다.

에디터가 좋다고 개발 생산성이 높아지는 것도 아니지요. 그러나 운동선수에게 그들의 운동도구가 가장 중요하듯 항상 사용하는 운동화나 운동복도 중요하겠지요.

뭐 그냥 그렇다는 이야기 입니다.

웹 에디터도 Vi를 지원했으면 좋겠어요.

yy rather than Ctl-C

파이썬 Docker 이미지 관리하기

행복한아빠 — Thu, 22 Sep 2016 19:56:13 +0900

사실 이 문제 때문에 도커 관련 포스트 정리하기로 마음 먹었습니다.

도커로 우리가 만든 파이썬 기반 애플리케이션을 배포하기로 했는데 파이썬 이미지 너무 큽니다. 뭐 파이썬 도커 이미지 중 작은 이미지도 있지만 표준 파이썬 이미지에 올리려고 하니 700MB가 넘습니다.

나의 첫번째 Dockerfile

"Docker로 파이썬 배포 운영하기" 하기에서 언급했듯이 우리의 파이썬 애플리케이션 서버는 좀 많은 소프트웨어가 설치됩니다. 다음은 우리의 초기버전 Dockerfile입니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
FROM python:3-onbuild
MAINTAINER dykim <dykim@cityholic.com>
 
RUN apt-get update
RUN apt-get install -y supervisor
ADD ./conf/supervisord.conf /etc/supervisor/conf.d/supervisord.conf
 
# Nginx
RUN apt-get install -y nginx
ADD ./conf/hello-web /etc/nginx/sites-available/hello-web
RUN ln -s /etc/nginx/sites-available/hello-web /etc/nginx/sites-enabled/
RUN rm /etc/nginx/sites-enabled/default
RUN echo "\ndaemon off;" >> /etc/nginx/nginx.conf
RUN chown -R www-data:www-data /var/lib/nginx
 
# uWSGI
RUN pip install uwsgi
ADD ./conf/hello.ini /etc/uwsgi/sites/hello.ini
 
CMD ["/usr/bin/supervisord"]
 
EXPOSE 80
EXPOSE 443
Colored by Color Scripter
cs

도커파일을 간단히 라인별로 설명하자면

1 라인:

python:3-onbuild로 이미지를 만듭니다. 이 버전은 빌드 시 자동으로 requirements.txt의 패키지를 설치하고 현재 디렉토리의 모든 소스를 이미지로 복사합니다. (이런 개발을 위해 현재 디렉토리에 만든 venv도 복사하는군...)

3 ~ 6 라인:

우리는 한 컨테이너에 nginx와 uwsgi 두 개의 프로세스를 띄울 예정이라 supervisord(프로세스 관리)를 설치합니다.

9 ~ 14 라인:

Nginx 설치와 필요한 설정을 복사합니다.

17 ~ 18 라인:

uWSGI 설치와 필요한 설정을 복사합니다.

20 ~ 23 라인:

프로세스를 구동하고 포트를 엽니다.

Docker 이미지 크기

이미지 버번관리를 위해 버전 붙인 것 하나과 latest 버전를 함께 만듭니다.

$ docker build -t 10.3.0.38:5000/hello-web -t 10.3.0.38:5000/hello-web:1 .

이렇게 만들어진 이미지 크기가 700MB가 넘습니다. 첫번째 이미지를 만들고 Repository에 push 합니다.

한참걸립니다. 운영서버에 pull하고 run 합니다. 한참 걸립니다. 첫번째라 이해하지요.

소스 몇 줄이 변경되어 버전하나 올리고 다시 배포하려고 합니다.

$ docker build -t 10.3.0.38:5000/hello-web -t 10.3.0.38:5000/hello-web:2 .

아니 이미지에 소스카피하고 소프트웨어 설치하고 ... 저 짓을 또 합니다. 한참 걸립니다. Repository에 push 합니다. 한참걸립니다. 운영서버에 push 합니다. 네... 한참 걸립니다.

원인

매번 저 도커파일로 배포하면 python:3-onbuild 기반 이미지를 제외하고 그 후의 작업들(소프트웨어 설치, 나의 소스파일들)은 새로운 이미지 레이어로 취급합니다. 즉 도커는 새로운 이미지로 판단하기에 Repository에 새로 다 push하고 서버들은 새로 다 pull 합니다.

위의 그림에서 보듯 기반 이미지를 제외하고는 이미지 아이디가 다른 새로운 이미지 레이어로 쌓여 두번째 버전은 이미 있는 1번 레이어를 제외한 7~11 버전의 이미지 레이어를 push하거나 pull합니다.

(좀 간략한 이미지 구조입니다. "docker history 이미지이름"을 이용하면 이미지 레이어 구조를 볼 수 있습니다. 좀 더 자세한 사항은 https://docs.docker.com/engine/userguide/storagedriver/imagesandcontainers/ )

해결책

일반적으로 변경사항은 일부 소스에서 일어납니다. 시스템의 변경사항이 거의 없는 부분과 많이 발생하는 부분으로 나누어 이미지를 관리합니다.

첫번째 빌드는 위와 동일하게 이미지를 만들고 그 이후에는 이미 만들어진 마지막 이미지를 기반으로 변경된 소스 레이어만 추가하는 방법입니다.

그러면 Repository나 docker 서버들은 마지막 이미지는 이미 있기에 변경된 이미지 레이어만 가지고 와서 이미지를 완성하고 구동합니다.

우리가 사용할 기반 이미지 도커파일 (Dockerfile)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
FROM python:3
MAINTAINER dykim <dykim@cityholic.com>
 
RUN apt-get update
 
# Application
RUN git clone https://username:password@your-git-host/xxx/hello-web.git /usr/src/app
RUN pip install -r /usr/src/app/requirements.txt
 
# Nginx
RUN apt-get install -y nginx
ADD ./conf/hello-web /etc/nginx/sites-available/hello-web
RUN ln -s /etc/nginx/sites-available/hello-web /etc/nginx/sites-enabled/
RUN rm /etc/nginx/sites-enabled/default
RUN echo "\ndaemon off;" >> /etc/nginx/nginx.conf
RUN chown -R www-data:www-data /var/lib/nginx
 
 
# uWSGI
RUN pip install uwsgi
ADD ./conf/hello.ini /etc/uwsgi/sites/hello.ini
 
# Supervisor
RUN apt-get install -y supervisor
ADD ./conf/supervisord.conf /etc/supervisor/conf.d/supervisord.conf
 
CMD ["/usr/bin/supervisord"]
 
EXPOSE 80
EXPOSE 443
Colored by Color Scripter
cs

첫번째 방법과 다른 점만 설명한다면

1 라인:

소스 자동설치 하지 않는 그냥 python docker 이미지를 기반으로 합니다.

7 ~ 8 라인:

소스를 git에서 가져옵니다. 그리고 필요한 파이썬 패키지도 직접 설치합니다.

소스만 변경될 때 사용하는 도커파일 (Dockerfile-u)

1
2
3
4
5
6
7
FROM 10.3.0.38:5000/hello-web
MAINTAINER dykim <dykim@cityholic.com>
 
RUN pip install -r /usr/src/app/requirements.txt
 
WORKDIR /usr/src/app
RUN git pull
Colored by Color Scripter
cs

1 라인:

최종 버전(latest) 이미지를 기반으로 합니다.

4 ~ 7 라인:

혹 추가된 패키지가 있으면 설치하고 변경된 소스를 pull 받습니다.

개선 후 이미지 크기

첫번째 이미지야 기존과 비슷하여 비슷한 빌드, push, pull 시간이 소용됩니다.

그러나 소스만 변경된 경우는 휘리릭~ 빌드되고 Repository에 올라가고 서버에 pull 됩니다. 올레~

Version 1 --> 좀 걸림

$ docker build -t 10.3.0.38:5000/hello-web -t 10.3.0.38:5000/hello-web:1 .

$ docker push 10.3.0.38:5000/hello-web

Version 2 : 소스 업데이트용 도커파일은 이름을 달리 했음 --> 휘리릭~

$ docker build -f Dockerfile-u -t 10.3.0.38:5000/hello-web -t 10.3.0.38:5000/hello-web:2 .

$ docker push 10.3.0.38:5000/hello-web

Version 3 -> 휘리릭~

docker build -f Dockerfile-u -t 10.3.0.38:5000/hello-web -t 10.3.0.38:5000/hello-web:3 .

docker push 10.3.0.38:5000/hello-web

...

실제 이미지 레이어 예)

보는 것과 같이 Version 2, 3는 작은 량의 이미지 레이어만 추가되고 Repository에 push하거나 pull 할 때 이 부분만 전송됩니다.

물론 소스, 패키지외 시스템/소프트웨어 구성에 변경이 생기면 기본 이미지 다시 만들어서 하시면 됩니다.

삽질 그리고...

남들 다 쓰는 도커, 시작한 지 얼마 안되었는데 이미지 관리하고 구성하려고 하니 구체적으로 어떤 식으로 하는지 자료 찾기가 어렵네요. 그리고 이런 문제에 대한 질문이 Stack Overflow에 간간히 있는데 시원한 답은 못 찾겠고

결국 삽질하고 이렇게 기록해 둡니다.

더 좋은 practice가 있다면 알려주시면 감사하겠습니다~

시간 되면 빌드 서버에서 여러 대의 원격 도커 컨테이너 죽이고 새로운 이미지 구동하는 파이썬 스크립트 정리해서 공유하겠습니다. (필요한 분 있을려나???)

Docker로 파이썬 배포 운영하기

행복한아빠 — Thu, 22 Sep 2016 19:54:05 +0900

파이썬으로 개발을 하고 보니 운영서버 배포에 대한 고민이 생겼습니다. 물론 Java로 할 경우도 운영서버 구성이 번거롭기는 마찬가지이지만 파이썬을 위한 운영서버는 할 게 더 많네요.

지인의 추천으로 도커를 사용하기로 했습니다.

운영서버 구성

우리의 운영서버(WAS)는 다음과 같은 소프트웨어가 설치 되어야 합니다.

Python3, PIP
MySQL Lib
파이썬 모듈들...
uWSGI 설치 및 구성
NginX 설치 및 구성
소스 받기 위한 Git
그리고 우리의 애플리케이션

이것들 설치 가이드 작성해 보니 꽤 길고 실제 설치하는데 넘 오래 걸립니다. 문제는 WAS를 여러 대 띄울라면 이 재미 없는 작업을 매번! 해 줘야 하네요.

간단한 배포/운영 방법

설치 가이드 잘 작성해 놓고 각 서버마다 필요한 소프트웨어 설치하고 Git을 통하여 소스만 pull 하는 방식입니다.

구성은 쉽지만 앞에 이야기 한 것처럼 서버가 늘어날 때마다 왠 종일 걸리는 설치작업을 계속 해줘야 합니다. 모듈 추가 같은 환경변화라도 있으면 서버마다 또 해야 하고 서버가 동일한 환경을 가지게 유지하기가 쉽지 않을 것 같습니다.

VM 이미지를 이용?

우리는 AWS를 이용합니다. AWS에는 VM의 이미지를 만들고 그 이미지로 인스턴스를 구동하는 방법을 제공합니다.

한 서버에 필요한 소프트웨어와 우리의 애플리케이션을 설치하고 그 이미지를 만들어 인스턴스를 만드는 방법도 가능할 것 같습니다.

언뜻 보면 훌륭한 방법인 것 같은데 배포할 때마다 저 큰 이미지를 만들고 인스턴스를 새로 생성한다는 것이 부담입니다.

소스코드 한 줄 바꿨다고 저 짓 하기는 망설여지네요.

그리고 이전 버전의 인스턴스(서버)는 날려야하니 인스턴스 관리도 좀 그렇습니다.

그리고 배포때마다 이미지가 생겨야 하는데 VM 이미지 용량도 그렇고 엄청난 양의 이미지가 생기겠네요.

Docker를 이용한 배포/운영

역시 이런 경우 도커를 이용한 방법이 최고입니다.

개발자가 소스를 push 합니다.
빌드서버는 새로운 소스와 환경으로 빌드를 하고 테스트/확인 후 도커 이미지를 빌드합니다.
빌드서버는 도커 이미지를 private docker repositoy에 push 합니다.
빌드서버는 각 운영서버에 새로운 이미지로 다시 가동하라고 합니다.
각 운영서버들은 기존 컨테이너를 지우고 이미지를 다시 받아 새로운 버전을 가동합니다.

소스형상관리: Gitlab
운영서버: CoreOS (도커를 위한 경량 OS 정도로 생각하세요)
Private Docker Repository : Docker Repository or Nexus Repository Manager
Build Server : docker-py 모듈로 운영서버 원격 배포 모듈 대충 작성

도커로 운영하면 보통 이 정도로 관리할 것으로 예상되고 우리 규모에서 이 정도면 충분하다고 판단되어 이렇게 구성합니다만....

실제 배포하다보니 또 다른 문제가 발생합니다. 이런 도커 이미지가 너무 커 배포가 넘 느리다는...

그래서 "파이썬 Docker 이미지 관리하기" 부분에서 다시 정리합니다.

Install kamailio (SIP open source server)

행복한아빠 — Wed, 07 Sep 2016 10:30:25 +0900

어쩌다가 VoIP에 관심이 생겨 SIP 서버 중 open source 찾아 정리합니다.

설치하다 보니 OpenSips와 거의 동일한 것 같아 같은 코드베이스에서 나온 게 아닌가 하는 추측을 합니다.

Basic infomations

Homepage: https://www.kamailio.org
Install guide : https://www.kamailio.org/wiki/install/stable/debian
Version: 4.4
OS : Ubuntu 14

DB는 MySQL을 사용하는 걸로...

Prerequisite

APT로 설치하려고 하기에 apt repository 작업이 선행되어야 합니다.

DEB Packages

First download and add our GPG key to your apt key list:

prompt > apt-key adv --recv-keys --keyserver keyserver.ubuntu.com 0xfb40d3e6508ea4c8

add to below lines to /etc/apt/sources.list

deb http://deb.kamailio.org/kamailio jessie main

deb-src http://deb.kamailio.org/kamailio jessie main

libmysqlclient-dev Package

prompt > gpg --keyserver hkp://keys.gnupg.net --recv-keys 1C4CBDCDCD2EFD2A

prompt > gpg -a --export CD2EFD2A | apt-key add -

prompt > sh -c 'echo "deb http://repo.percona.com/apt precise main" >> /etc/apt/sources.list.d/percona.list'

Install

prompt > apt-get update

prompt > install mysql-server

prompt > apt-get install libmysqlclient-dev

prompt > apt-get install kamailio kamailio-mysql-modules

Configurations

/etc/kamailio/kamctlrc

아래 부분만 수정 or 주석제거

SIP_DOMAIN=SIP 주소에서 사용하는 domain. 서버 내부 IP 아님!
DBENGINE=MYSQL
DBHOST=localhost
DBNAME=kamailio
DBRWUSER="kamailio" (계정은 자동으로 생성되어 있음)
DBRWPW="kamailiorw"
DBROUSER="kamailioro"
DBROPW="kamailioro"
DBACCESSHOST=localhost
DBROOTUSER="root"
USERCOL="username"

/etc/kamailio/kamailio.cfg

add below lines at first line

#!define WITH_MYSQL

#!define WITH_AUTH

#!define WITH_USRLOCDB

다음 항목 수정

listen=udp:<server private ip>:5060 advertise <server public ip>:5060

port=5060

Run

Create DB

prompt > kamdbctl create

Start and Stop

prompt > /etc/init.d/kamailio start

prompt > /etc/init.d/kamailio stop

Adding Subscribers

Using kamctl

Kamailio 설치후 생기는 관리 명령어입니다.

prompt > kamctl add userid password

Using SQL

INSERT INTO subscriber (username, domain, password, ha1, ha1b) VALUES

('101', 'test.com', 'test123',

MD5('101:test.com:test123'), MD5('101@test.com:test.com:test123')

);

ha1 = md5(username:realm:password)
ha1b = md5(username@domain:realm:password)

Open ports

TCP 5060
UDP 5060

스택오버플로우에게 감사를...

Python의 숨은? 특징 2

행복한아빠 — Tue, 30 Aug 2016 14:29:34 +0900

지난 번에 이어 알아둘 만하거나 재미있는 파이썬의 특징을 정리합니다. 지난 번 포스트는 여기로

알아보면 알아볼 수록 재미있고 매력적입니다.

예외 재발생

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# Python 2 syntax
try:
    some_operation()
except SomeError, e:
    if is_fatal(e):
        raise
    handle_nonfatal(e)
 
# Python 3 syntax
try:
    some_operation()
except SomeError as e:
    if is_fatal(e):
        raise
    handle_nonfatal(e)
cs

에러 핸들러 안에서 인자없이 사용한 raise는 원래의 예외를 다시 던지라는 뜻입니다. "미안 난 이 예외를 잡을 수 없어요"라고 말할 수 있게 하죠.

원래의 traceback을 출력, 저장 또는 뭔가 하려면 sys.exc_info()를 사용하여 'traceback' 모듈에서 하는 것처럼 출력할 수 있습니다.

내장객체 set 의 연산자 재정의

다음과 같이 set은 다양한 연산을 지원합니다.

1
2
3
4
5
6
7
8
9
10
11
12
>>> a = set([1,2,3,4])
>>> b = set([3,4,5,6])
>>> a | b # Union
{1, 2, 3, 4, 5, 6}
>>> a & b # Intersection
{3, 4}
>>> a < b # Subset
False
>>> a - b # Difference
{1, 2}
>>> a ^ b # Symmetric Difference
{1, 2, 5, 6}
cs

파이썬 2.7 또는 3.0에서는 set을 중괄호로 생성할 수 있습니다.

1
myset = {1,2,3,4}
cs

자세한 내용은 여기에서

Negative round

round() 함수는 주어진 정밀도로 float 수를 반올림합니다. 정밀도는 음수가 될 수 있습니다.

1
2
3
4
>>> str(round(1234.5678, -2))
'1200.0'
>>> str(round(1234.5678, 2))
'1234.57'
cs

Note) float는 정확한 값을 계산하지 못합니다. 정확한 값을 계산하려면 decimal모듈의 Decimal을 사용하세요.

문자열과 boolean 곱셈

웹개발을 하면서 계속되는 일 중 하나가 HTML 파라메터를 선택적으로 출력하는 일입니다. 다른 언어에서는 다음과 같이 해 왔습니다.

class='<% isSelected ? "selected" : "" %>'

파이썬에서는 boolean을 곱하여 기대할 수 있는 결과를 얻을 수 있습니다.

class='<% "selected" * isSelected %>'

boolean을 강제로 곱하면 정수형(False는 0, True는 1)으로 바뀌기 때문인데, 파이썬에서 문자열에 정수 n을 곱하면 정수 n만큼 문자열이 반복됩니다. 다음 코드 실행해 보세요.

'abc' * 3

re는 함수를 호출할 수 있다.

문자열이 정규식에 매칭될 때마다 함수를 호출하는 기능도 매우 유용하다. 여기에 "Hello"를 "Hi,"로, "there"를 "Fred" 등으로 교체하는 예제를 보자.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
import re
 
def Main(haystack):
  # List of from replacements, can be a regex
  finds = ('Hello', 'there', 'Bob')
  replaces = ('Hi,', 'Fred,', 'how are you?')
 
  def ReplaceFunction(matchobj):
    for found, rep in zip(matchobj.groups(), replaces):
      if found != None:
        return rep
 
    # log error
    return matchobj.group(0)
 
  named_groups = [ '(%s)' % find for find in finds ]
  ret = re.sub('|'.join(named_groups), ReplaceFunction, haystack)
  print ret
 
if __name__ == '__main__':
  str = 'Hello there Bob'
  Main(str)
  # Prints 'Hi, Fred, how are you?'
cs

매칭된 값을 정규식이 아니라 내가 정의한 임의의 함수로 바꿀 수 있습니다. 와우~

파이썬 3에서 튜플 unpacking

파이썬 3에서 함수 선언의 튜플 unpacking과 같은 선택적 아규먼트 구문을 할당문에 사용할 수 있습니다.

1
2
3
4
5
6
7
>>> first,second,*rest = (1,2,3,4,5,6,7,8)
>>> first
1
>>> second
2
>>> rest
[3, 4, 5, 6, 7, 8]
cs

덜 알려진 기능으로 리스트의 중간에 정해지지 않은 개수의 리스트를 할당할 수 있습니다.

1
2
3
4
5
6
7
>>> first,*rest,last = (1,2,3,4,5,6,7,8)
>>> first
1
>>> rest
[2, 3, 4, 5, 6, 7]
>>> last
8
Colored by Color Scripter
cs

다중 라인 문자열

여러 라인의 문자열을 처리하기 위해 한 방법으로 백슬러시를 사용합니다.

1
2
3
4
>>> sql = "select * from some_table \
where id > 10"
>>> print sql
select * from some_table where id > 10
cs

다른 방법으로는 쌍따옴표 3개를 사용하는 방법이 있습니다.

1
2
3
4
 >>> sql = """select * from some_table 
where id > 10"""
>>> print sql
select * from some_table where id > 10
cs

위 방법들은 들어쓰기가 안되어 보기 싫은 코드가 되네요. 이 방법으로 들여쓰기 하면 공백이 추가될 것입니다.

세번째 방법으로 문자열을 나누고 아래와 같이 괄호를 쓰는 방법입니다.

1
2
3
4
5
>>> sql = ("select * from some_table " # <-- no comma, whitespace at end
           "where id > 10 "
           "order by name") 
>>> print sql
select * from some_table where id > 10 order by name
cs

여기에서 콤마(,)는 없어야 합니다(튜플이 아닙니다). 이러면 앞뒤로 필요한 공백을 추가할 수 있습니다. 이것은 "my name is %s" % name 과 같은 placeholder에서도 작동합니다.

Interpreter에서 밑줄

Interpreter에서 밑줄(_)은 최근 출력된 값을 담습니다.

1
2
3
4
5
>>> (a for a in xrange(10000))
<generator object at 0x81a8fcc>
>>> b = 'blah'
>>> _
<generator object at 0x81a8fcc>
cs

편리한 웹브라우저 컨트롤러

다음과 같이 웹브라우저를 컨트롤할 수 있습니다.

1
2
>>> import webbrowser
>>> webbrowser.open_new_tab('http://www.stackoverflow.com')
cs

내장된 HTTP 서버

현재 디렉토리의 파일을 서비스 하려면...

python -m SimpleHTTPServer 8000

AtExit

인터프리터를 종료할 때 호출해야 함수를 등록할 수 있습니다.

1
2
3
4
5
6
7
8
9
>>> def exit_handler():
...     print 'bye'
... 
>>> import atexit
>>> atexit.register(exit_handler)
<function exit_handler at 0x106bd2cf8>
>>> quit()
bye
 
Colored by Color Scripter
cs

pow() 함수 세번째 인자

내장 pow(x, y, z) 함수의 세번째 인자는 x의 y승 값을 z로 나눈 나머지 값을 구하는 역할을 효율적으로 합니다. 즉 (x ** y) % z 와 같은 값을 구합니다.

1
2
3
>>> x, y, z = 1234567890, 2345678901, 17
>>> pow(x, y, z)            # almost instantaneous
6
Colored by Color Scripter
cs

위의 경우 (x ** y) % z 수식으로 구하면 시간이 오래 걸립니다. pow()로 구하면 바로 결과가 나옵니다.

Unzip

Zip은 동일한 개수의 리스트를 묶어줍니다. 반대로 원래 데이터를 구하기 위해서 다음과 같이 할 수 있습니다.

1
2
3
>>> a = [(1,2), (3,4), (5,6)]
>>> zip(*a)
[(1, 3, 5), (2, 4, 6)]
cs

enumerate에서 다른 번호로 index 시작하기

enumerate를 이용하면 0부터 시작하는 index를 사용할 수 있습니다. 0이 아니라 다른 번호로 index를 시작하려면 두번째 인자를 주어 다음과 같이 할 수 있습니다.

1
2
3
4
5
>>> my_list = ["spam", "ham", "eggs"]
>>> list(enumerate(my_list))
>>> [(0, "spam"), (1, "ham"), (2, "eggs")]
>>> list(enumerate(my_list, 1))
>>> [(1, "spam"), (2, "ham"), (3, "eggs")]
cs

property 클래스

property 클래스로 여러분의 클래스 인터페이스를 좀 더 엄격히 만들 수 있습니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
class C(object):
    def __init__(self, foo, bar):
        self.foo = foo # read-write property
        self.bar = bar # simple attribute
 
    def _set_foo(self, value):
        self._foo = value
 
    def _get_foo(self):
        return self._foo
 
    def _del_foo(self):
        del self._foo
 
    # any of fget, fset, fdel and doc are optional,
    # so you can make a write-only and/or delete-only property.
    foo = property(fget = _get_foo, fset = _set_foo,
                   fdel = _del_foo, doc = 'Hello, I am foo!')
 
class D(C):
    def _get_foo(self):
        return self._foo * 2
 
    def _set_foo(self, value):
        self._foo = value / 2
 
    foo = property(fget = _get_foo, fset = _set_foo,
                   fdel = C.foo.fdel, doc = C.foo.__doc__)
cs

파이썬 2.6 이상이나 3.0이상에서는 다음과 같이 사용할 수 있습니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
 class C(object):
    def __init__(self, foo, bar):
        self.foo = foo # read-write property
        self.bar = bar # simple attribute
 
    @property
    def foo(self):
        '''Hello, I am foo!'''
 
        return self._foo
 
    @foo.setter
    def foo(self, value):
        self._foo = value
 
    @foo.deleter
    def foo(self):
        del self._foo
 
class D(C):
    @C.foo.getter
    def foo(self):
        return self._foo * 2
 
    @foo.setter
    def foo(self, value):
        self._foo = value / 2
cs

내장된 코덱 base64, zlib, rot13

String은 encode와 decode 메소드를 가지고 있습니다. 보통 u = s.encode('utf8')과 같이 문자코드 변환하는데 사용되지만 여기에 유용한 내장 코덱이 있습니다. import 없이 zlib으로 압축, 압축풀기도 할 수 있습니다.

1
2
3
>>> s = 'a' * 100
>>> s.encode('zlib')
'x\x9cKL\xa4=\x00\x00zG%\xe5'
cs

유사하게 base64 인코딩, 디코딩도 할 수 있습니다.

1
2
3
4
>>> 'Hello world'.encode('base64')
'SGVsbG8gd29ybGQ=\n'
>>> 'SGVsbG8gd29ybGQ=\n'.decode('base64')
'Hello world'
cs

물론 rot13 인코딩, 디코딩도 가능합니다.

1
2
 >>> 'Secret message'.encode('rot13')
'Frperg zrffntr'
cs

후~ 뭐 계속 있기는 한데 여기까지만...

재미있는 것은 이런 것들이 유용한가 유용하지 않을가를 떠나서 하나 하나 정확히 알아보면 파이썬에 대한 이해가 깊어지는 것 같습니다.

뭐 그렇다는...

Python의 숨은? 특징 (어머 이건 사야 돼)

행복한아빠 — Thu, 25 Aug 2016 11:50:13 +0900

어머 이건 사야 돼

스택오버플로우에 덜 알려진 python의 유용한 특징을 여러 사람이 소개한 글이 있어 기록합니다.

Python 이라는 백화점에서 쇼핑하다가 특이하고 멋진 물건들만 모아 놓은 느낌입니다.

몇가지는 별 필요 없지만 대부분 상당히 유용하다는 생각이 들어 맘에 드는 것만 정리해 놓습니다.

(http://stackoverflow.com/questions/101268/hidden-features-of-python)

Argument Unpacking

리스트나 딕션너리 값을 * 또는 **을 이용하여 함수 아규먼트에 자동으로 풀어주는 기능입니다.

1
2
3
4
5
6
7
8
def draw_point(x, y):
    # do some magic
 
point_foo = (3, 4)
point_bar = {'y': 3, 'x': 2}
 
draw_point(*point_foo)
draw_point(**point_bar)
cs

매우 유용한 shortcut 이라 자주 사용할 거라는 예감

Chaining Comparison Operators

많이 아는 기능일 겁니다. if x > 0 and x < 10: 이런 식의 장황한 식을 if 0 < x < 10: 이런 식으로 간결하게 해 줍니다.

1
2
3
4
5
6
7
8
9
10
11
>>> x = 5
>>> 1 < x < 10
True
>>> 10 < x < 20 
False
>>> x < 10 < x*10 < 100
True
>>> 10 > x <= 9
True
>>> 5 == x > 4
True
cs

Decorators

함수나 메소드를 감싸 원본 함수나 메소드에 추가적인 기능을 제공하는 기능입니다. Django 같은 프레임워크를 사용하다보면 자주 사용합니다. 데코레이터가 작동하는 방식은 단순하며 자신의 데코레이터도 쉽게 만들 수 있습니다.

AOP(Aspect Oriented Programming)에 많이 적용합니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
>>> def print_args(function):
>>>     def wrapper(*args, **kwargs):
>>>         print 'Arguments:', args, kwargs
>>>         return function(*args, **kwargs)
>>>     return wrapper
 
>>> @print_args
>>> def write(text):
>>>     print text
 
>>> write('foo')
Arguments: ('foo',) {}
foo
Colored by Color Scripter
cs

@print_agrs로 시작하는 7,8 라인은 사실 다음과 같습니다.

1
2
3
def write(text):
    print text
write = print_args(write)
cs

보통 데코레이터는 함수보다 클래스로 많이 구현합니다. 데코레이터에 대해 간략히 잘 소개된 페이지는 다음을 참조하세요. (http://agiliq.com/blog/2009/06/understanding-decorators/)

Be careful with mutable default arguments

아주 중요한 부분인데 아래 예제와 같이 기본 아규먼트 값 사용에 주의하라는 내용입니다.

1
2
3
4
5
6
7
8
9
10
>>> def foo(x=[]):
...     x.append(1)
...     print x
... 
>>> foo()
[1]
>>> foo()
[1, 1]
>>> foo()
[1, 1, 1]
cs

의도치 않게 함수 호출할 때마다 기본값이 변경됩니다. 기본적으로 아규먼트로 전달되는 값은 변경하지 않는 것이 좋은 API 작성방법입니다.

Descriptors

점(.)으로 객체의 멤버를 x.y와 같이 접근할 때, 파이썬은 먼저 인스턴스 딕션너리(__dict__)에서 멤버를 찾습니다. 없을 경우 클래스 딕션너리에서 찾습니다. 클래스에서 멤버를 찾고 객체가 descriptor 프로토콜을 구현했다면 이런 경우 멤버를 바로 리턴하지 않고 descriptor 메소드(__get__, __set__, __delete__)를 호출합니다.

아래는 descriptor를 이용하여 read-only 프로퍼티를 구현한 예입니다.

1
2
3
4
5
6
7
8
class Property(object):
    def __init__(self, fget):
        self.fget = fget
 
    def __get__(self, obj, type):
        if obj is None:
            return self
        return self.fget(obj)
cs

Descriptor에 대한 상세한 내용은 http://users.rcn.com/python/download/Descriptor.htm 에서 찾아보면 됩니다.

파이썬 언어에서 Java의 private 같은 접근제어가 없다는 점에서 이 기능은 유용합니다. 또한 점(.) 접근을 제어함으로써 고급기능들을 간단하게 사용할 수 있는 유용한 방법으로 다소 이해가 어렵더라도 알아두면 유용합니다. python에서 기본으로 제공하는 property descriptor를 알아보세요.

Dictionary default .get value

딕션너리는 보통 d['k']와 같은 형식으로 다루는데 이 경우 딕션너리에 'k' 키가 없을 경우 에러가 발생합니다. 'k'키가 없을 경우 None을 받고 싶을 경우 예외처리하거나 다음과 같이 접근합니다.

1
y = d['k'] if 'k' in d.keys() else None
cs

딕션너리에 get() 메소드를 사용하면 일이 쉬워집니다.

1
y = d.get('k', None)
cs

Docstring Tests

Python의 documentation을 읽어 테스트로 활용하는 방법입니다. 예제 보는게 이해가 빠를 겁니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
def factorial(n):
    """Return the factorial of n, an exact integer >= 0.
    If the result is small enough to fit in an int, return an int.
    Else return a long.
    >>> [factorial(n) for n in range(6)]
    [1, 1, 2, 6, 24, 120]
    >>> factorial(-1)
    Traceback (most recent call last):
        ...
    ValueError: n must be >= 0
    Factorials of floats are OK, but the float must be an exact integer:
    """
 
    import math
    if not n >= 0:
        raise ValueError("n must be >= 0")
    if math.floor(n) != n:
        raise ValueError("n must be exact integer")
    if n+1 == n:  # catch a value like 1e300
        raise OverflowError("n too large")
    result = 1
    factor = 2
    while factor <= n:
        result *= factor
        factor += 1
    return result
 
def _test():
    import doctest
    doctest.testmod()    
 
if __name__ == "__main__":
    _test()
Colored by Color Scripter
cs

문서 주석에서 >>> 부분(7행)을 읽고 실행하여 그 아래내용과 실행한 출력과 비교하는 테스트를 수행합니다. 출력과 문자열 비교를 함으로 띄어쓰기가 하나라도 다르면 테스트 실패 합니다.

재미있는 기능이긴 한데 주로 단위테스트 프레임워크를 사용하므로 패쓰...

Ellipsis Slicing Syntax

파이썬은 잘 알려져 있지 않는 ellipsis 라는 slicing 연산자를 제공합니다.

1
2
3
4
5
6
>>> class C(object):
...  def __getitem__(self, item):
...   return item
... 
>>> C()[1:2, ..., 3]
(slice(1, 2, None), Ellipsis, 3)
cs

위와 같이 slice할 때 쩜쩜쩜(...) 연산자를 제공하며 Ellipsis라는 타입으로 나타납니다. 대괄호 [ ] 연산을 통해 직접 slice를 하는 클래스 만들때 쩜쩜쩜 문법도 쓸 수 있다는... 얼마나 쓸 지는 모르겠네요.

더 자세히 알고 싶을 경우 -> http://stackoverflow.com/questions/118370/how-do-you-use-the-ellipsis-slicing-syntax-in-python

Enumeration

for 문에 index가 필요할 때 iterable 객체를 enumerate로 감싼(wrap)다. 그러면 루프 돌면서 index를 돌려줍니다.

1
2
3
4
5
6
7
8
>>> a = ['a', 'b', 'c', 'd', 'e']
>>> for index, item in enumerate(a): print index, item
...
0 a
1 b
2 c
3 d
4 e
Colored by Color Scripter
cs

많이 쓰는 것이라 숨은(?) feature라 하긴 뭐합니다.

For/else

1
2
3
4
5
for i in foo:
    if i == 0:
        break
else:
    print("i was never 0")
cs

else 블럭은 break가 호출되지 않을 경우 루프의 맨 나중에 실행됩니다.

위 코드는 아래와 같이 작동합니다.

1
2
3
4
5
6
7
found = False
for i in foo:
    if i == 0:
        found = True
        break
if not found: 
    print("i was never 0")
cs

for else 구문은 마치 for가 돌지 않았을 때 else 구문을 실행하라는 뜻 같아서 (오히려 반대인데) 쓰지 말아야 할 구문으로 이야기하기도 합니다. 되도록 사용하지 마세요.

Function as iter() argument

iter()에 함수나 lambda같은 callable 아규먼트를 넘길 수 있습니다.

1
2
3
def seek_next_line(f):
    for c in iter(lambda: f.read(1),'\n'):
        pass
cs

iter(callable, until_value) 함수는 until_value를 만날때 까지 반복적으로 callable을 호출하여 루프를 돌립니다.

즉 위 코드는 '\n'를 만날 때까지 file 포인터를 옮깁니다. 즉 다음 라인으로 이동

Generator expressions

다음과 같은 코드를 작성했다면

1
x=(n for n in foo if bar(n))
cs

x에 generator를 할당한 것을 얻을 수 있고, 다음과 같이 루프를 돌릴 수 있습니다.

1
for n in x:
cs

이것의 장점은 다음과 같이 했을 경우 발생되는 중간 저장소가 필요 없다는 것입니다. 다음과 같이 하면 x에 list 값이 메모리에 할당 되겠지요.

1
x = [n for n in foo if bar(n)]
cs

경우에 따라 generator를 사용하면 눈에 띄게 성능이 올라갑니다.

보통 중첩되는 for 루프가 들어가는 generator 끝에 if 문을 여러 개 넣을 수 있습니다.

1
2
3
4
5
6
7
8
 >>> n = ((a,b) for a in range(0,2) for b in range(4,6))
>>> for i in n:
...   print i 
 
(0, 4)
(0, 5)
(1, 4)
(1, 5)
Colored by Color Scripter
cs

import this

그냥 import this 해 보세요. 뭔가 하고 싶은 말이 있나봅니다.

In Place Value Swapping

튜플을 이용하여 다음과 같이 값을 swap하는 코드를 작성할 수 있습니다.

1
2
3
4
5
6
7
8
>>> a = 10
>>> b = 5
>>> a, b
(10, 5)
 
>>> a, b = b, a
>>> a, b
(5, 10)
cs

할당문 오른쪽에서 새로운 튜플(b, a)를 생성하여 왼쪽 튜플을 unpack해서 각 변수에 할당합니다. 직관적이네요.

List stepping

slice 연산자에서 step 아규먼트를 넣을 수 있습니다.

1
2
3
a = [1,2,3,4,5]
>>> a[::2]  # iterate over the whole list in 2-increments
[1,3,5]
Colored by Color Scripter
cs

거꾸로 돌리기 위해 다음과 같이 특별한 표현도 사용합니다.

1
2
 >>> a[::-1]
[5,4,3,2,1]
cs

missing items

파이썬 2.5 부터 디션너리에 __missing__ 메소드를 제공하는데 이것은 아이템이 없을 경우 호출됩니다. 아래 경우 키에 대한 아이템이 없을 경우 빈 list를 주네요.

1
2
3
4
5
6
7
8
9
10
>>> class MyDict(dict):
...  def __missing__(self, key):
...   self[key] = rv = []
...   return rv
... 
>>> m = MyDict()
>>> m["foo"].append(1)
>>> m["foo"].append(2)
>>> dict(m)
{'foo': [1, 2]}
cs

collections 패키지에 dict을 상속하는 defaultdict 클래스가 있는데 위와 동일한 일을 할 수 있습니다.

1
2
3
4
5
6
>>> from collections import defaultdict
>>> m = defaultdict(list)
>>> m["foo"].append(1)
>>> m["foo"].append(2)
>>> dict(m)
{'foo': [1, 2]}
cs

특별한 경우가 아니면 dict을 쓰시기 바랍니다. 대부분 함수들은 dict에 키가 없을 경우 KeyErrors를 잡고 key가 없을 경우에 대한 특별한 처리를 하는 것이 보통입니다.

Multi-line Regex

파이썬에서 정규식을 여러 줄로 나눌 수 있으며 주석도 넣을 수 있습니다.

1
2
3
4
5
6
7
8
9
10
11
12
>>> pattern = """
... ^                   # beginning of string
... M{0,4}              # thousands - 0 to 4 M's
... (CM|CD|D?C{0,3})    # hundreds - 900 (CM), 400 (CD), 0-300 (0 to 3 C's),
...                     #            or 500-800 (D, followed by 0 to 3 C's)
... (XC|XL|L?X{0,3})    # tens - 90 (XC), 40 (XL), 0-30 (0 to 3 X's),
...                     #        or 50-80 (L, followed by 0 to 3 X's)
... (IX|IV|V?I{0,3})    # ones - 9 (IX), 4 (IV), 0-3 (0 to 3 I's),
...                     #        or 5-8 (V, followed by 0 to 3 I's)
... $                   # end of string
... """
>>> re.search(pattern, 'M', re.VERBOSE)
Colored by Color Scripter
cs

다음과 같은 문자열 연결 방법으로 re.VERVOBSE 옵션 없이 정규식을 여러 줄로 쓸 수 있습니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
>>> pattern = (
...     "^"                 # beginning of string
...     "M{0,4}"            # thousands - 0 to 4 M's
...     "(CM|CD|D?C{0,3})"  # hundreds - 900 (CM), 400 (CD), 0-300 (0 to 3 C's),
...                         #            or 500-800 (D, followed by 0 to 3 C's)
...     "(XC|XL|L?X{0,3})"  # tens - 90 (XC), 40 (XL), 0-30 (0 to 3 X's),
...                         #        or 50-80 (L, followed by 0 to 3 X's)
...     "(IX|IV|V?I{0,3})"  # ones - 9 (IX), 4 (IV), 0-3 (0 to 3 I's),
...                         #        or 5-8 (V, followed by 0 to 3 I's)
...     "$"                 # end of string
... )
>>> print pattern
"^M{0,4}(CM|CD|D?C{0,3})(XC|XL|L?X{0,3})(IX|IV|V?I{0,3})$"
>>> re.search(pattern, 'M', re.VERBOSE)
Colored by Color Scripter
cs

Named string formatting

% 포맷팅을 디션너리를 받습니다.

1
2
3
4
5
6
7
>>> print "The %(foo)s is %(bar)i." % {'foo': 'answer', 'bar':42}
The answer is 42.
 
>>> foo, bar = 'question', 123
 
>>> print "The %(foo)s is %(bar)i." % locals()
The question is 123.
Colored by Color Scripter
cs

locals() 역시 dict입니다. 로컬 변수를 이걸 이용해서 간단히 넘깁니다. (개인적으로 추천하고 싶지 않음)

아래 새로운 포맷팅 방법이 더 낫겠네요.

1
>>> print("The {foo} is {bar}".format(foo='answer', bar=42))
cs

Nested list/generator comprehensions

중첩된 리스트나 generator 포함된 표현식을 다음과 같이 쓸 수 있습니다.

1
2
[(i,j) for i in range(3) for j in range(i) ]
((i,j) for i in range(4) for j in range(i) )
cs

1행의 내용을 중첩된 for 문으로 작성하려면 다음과 같이 해야 합니다.

이 기능은 지저분한 중첩 루프 코드를 간단히 바꿀 수 있습니다.

1
2
3
4
l = []
for i in range(3):
    for j in range(i):
        l.append((i, j))
cs

New types at runtime

동적으로 새로운 타입을 생성할 수 있습니다.

1
2
3
4
>>> NewType = type("NewType", (object,), {"x": "hello"})
>>> n = NewType()
>>> n.x
"hello"
Colored by Color Scripter
cs

이 코드는 아래와 완전히 같습니다.

1
2
3
4
5
>>> class NewType(object):
>>>     x = "hello"
>>> n = NewType()
>>> n.x
"hello"
cs

뭐 얼마나 유용한지는 모르겠지만 알아둬서 손해는 없겠죠.

.pth files

파이썬 모듈(특히 3rd party 것)을 추가하기 위해서 대부분 사람들은 PYTHONPATH 환경변수를 사용하거나 site-packages 디렉토리에 심볼릭링크나 디렉토리를 추가하는 것 같습니다. 다른 방법으로는 *.pth 파을을 사용하는 것입니다. 여기 공식 파이썬 문서의 설명이 있습니다.

파이썬의 검색 패쓰를 수정하기 위한 가장 편한 방법은 기존 파이썬 패쓰 디렉토리에 패쓰 설정파일을 추가하는 것입니다. 보통 ../site-packages/ 디렉토리겠지요. 패쓰 설정파일은 .pth 확장자를 가지며 각 줄은 sys.path에 추가할 단일 패쓰를 갖습니다. (새 패쓰가 sys.path에 추가되기 때문에 추가되는 디렉토리는 표준 모듈을 재정의하지 않습니다. 이는 표준 모듈 버전의 수정된(fixed) 버전을 설치하기 위해 이 메커니즘을 사용할 수 없다는 뜻입니다.)

ROT13 Encoding

ROT13 인코딩은 영문자를 13자리 시프트하는 간단한 방법입니다. 예를 들어 'a'는 'n', 'b'는 'o' 이런 식이죠.

ROT13은 유효한 소스코드 인코딩입니다. 소스코드 최상단에 코딩 인코딩을 rot13으로 선언하고 아래와 같은 식으로 소스코드를 작성해도 됩니다.

1
2
3
4
#!/usr/bin/env python
# -*- coding: rot13 -*-
 
cevag "Uryyb fgnpxbiresybj!".rapbqr("rot13")
cs

듣보잡의 위 코드가 뭔소리인지 알고 싶다면 아래와 같이 위 문자열을 rot13으로 decode해 보세요.

소스코드 읽기 어렵게 만드는 것 같은데... 도대체 왜??

1
'cevag "Uryyb fgnpxbiresybj!".rapbqr("rot13")'.decode('rot13')
cs

Regex Debugging

정규식은 파이썬의 멋진 기능 입니다만 디버깅은 고통스럽고 잘못된 정규식을 만들기 쉽습니다.

다행이도 파이썬은 re.DEBUG 플래그를 넘기는 걸로 정규식 파스 트리를 출력할 수 있습니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
>>> re.compile("^\[font(?:=(?P<size>[-+][0-9]{1,2}))?\](.*?)[/font]",
    re.DEBUG)
at at_beginning
literal 91
literal 102
literal 111
literal 110
literal 116
max_repeat 0 1
  subpattern None
    literal 61
    subpattern 1
      in
        literal 45
        literal 43
      max_repeat 1 2
        in
          range (48, 57)
literal 93
subpattern 2
  min_repeat 0 65535
    any None
in
  literal 47
  literal 102
  literal 111
  literal 110
  literal 116
Colored by Color Scripter
cs

저 문법을 이해했다면 에러를 잡을 수 있겠죠. 여기에서는 [/font]의 []에 escape 문자가 빠진 걸 볼 수 있네요.

물론 주석붙은 정규식 같이 다른 플래그와도 같이 쓸 수 있습니다.

1
2
3
4
5
6
7
8
9
10
>>> re.compile("""
 ^              # start of a line
 \[font         # the font tag
 (?:=(?P<size>  # optional [font=+size]
 [-+][0-9]{1,2} # size specification
 ))?
 \]             # end of tag
 (.*?)          # text between the tags
 \[/font\]      # end of the tag
 """, re.DEBUG|re.VERBOSE|re.DOTALL)
cs

Sending to Generators

Generator 함수에 값을 전달할 수 있습니다. 다음 예제를 보시죠.

1
2
3
4
5
6
7
def mygen():
   """Yield 5 until something else is passed back via send()"""
   a = 5
   while True:
       f = (yield a) #yield a and possibly get f in return
       if f is not None: 
           a = f  #store the new value
cs

다음과 같이 실행됩니다. 즉 send(7) 하면 위 코드의 yield a의 반환값으로 전달됩니다.

1
2
3
4
5
6
7
8
9
 >>> g = mygen()
>>> g.next()
5
>>> g.next()
5
>>> g.send(7)  #we send this back to the generator
7
>>> g.next() #now it will yield 7 until we send something else
7
Colored by Color Scripter
cs

Tab Completion in Interactive Interpreter

파이썬 셀(인터렉티브 인터프리터)에서 탭 자동완성을 지원합니다.

1
2
3
4
5
6
7
8
9
10
11
12
>>> import readline
>>> import rlcompleter
>>> readline.parse_and_bind("tab: complete")
>>> class myclass:
...    def function(self):
...       print "my function"
... 
>>> class_instance = myclass()
>>> class_instance.<TAB>
class_instance.__class__   class_instance.__module__
class_instance.__doc__     class_instance.function
>>> class_instance.f<TAB>unction()
cs

.pythonrc에 다음 파일을 넣고 PYTHONSTARTUP 환경변수 설정을 하면 tab completion을 사용할 수 있습니다.

1
2
3
4
5
6
7
8
9
# ~/.pythonrc
# enable syntax completion
try:
    import readline
except ImportError:
    print("Module readline not available.")
else:
    import rlcompleter
    readline.parse_and_bind("tab: complete")
cs

export PYTHONSTARTUP=~/.pythonrc

이것 보다는 ipython을 쓰거나 막강한 jupyter notebook을 사용하는 편이 훨씬 편리합니다.

Ternary Expression

조건부 할당을 할 수 있습니다.

x = 3 if (y == 1) else 2

이 식은 명확히 "y 가 1이면 x에 3을 아니면 2를 할당" 하라는 것 같습니다. 여기서 괄호가 필수는 아니지만 이것이 더 읽기 쉽습니다. 여기에 좀 더 복잡한 조건을 연결할 수 있습니다.

x = 3 if (y == 1) else 2 if (y == -1) else 1

어떤 표현에도 if ... else 를 사용할 수 있습니다. 다음 예를 보죠.

(func1 if y == 1 else func2)(arg1, arg2)

y가 1일 경우 func1이 아니면 func2가 실행됩니다. 두 경우 모두 관련함수는 arg1과 arg2를 인자로 호출됩니다.

비슷하게 다음 코드도 가능합니다.

x = (class1 if y == 1 else class2)(arg1, arg2)

또 다른 예제. C, Java 스타일로는 return y == 1 ? 3 : 2;

return 3 if (y == 1) else 2

try/except/else

예외에서 else 구문: try 블럭에서 예외가 발생하면 except 블럭이 발생하지 않으면 else 블럭이 실행됩니다.

예외가 발생하던 하지 않던 finally 블럭은 무조건 실행됩니다.

1
2
3
4
5
6
7
8
try:
  put_4000000000_volts_through_it(parrot)
except Voom:
  print "'E's pining!"
else:
  print "This parrot is no more!"
finally:
  end_sketch()
cs

with statement

PEP 343에 소개되었고 한 벌의 문장들에 대해 실시간 컨텍스트를 관리하는 context manager 객체를 지원합니다.

이 기능이 새로운 키워드를 사용하여 이 기능은 점진적으로 지원합니다. 파이썬 2.5에서는 __future__ 지시자를 통해 사용할 수 있습니다. 파이썬 2.6 이상에서는 기본으로 사용 가능합니다.

이 기능은 유용한 구성을 가능하게 하여 많이 사용합니다. 다음은 간단한 데모를 보시죠.

1
2
3
4
from __future__ import with_statement
 
with open('foo.txt', 'w') as f:
    f.write('hello!')
cs

이 뒤에서 일어나는 일을 보면 "with" 문장은 file 객체의 __enter__ 그리고 __exit__ 메소드를 호출합니다. (with 블럭 들어가기전 __enter__ 예외 또는 나올 때 __exit__)

with 문장 블럭에서 예외가 발생했을 때 예외상황의 자세한 부분은 __exit__ 메소드에 맡깁니다.

이 경우 정상적으로 수행되거나 예외가 발생하거나 상관없이 with 블럭을 벗어나면 파일을 닫는 것을 보증합니다.

이 기능은 일반적인 마무리(?) 작업을 암시적으로 수행하는 방법을 제공합니다.

with절은 쓰레드 잠금이나 데이터베이스 트랜잭션에 일반적으로 사용됩니다.

Log4J 로깅 레벨 실시간에 바꾸기

행복한아빠 — Fri, 25 Jul 2014 11:00:54 +0900

운영 중 장애를 접할 때 개발자가 남긴 로그는 참 유용합니다. 하지만 실 운영환경에서는 로그를 debug 레벨로 남기지 않아 장애 원인을 찾기가 어려울 때가 있습니다.

왜 만들었나?

이번에 참여한 프로젝트에서는 iBatis를 사용하고 있습니다. 운영팀은 장애가 나면 실제 실행된 SQL 과 파라메터, 반환값을 보고 원인을 찾는다고 합니다.

그런데 실 운영환경에서는 로깅 부하 및 로그파일의 증가 때문에 보통 debug 레벨의 상세로그를 남기지 않습니다. 그래서 필요할 때만 iBatis의 SQL 로그를 남기는 장치를 넣으려다 아예 실시간에 모든 로그를 조정하는 장치를 만들어 공개합니다.

해결해야할 문제

보통 Log4J 로깅방법 및 로깅레벨은 log4j.properties나 log4j.xml 파일에 설정하고 로깅레벨을 새로 적용하기 위해서는 위 파일을 변경하고 재가동합니다. 그러나 운영 중인 서버를 재가동하기는 부담스럽습니다.

다행히 Log4J는 아래와 같은 API를 제공하여 아래의 API를 이용하면 실시간에 로깅레벨은 쉽게 조정할 수 있습니다.

1
2
3
4
5
6
7
8
// 모든 로거 카테고리를 추출
Logger root = Logger.getRootLogger();
Enumeration categories = root.getLoggerRepository().getCurrentCategories();
...
// 로거의 레벨 설정
Category category = ...;
category.setLevel(Level.DEBUG);
// 뭐 이런 식으로..
Colored by Color Scripter
cs

설치하기

이런 식으로 해서 web application의 Log4J 로그레벨을 런타임에 변경할 수 있는 기능을 만들었습니다. 이 모듈을 설치하기 위해서는 Spring framework 3.0 이상 SpringMVC와 JSTL 1.2 그리고 jquery-1.11 이상이 설치되어 있어야 하면... 귀찮기에 그냥 JSP 한 페이지에 아무 것도 쓰지 않고 넣었습니다.

그냥 아래 파일을 web application에 JSP 접근가능한 경로에 넣으시면 됩니다.

사용하기

JSP을 브라우저로 접근하면 아래와 같은 화면이 나옵니다.

http://userhost:port/log4jLevel.jsp

컴포박스에서 로그레벨을 선택하고 조정을 원하는 로거 category를 선택하고 "Change all selected logger level" 버튼을 클릭하면 됩니다. iBatis SQL log ON, iBatis SQL log OFF 링크는 iBatis SQL 관련 로거레벨을 DEBUG 또는 OFF로 설정하는 편의 기능입니다.

iBatis SQL 로깅 관련

iBatis SQL 로거이름은 아래와 같이 4개의 로거인데 이게 log4j.properties나 log4j.xml에 지정되지 않으면 생기지 않습니다. 따라서 iBatis SQL 로깅을 실시간에 조정하려면 서버 실행 전 log4j 설정에 다음을 추가해야 합니다.

log4j.properties 예)

...

log4j.logger.java.sql.Connection=OFF, stdout

log4j.logger.java.sql.Statement=OFF, stdout

log4j.logger.java.sql.PreparedStatement=OFF, stdout

log4j.logger.java.sql.ResultSet=OFF, stdout

...

log4j.xml 예)

...

<appender-ref ref="console" />

</logger>

<appender-ref ref="console" />

</logger>

<appender-ref ref="console" />

</logger>

<appender-ref ref="console" />

</logger>

...

주의할 점

Log4J 로깅을 조절할 수 있는 페이지이므로 시스템에 심각한 영향을 줄 수 있습니다. 따라서 악의를 가진 사용자가 이 페이지에 접근할 수 없도록 조치하기를 바랍니다.

참고로 log4j 버전은 1.2.13 에서 테스트하였습니다.

행복한 아빠

Ubuntu에 장고 애플리케이션 배포

Installation On Ubuntu 14.04.3 LTS

Python 3.5 설치

Git 설치

Application 설치 (Git을 사용할 경우)

uWSGI 구성

uWSGI를 Upstart 추가

NGINX 구성

구동

Java Jigsaw가 도대체 뭐지? - Java9의 핵심

새로운 모듈 시스템?

뭐가 문제였나?

지금까지 잘 살고 있는데 왜?

넘어야 할 산들

언어 레벨에서의 모듈화 시스템

그래서

(지난 간 이야기) CBD에 관하여

완벽(?)해지고 싶은 아키텍트

CBD 전략

뭔가 잘못됨

Vi를 좋아하시는 분들을 위하여

내가 Vi를 좋아하는 이유

내 컴퓨터 Vi 관련 설정 들

별 기능 없는 Vi로 뭐 하시게요?

별 것 가지고 유난떠시네...

파이썬 Docker 이미지 관리하기

나의 첫번째 Dockerfile

Docker 이미지 크기

원인

해결책

개선 후 이미지 크기

삽질 그리고...

Docker로 파이썬 배포 운영하기

운영서버 구성

간단한 배포/운영 방법

VM 이미지를 이용?

Docker를 이용한 배포/운영

Install kamailio (SIP open source server)

Python의 숨은? 특징 2

예외 재발생

내장객체 set 의 연산자 재정의

Negative round

문자열과 boolean 곱셈

re는 함수를 호출할 수 있다.

파이썬 3에서 튜플 unpacking

다중 라인 문자열

Interpreter에서 밑줄

편리한 웹브라우저 컨트롤러

내장된 HTTP 서버

AtExit

pow() 함수 세번째 인자

Unzip

enumerate에서 다른 번호로 index 시작하기

property 클래스

내장된 코덱 base64, zlib, rot13

Python의 숨은? 특징 (어머 이건 사야 돼)

어머 이건 사야 돼

Argument Unpacking

Chaining Comparison Operators

Decorators

Be careful with mutable default arguments

Descriptors

Dictionary default .get value

Docstring Tests

Ellipsis Slicing Syntax

Enumeration

For/else

Function as iter() argument

Generator expressions

import this

In Place Value Swapping

List stepping

__missing__ items

Multi-line Regex

Named string formatting

Nested list/generator comprehensions

New types at runtime

.pth files

ROT13 Encoding

missing items