lazyTechnology

终于把Apache2从我的VPS上停掉了

Duo — Sun, 21 Feb 2010 04:15:34 +0000

折腾了一个上午，终于把我的 VPS 上的 Apache 跑着的相关服务，都切换到 Nginx 上了：
1. Blog 用的是 Wordpress，原先是用 mod_php 跑着的，现在则换成了 php-fpm
2. Wiki 用的是 Trac，原先是用的 mod_python，现在用 tracd 直接起来，然后 Nginx 转发
3. Git 前端用的是 Gitweb，因为懒得再启一个 spawn-fcgi 了，所以干脆换成 GitPHP，同样通过 php-fpm 的方式跑着
4. Zotero 的 WebDAV 存储，由于好久都不用，直接停了，有时间再看看有没有什么轻便的替代方案吧

PS1：关于 Gentoo 上的 php-fpm 配置，见 http://bugs.gentoo.org/show_bug.cgi?id=208155 及 http://bugs.gentoo.org/show_bug.cgi?id=301279
PS2：关于 Nginx 跑 Wordpress 的 Permalink 设置，可以参考 http://blog.sjinks.pro/wordpress-plugins/nginx-compatibility/

果然还是把复杂问题简单化比较爽啊

Duo — Wed, 16 Sep 2009 07:17:23 +0000

事情的起因是这样子的，小员在写一个测试工具，主要是管理 Xvfb 和 Selenium Server，启动多个 Server 来并行跑多个测试用例，出错的时候截图生成报告。
然后开发人员的测试代码是这么写的：

^?View Code PYTHON

1 2	def setUP(self): self.selenium = selenium(host, port, "*firefox", "http://xxx.yyy.zzz:1234/")

这里的 host 和 port 在测试用例里是写死的，而在这个测试工具中，由于启动的 Selenium Server 的端口是随机绑定的，所以需要自动的把测试用例里的连接修改成对应的参数。
我俩讨论了下，决定用 decorator 来改掉 selenium 的构造函数，然后有了以下关键部分的代码：

^?View Code PYTHON

def change_selenium_params(host, port, browser='', baseURL=''):
    def inner(func):
        def wrapper(*kargs, **kwargs):
            kargs = list(kargs)
            kargs[1:3] = host, port
            return func(*kargs, **kwargs)
        return wrapper
    return inner
 
@stop_servers
def run(self):
    """
    Run testcases
    """
    self.xvfb.start()
    self.selenium_server = serverctl.SeleniumServer(self.xvfb.display)
    self.selenium_server.start()
 
    for testcase_file in self.testcases_status['waiting']:
        selenium.selenium._init_ = change_selenium_params('localhost', self.selenium_server.port)(selenium.selenium.__init__)
 
        # Make testsuite and run it here
        ......
 
        self.selenium_server.restart()
 
    self.selenium_server.stop()
    self.xvfb.stop()

由于 Selenium 关闭 Firefox 有 Bug，所以不得不每跑一个 testsuite 就重启一次 Selenium Server，这时候发现 testsuite 用的还是第一次传过去的端口。结果看起来奇怪，这个问题还和其它混在一起了，而且这玩意比较难跟踪，调试器也不好用，于是乎，我们写了个简化版的原型来分析，代码如下：

^?View Code PYTHON

class Selenium:
    def __init__(self, port):
        print 'Port:', port
 
def change_port(port):
    def inner(func):
        def wrapper(*kargs, **kwargs):
            kargs = list(kargs)
            kargs[1] = port
            return func(*kargs, **kwargs)
        return wrapper
    return inner
 
for i in xrange(3):
    Selenium.__init__ = change_port(i)(Selenium.__init__)
    a = Selenium(9)

这时候的输出是：

^?View Code TEXT

1
2
3

Port: 0
Port: 0
Port: 0

然后在 decorator 里加了条输出语句：

^?View Code PYTHON

def change_port(port):
    def inner(func):
        def wrapper(*kargs, **kwargs):
            kargs = list(kargs)
            print 'Change port:', port  # Add a debug output.
            kargs[1] = port
            return func(*kargs, **kwargs)
        return wrapper
    return inner

这时候的输出是：

^?View Code TEXT

Change port: 0
Port: 0
Change port: 1
Change port: 0
Port: 0
Change port: 2
Change port: 1
Change port: 0
Port: 0

这下终于知道问题所在了，可怜的 A.__init__ 函数每次执行都多被套一层 decorator，到了最后就变成了：

^?View Code PYTHON

1	change_port(2)(change_port(1)(change_port(0)(A.__init__)))

嗯，用个临时变量先把初始的 A.__init__ 保存起来就 OK 了，比如：

^?View Code PYTHON

class A:
    def __init__(self, port):
        print 'Port:', port
 
orig_func = A.__init__
 
def change_port(port):
    def inner(func):
        def wrapper(*kargs, **kwargs):
            kargs = list(kargs)
            print 'Change port:', port  # Add a debug output.
            kargs[1] = port
            return func(*kargs, **kwargs)
        return wrapper
    return inner
 
for i in xrange(3):
    A.__init__ = orig_func
    A.__init__ = change_port(i)(A.__init__)
    a = A(9)

No related posts.

发发牢骚…

Duo — Sun, 23 Aug 2009 09:34:02 +0000

有时候真的怀疑本应是明年的本命年提前过了，毕竟这一年下来，真的是没什么顺心的事情。被妹子发卡就不说了，毕竟感情的事不是努力就能成的，也只能无可奈何的等伤口慢慢恢复了…

之后过了段时间，由于一些个人原因，辞职宅宿舍了，结果又遇到搞笑的事情。投了家新加坡的创业公司，一开始觉得他们做的东西蛮有意思的，而且还可以异地办公，这样我就可以迁移杭州了。于是和他们作了个 Skype 的面试，说是接下来安排个小项目来试试看。嗯，过了好几天，没动静，发邮件催了下，说是很抱歉，最近比较忙，所以要我再等几天。在这之后就是漫长的等待，IM 上和他们讨论了几次服务器的性能问题，还帮他们弄优化方案的原型，每次聊完总是说让我等那个测试项目。最近更牛掰了，干脆 IM 和 Email 都不回复了… 我都无语了，哥们，你要是不招直说啊，每次都说再等等啥意思呢，要么像现在这样子干脆不回复也成啊。反正啊，是又被忽悠了，想想自个中途还拒了网易的 offer，真是无愧傻多这称号啊…

然后最近看到谷歌宣布 Android 谷歌拼音输入法发布，支持用户词典同步功能，觉得挺不错的。翻了下 Android 的代码仓库，有 PinyinIME 的源代码，于是开始动手移植到 Mac 上，想着如果我 Windows 下也用谷歌拼音的话，两边的词库能同步，挺方便的。结果把原型搞出来后，非常沮丧的发现：
1. 目前的 Android 仓库上的 PinyinIME 源代码里没有网络词库同步的实现…
2. 就算网络词库同步以后加进去了，但是… Android 版本的词库同步和 PC 版本的是独立的，没法共享…
3. Android 版本的词库格式和 PC 版本的不兼容，工程里生成的那 1M 大小的词库实在是太寒碜了，还没法拷 PC 版的来用…
目前的原型继续完善下去感觉也没有必要了，毕竟一开始就是奔着词库同步的优点才动手的，还是老老实实用付费的 QIM 吧…
顺手放个截图缅怀下这个夭折的原型…

也许最近唯一还值得欣慰的就是，笑来兄的《TOEFL核心词汇21天突破》还有坚持每天在背，虽然进度很慢就是了…

No related posts.

Tweetero 翻墙版

Duo — Mon, 03 Aug 2009 12:14:22 +0000

由于在 iPhone 上没找到比较好用的能支持第三方 API 的 Twitter 客户端，只好自己动手给 Tweetero 加了这么个功能来翻墙…
源码在：http://git.lazytech.info/?p=tweetero.git
Cydia 源：http://cydia.lazytech.info/
截图：

最后来句广告词，翻墙推，俺用 Tweetero fuckgfw version + tweetr proxy (或者 birdnest)

目前的开发环境

通过 headless Mozilla 取得 DOM 的 CSS 属性

Duo — Fri, 10 Jul 2009 06:46:51 +0000

项目地址在：http://git.lazytech.info/?p=dom-traversal.git
简单来说，这个程序通过 headless Mozilla back-end，可以不依赖 X 环境运行，输出指定网页的 DOM 节点及其 CSS 属性。

关于 headless Mozilla 的介绍见：http://chrislord.net/files/fosdem-09-slides.odp
如何编译见 Wiki：http://center.lazytech.info/wiki/OffscreenMozilla，http://center.lazytech.info/wiki/DOMTraversal

程序关于 www.google.com 的输出片段：

^?View Code CSS

> Style:
html, div, map, dt, isindex, form { display: block; }
    > Style:
    area, base, basefont, head, meta, script, style, title, noembed, param { display: none; }
        > Style:
        area, base, basefont, head, meta, script, style, title, noembed, param { display: none; }
        > Style:
        area, base, basefont, head, meta, script, style, title, noembed, param { display: none; }
        > Style:
        area, base, basefont, head, meta, script, style, title, noembed, param { display: none; }
        > Style:
        area, base, basefont, head, meta, script, style, title, noembed, param { display: none; }
        > Style:
        area, base, basefont, head, meta, script, style, title, noembed, param { display: none; }
        > Style:
        area, base, basefont, head, meta, script, style, title, noembed, param { display: none; }
        > Style:
        area, base, basefont, head, meta, script, style, title, noembed, param { display: none; }
    > Style:
    body { display: block; margin: 8px; }
    body, td, a, p, .h { font-family: arial,sans-serif; }
        > Style:
        display: none;
        textarea { margin: 1px 0pt; border: 2px inset threedface; background-color: -moz-field; color: -moz-fieldtext; font: medium -moz-fixed; text-rendering: optimizelegibility; text-align: start; text-transform: none; word-spacing: normal; letter-spacing: normal; vertical-align: text-bottom; cursor: text; -moz-binding: url("chrome://global/content/platformHTMLBindings.xml#textAreas"); -moz-appearance: textfield-multiline; text-indent: 0pt; -moz-user-select: text; text-shadow: none; word-wrap: break-word; }
        input:-moz-read-write, textarea:-moz-read-write { -moz-user-modify: read-write ! important; }
        > Style:
        display: none;
        iframe { border: 2px inset; }
        > Style:
        html, div, map, dt, isindex, form { display: block; }
        #gbar { height: 22px; }
        #gbar, #guser { font-size: 13px; padding-top: 1px ! important; }
        #gbar { float: left; }
            > Style:
            nobr { white-space: nowrap; }
                > Style:
                b, strong { font-weight: bolder; }
                .gb1, .gb3 { height: 22px; margin-right: 0.5em; vertical-align: top; }
 
......

跑起来的内存占用大概是 20M 左右，要想降低内存使用量的话，估计只能单独把 Mozilla 的 DOM 和 Layout 部分抽出来重新实现才行了…

我日 GFW

Duo — Thu, 25 Jun 2009 07:25:43 +0000

对于昨晚发生的事件，实在是出离的愤怒了，在这要送出我最真诚的诅咒：做GFW者，其无后乎？
当时 @belltoy 提到 SSH 通道也没法访问 Gmail 了，虽然我这访问没问题，但还是给我提了个醒，必须得多准备一条翻墙的渠道了…
早上在小员的帮助下，在自己的 VPS 上把 OpenVPN 搭起来了，然后用 TinyProxy 在 VPN 的网段开了个代理，不想改路由的时候就通过内部代理来穿墙。
目前通过 VPN + TinyProxy + Firefox + FoxyProxy 开心翻墙，很好很强大~

PS: OpenVPN 在 Gentoo 系统上的配置见俺的 Wiki：http://center.lazytech.info/wiki/OpenVPNConfiguration

No related posts.

Daily Scripts: djangoat.py (for Linux)

Duo — Fri, 19 Jun 2009 08:49:57 +0000

Djangoat 其实是 Django Auto Tester 的缩写，不过我更喜欢读作 “djan-goat”… 这个脚本是通过 inotify 来监控 Django 项目目录，当发现文件变化时自动执行单元测试，出错则通过 Mumbles 来提示相关错误。由于用到了 inotify 和 Mumbles，所以目前只能在 Linux 运行，Mac 版的稍后再写个…

下面是程序代码：

^?Download djangoat.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
import commands
import datetime
import dbus
import dbus.service
import os
import sys 
 
from dbus.mainloop.glib import DBusGMainLoop
 
from pyinotify import WatchManager, ThreadedNotifier, \
                      ProcessEvent, IN_CLOSE_WRITE, \
                      ExcludeFilter
 
FIREFOX_DBUS_INTERFACE = 'org.mozilla.firefox.DBus'
FIREFOX_DBUS_PATH = '/org/mozilla/firefox/DBus'
 
class FireFoxDBus(dbus.service.Object):
    def __init__(self, bus_name):
        dbus.service.Object.__init__(self, bus_name, FIREFOX_DBUS_PATH)
 
    @dbus.service.signal(dbus_interface=FIREFOX_DBUS_INTERFACE, signature='ss')
    def DownloadComplete(self, title, subject):
        pass
 
# Which type of files' change should be monitor
MONITOR_EXTENSIONS = ('.py', '.html')
 
class Watcher(ProcessEvent):
    def process_IN_CLOSE_WRITE(self, event):
        global cmd
        global firefox_dbus
 
        for extension in MONITOR_EXTENSIONS:
            if event.pathname.endswith(extension):
                start_time = datetime.datetime.now()
                print start_time
                output = commands.getoutput(cmd)
                print output
                # If test failed, call mumbles for notification
                if not output.endswith('OK'):
                    firefox_dbus.DownloadComplete(start_time.isoformat(), output)
 
    def process_default(self, event):
        pass
 
if __name__ == '__main__':
    if len(sys.argv) < 2:
        print 'Please specify a path for monitoring...'
        sys.exit()
 
    path = sys.argv[1]
    cmd = "python %s/manage.py test -v 0" % path
 
    # Exclude filter object
    excl_file = os.path.join(os.getcwd(), 'exclude.patterns')
    excl = ExcludeFilter({excl_file: ('excl_lst',)})
 
    # Add watch
    wm = WatchManager()
    notifier = ThreadedNotifier(wm, Watcher())
    wm.add_watch(path, IN_CLOSE_WRITE, rec=True, \
                 auto_add=True, exclude_filter=excl)
 
    # Set up an event loop
    dbus_loop = DBusGMainLoop()
    name = dbus.service.BusName(FIREFOX_DBUS_INTERFACE,
                                bus=dbus.SessionBus(mainloop=dbus_loop))
    firefox_dbus = FireFoxDBus(name)
 
    try:
        notifier.loop()
    except KeyboardInterrupt:
        print 'Djangoat shut down...'
    except Exception, ex:
        print 'Exception in Djangoat: %s' % (ex)

^?Download exclude.patterns

#  -*- mode: python; -*-
 
# Exclude pattens
excl_lst = ['^\.git/',
            '^\.svn/',
           ]

然后是截图：

代码仓库：
http://git.lazytech.info/?p=daily-scripts.git

CHMReader 在 Mac 下的编译问题

Duo — Mon, 08 Jun 2009 06:46:13 +0000

CHM Reader 是一个非常优秀的在 Firefox 下查看 CHM 文件的扩展，项目地址在：http://sourceforge.net/projects/chmreader/

把代码 checkout 回来，在 OSX 10.5.7 上编译时出现了下述问题：

^?View Code BASH

1
2
3

g++ -o components/mozCHMModule.os -c -fPIC -I/Users/duo/xulrunner-sdk/include -I/Users/duo/xulrunner-sdk/sdk/include components/mozCHMModule.cpp
/Users/duo/xulrunner-sdk/sdk/include/nsStringAPI.h:1053: error: size of array 'arg' is negative
scons: *** [components/mozCHMModule.os] Error 1

nsStringAPI.h 的 1053 行是 PR_STATIC_ASSERT(sizeof(wchar_t) == 2)，不过 mac 的 wide character size 是 4-bytes，编译选项加个 -fshort-wchar 就搞定了。

另一个问题出现在 link 阶段：

^?View Code BASH

g++ -o platform/Darwin_x86-gcc3/components/libchm.dylib -dynamiclib components/chm_lib.os components/lzx.os components/mozCHMModule.os components/mozCHMFile.os components/mozCHMUnitInfo.os components/mozCHMInputStream.os -L/Users/duo/xulrunner-sdk/lib -L/Users/duo/xulrunner-sdk/sdk/lib -lxpcom -lxpcomglue_s -lnspr4 -lplds4 -lplc4
ld: file not found: @executable_path/libsmime3.dylib
collect2: ld returned 1 exit status
scons: *** [platform/Darwin_x86-gcc3/components/libchm.dylib] Error 1

添加 -Wl,-executable_path -Wl,/path/to/gecko/sdk/bin 这个 link flag 即可

完整的 svn diff：

^?View Code DIFF

Index: components/SConscript
===================================================================
--- components/SConscript       (revision 114)
+++ components/SConscript       (working copy)
@@ -7,6 +7,8 @@
 
 libs = ['xpcom', 'xpcomglue_s', 'nspr4', 'plds4', 'plc4']
 
+linkflags = ''
+
 # We use firefox development files instead for geckosdk on FreeBSD
 if system() != 'FreeBSD':
        try:
@@ -38,7 +40,8 @@
     cpppath.append('/usr/include/nspr')
 
 elif system() == 'Darwin':
-    cxxflags = []
+    cxxflags = ['-fshort-wchar']
+    linkflags = ['-Wl,-executable_path', '-Wl,%s/bin' % geckosdk]
 
 elif system() == 'Windows':
     cxxflags = ['/D', 'WIN32', '/D', 'XP_WIN', '/nologo', '/MT', '/O2']
@@ -70,7 +73,7 @@
                '/usr/local/lib/firefox3/sdk/lib']
 
 env = Environment(CPPPATH = cpppath, LIBPATH = libpath, LIBS = libs,
-                  CXXFLAGS= cxxflags)
+                  CXXFLAGS= cxxflags, LINKFLAGS = linkflags)
 
 bxpt = Builder(
     action = 'xpidl -w -m typelib -Icomponents -I%s -I%s -e $TARGET $SOURCE' \

aghttpd: a small C library for creating a HTTP server (based on GLib)

Duo — Tue, 02 Jun 2009 07:02:55 +0000

这玩意是从 Ewrt Open-Source firmware 的代码里抽出来，给最近折腾的个人项目用的。
项目仓库在：http://git.lazytech.info/?p=aghttpd.git

样例代码：

^?View Code C

#include 
#include 
#include 
#include 
#include 
 
#include "http.h"
 
static int caught_sigint = 0;
 
void handle_free ( GIOChannel *sock, http_request *h ) { 
    g_io_channel_unref( sock );
    http_request_free( h );
}
 
gboolean handle_write( GIOChannel *sock, GIOCondition cond, http_request *h ) { 
    gchar *response = "It Works!";
    guint r, n;
 
    n = strlen( response );
 
    http_add_header( h, "Content-Type", "text/html" );
    http_send_header( h, 200, "OK" );
 
    r = g_io_channel_write( h->sock, response, n, &n );
 
    if ( r != G_IO_ERROR_NONE ) {
        g_warning( "Serving response to %s failed: %m", h->peer_ip );
    }
 
    g_io_channel_close( sock );
    handle_free(sock, h);
 
    return FALSE;
}
 
gboolean handle_read( GIOChannel *sock, GIOCondition cond, http_request *h ) {
    ssize_t n = http_request_read( h );
 
    if ( http_request_ok( h ) ) {
        g_io_add_watch( sock, G_IO_OUT, (GIOFunc)handle_write, h );
        return FALSE;
    } else if ( 0 == n ) {
        handle_free( sock, h );
        return FALSE;
    } else {
        return TRUE;
    }
}
 
gboolean handle_accept( GIOChannel *sock, GIOCondition cond, gpointer data ) {
    struct sockaddr_in peer_addr;
    int peer_fd, n = sizeof( peer_addr );
    GIOChannel *peer;
    http_request *req;
 
    peer_fd = accept( g_io_channel_unix_get_fd(sock),
                      (struct sockaddr *)&peer_addr, &n );
    g_assert( peer_fd != -1 );
 
    peer = g_io_channel_unix_new( peer_fd );
    req  = http_request_new( peer );
    g_io_add_watch( peer, G_IO_IN, (GIOFunc)handle_read, req );
 
    return TRUE;
}
 
gboolean check_sigint ( GMainLoop *loop ) {
    if ( caught_sigint ) {
        g_message( "Caught SIGINT!" );
        g_main_quit( loop );
    }
    return TRUE;
}
 
void handle_sigint ( int sig ) {
    caught_sigint++;
}
 
int main (int argc, char **argv) {
    GMainLoop *loop;
    GIOChannel *sock;
 
    signal( SIGPIPE, SIG_IGN );
    signal( SIGINT, handle_sigint );
 
    loop = g_main_new( FALSE );
 
    sock = http_bind_socket( "0.0.0.0", 12345, 5 );
 
    g_io_add_watch( sock, G_IO_IN, (GIOFunc)handle_accept, NULL );
    g_timeout_add( 1000, (GSourceFunc)check_sigint, loop );
 
    g_message( "starting main loop" );
    g_main_run( loop );
    g_message( "exiting main loop" );
 
    return 0;
}

和这个 “libevent webserver in 40 lines of c” 比起来代码行数是多了不少…

然后是 Benchmark 的数据：
ab -c 1000 -n 10000 http://localhost:12345/

libevent: Requests per second: 1349.16 [#/sec] (mean)
aghttpd: Requests per second: 2255.85 [#/sec] (mean)

Creating a simple C++ component

XPCOM: Javascript function call alternative

Duo — Sun, 31 May 2009 08:41:07 +0000

以前曾经写过关于如何从 C++ XPCOM 调用 JavaScript 函数的文章 (XPCOM: Javascript function call)，最近发现其实可以通过 observer 来达到同样的目的。

C++ XPCOM 的代码：

^?View Code CPP

1
2

nsCOMPtr<nsIObserverService> observerService = do_GetService("@mozilla.org/observer-service;1");
observerService->NotifyObservers(NULL, "ping", ToNewUnicode(NS_ConvertASCIItoUTF16("www.google.com")));

JavaScript 的代码：

^?View Code JAVASCRIPT

const Cc = Components.classes;
const Ci = Components.interfaces;
 
var aObserver = { 
    observe: function(subject, topic, data) {
        if (topic == "ping") {
            alert("Ping: " + data);
        }   
    }   
};
 
var observerService = Cc["@mozilla.org/observer-service;1"].getService(Ci.nsIObserverService);
 
observerService.addObserver(aObserver, "ping", false);

如果是多线程的 XPCOM 的话，有时需要通过 nsIProxyObjectManager 来调用 JavaScript 函数 (JavaScript 和 UI 是在单独的线程，具体见 nsISupports proxies 和 nsProxiedService.h)