自言自语

Python 文档转换方案

Wayly.baye — Thu, 24 Feb 2011 22:02:13 +0000

Python 文档转换解决方案

文中所用平台为Linux

将 Office/PDF 转换为txt是为了进行全文索引

提取PDF首页缩略图进行预览

将 Office/PDF/Txt 转换为SWF是为了可以在线浏览

Python 文档转换解决方案

Office -> PDF

TXT -> PDF

PDF -> TXT

PDF -> SWF

Office --> SWF

TXT --> SWF

提取PDF缩略图

常见问题

subprocess 超时

pdftotext 乱码

pdf2swf 乱码

TXT 乱码

Office -> PDF

支持 doc/xls/ppt 等多种格式

docx 等也支持

不能并行转换

可以使用OpenOffice 的API进行转换

1. 启动 OpenOffice 进程

$ soffice "-accept=socket,host=localhost,port=8100;urp;StarOffice.ServiceManager" -nologo -headless -nofirststartwizard

2. 安装pyuno

3. 代码(从网上找的代码，测试可用，另外有个DocumentConvert封装好的类http://www.artofsolving.com/opensource/pyodconverter

?

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

#!/usr/bin/env python

import uno

from unohelper import Base, systemPathToFileUrl, absolutize

from com.sun.star.beans import PropertyValue

def convert_office_to_pdf(source_file, dst_file):

    url = systemPathToFileUrl(source_file)

    url_save = systemPathToFileUrl(dst_file)

    ### Get Service Manager

    context = uno.getComponentContext()

    resolver = context.ServiceManager.createInstanceWithContext("com.sun.star.bridge.UnoUrlResolver", context)

    ctx = resolver.resolve("uno:socket,host=localhost,port=2002;urp;StarOffice.ComponentContext")

    smgr = ctx.ServiceManager

    ### Load document

    properties = []

    p = PropertyValue()

    p.Name = "Hidden"

    p.Value = True

    properties.append(p)

    properties = tuple(properties)

    desktop = smgr.createInstanceWithContext("com.sun.star.frame.Desktop", ctx)

    doc = desktop.loadComponentFromURL(url, "_blank", 0, properties)

    ### Save File

    properties = []

    p = PropertyValue()

    p.Name = "Overwrite"

    p.Value = True

    properties.append(p)

    p = PropertyValue()

    p.Name = "FilterName"

    p.Value = 'writer_pdf_Export'

    properties.append(p)

    properties = tuple(properties)

    doc.storeToURL(url_save, properties)

    doc.dispose()

TXT -> PDF

可以使用 Office -> PDF 的方法转换

PDF -> TXT

将PDF转换成TXT主要是为了进行全文索引

可以用第三方工具 pdftotext 进行转换

1. 安装pdftotext sudo apt-get install pdftotext

2. 用subprocess 调用pdftotext 进行转换

?

1

2

3

4

5

6

cmd = "pdftotext %s %s" % (source_file, dst_file)

popen = subprocess.Popen(

    args=cmd.split(' '),

    stdin=subprocess.PIPE,

    stdout=subprocess.PIPE,

    stderr=subprocess.PIPE)

PDF -> SWF

可以使用 swftools 中的 pdf2swf 进行转换

1. 安装 swftools 2. 用 subprocess 调用swftools命令

?

1

2

3

4

5

6

cmd = "pdf2swf -T9 %s -o %s" % (source_file, dst_file)

popen = subprocess.Popen(

    args=cmd.split(' '),

    stdin=subprocess.PIPE,

    stdout=subprocess.PIPE,

    stderr=subprocess.PIPE)

Office --> SWF

可以 Office -> PDF -> SWF

TXT --> SWF

可以 TXT -> PDF -> SWF

提取PDF缩略图

安装 gfx ..http://www.swftools.org/gfx_tutorial.html

?

1

2

3

4

5

6

7

8

9

10

pdf_doc = ux.open("pdf", tmp_pdf_file)

img = gfx.ImageList()

img.setparameter("antialise", "1") # turn on antialising

page1 = pdf_doc.getPage(1)

# 注意这个大小是生成图片的大小，要和page长宽保持一直

# 若小于原图片尺寸，图片会被裁剪，不会自动缩放图片

img.startpage(page1.width, page1.height)

page1.render(img)

img.endpage()

img.save(tmp_img_file)

常见问题

subprocess 超时

在转换大的文档时或者其它有问题的文档时进程可能会死掉导致转换队列卡住,可以设置个超时时间，超时后自动杀死转换进程

?

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

class Process():

    @classmethod

    def run(cls, cmd, timeout=0):

        assert type(timeout) == int

        #print "+ process cmd: %s" % cmd

        cmd = cmd.split(' ')

        #print "[INFO] process args: ", cmd

        popen = subprocess.Popen(args=cmd,

            stdin=subprocess.PIPE,

            stdout=subprocess.PIPE,

            stderr=subprocess.PIPE)

        if timeout != 0:

            start_time = time.time()

            while popen.poll() == None and (time.time() - start_time ) < timeout:

                time.sleep(0.5)

        else:

            popen.wait()

        if popen.poll() == None:

            #print "+ kill pid: %-10d" % popen.pid

            os.kill(popen.pid, signal.SIGTERM)

            os.kill(popen.pid, signal.SIGKILL)

            popen.wait()

        ret = popen.poll()

        #print "+ process ret: %-10d" % ret

        if ret != 0 :

            print "[INFO] process stdout:\n%s" % popen.stdout.read()

            print "[INFO] process stderr:\n%s" % popen.stderr.read()

        return ret

Process.run("pdf2swf -T9 %s -o %s" % (source_file, dst_file), 5*60)

pdftotext 乱码

安装libpoppler7

pdf2swf 乱码

安装 xpdf-utils

安装 xpdf-chinese-simplified

根据 xpdf-chinese-simplified 的说明进行配置(或者Google之)

在pdf2swf 转换时添加参数 -slanguaredir="path_to_xpdf_chinese_simplified"

TXT 乱码

1. 转换为PDF时乱码 2. 最终生成的SWF乱码

解决方法: 检查一下所有TXT文件的编码,如果不是UTF-8就转换成UTF-8然后再进行其它转换可以参考我上篇有关TXT编码的文件

使用新评论系统

Wayly.baye — Sat, 22 Jan 2011 18:56:34 +0000

RTRT，原有的评论都隐藏了，开始使用baye.me 的评论系统。

baye.me 正在开发中，我先把自己的博客评论系统换了 :)

(baye.me 正在进行重新设计)

Python 编码检测

Wayly.baye — Tue, 18 Jan 2011 21:06:13 +0000

====================

Python 编码

====================

最近被编码快搞死了，首先是 pdf -> txt/swf pdf 内嵌字体问题又是 txt 编码问题， txt 的编码问题无法最为繁琐

有在文件头记录的，有没有文件头的，自己写代码判断的话就被搞死了

最后，找到一个Python编码检测的库，写的代码终于能解析大部分txt文件了

pip install chardet

import chardet

import codecs

encoding = chardet.detect(open(file_path).readline())['encoding']

if not encoding.lower() == 'utf-8':

file = codecs.open(file_path, encoding=encoding)

dst_file = open('utf-8.txt', 'w+)

for line in file:

dst_file.write(line.encode('utf-8'))

file.close()

dst_file.close()

Windows 下以 unicode 保存的文件编码是 UTF-16LE

以 unicode big 保存的是 UTF-16BE

都可以用 codecs.open(file_path, encoding='utf-16') 打开

对于Windows 下用ANSI保存的文件，或者UE保存的文件几乎都可以用

codecs.open(file_path, encoding='gbk') 打开并没有乱码

不过某些 chardet 检测的 GB2312 编码的文件，用gb2312打开时也会有编码错误，所以如果检测到是gb2312还是换成 gbk编码打开

webkit "name" 陷阱

Wayly.baye — Mon, 13 Dec 2010 10:28:53 +0000

我在处理一个form有很多可排序的字段时，都是将input.name 属性设置为 model-field-id 这样的格式，然后在拖放排序后动态的改变_id

于是用这样的写法:

$("input.item").each(function(index, input){

name = input.name ;

name = name.split('-');

name.pop();

name.push(new_id);

input.name = name.join("-")

});

这样的代码在IE/Firefox上没有任何问题，但是到了Chrome/Safari上就出现另外问题

到Chrome的Developer Tool里面输入"na" 发现自动补全出现了 "name" 原来 name 是全局变量

查下 window 对象确实有个name属性

看下报的错是“Object model,field,id has no method 'pop' "

再输出下name的值，本来是个列表却成为字符串了，难道相当于调用了

["model", "filed", "id"].join(",")

难道赋给name(window.name)的值都会被webkit 自动转换成字符串？

于是我又给name赋值了几个对象的类型发现都自动转换成字符串了

总结了以下规律：

如果复制给name的对象有toString() 就会使用此函数返回值作为name的值，如果没有此值将会打印"对象的名字"，我不清楚这个"对象的名字"是怎么来的，不过如果是用Python的话就可以这样说：

首先调用的 __str__函数，如果没有则使用 __repr__

所以在给变量命名时最好不用 "name" 或者放到另外一个名字空间中

小时候的各种小发明

Wayly.baye — Tue, 22 Jun 2010 21:43:33 +0000

定时炸弹~~

小时候最爱玩鞭炮了，学习电视上的各种爆破（瓶子、冰、雪、木板...）。小学生看到电视中的定时炸弹特别喜欢，想着自己也弄个定时炸弹炸坏人~~小时候家里就烟多...

于是乎就自己想着制作定时炸弹...

拿五六个鞭炮，围在一根将军外面，把炮捻弄一块，用胶带贴在烟上，再把围成一圈的鞭炮粘起来~ok 就完成了..

把烟点着，放到人群后面，O(∩_∩)O哈哈~....

嘣一声，人群惊开~~俺一脸无辜的问谁放的炮啊~~俺没在现场不是俺放的~~

俺房间有机关~~

小时候各种武侠剧呀，总是幻想着自己是大侠，牵着美女走过层层机关拿到稀世之宝~~

俺总喜欢把自己房间弄的很神秘，想着把自己房间也弄的机关重重~

于是乎就设计了下面这个东西（见图）

孔明灯

前几天校园里有人放孔明灯，突然想起了俺以前自制的孔明灯~~

很简单找个方便袋，就超市里的那种，大点的

把两边的提袋用一个十厘米长的小纸条连起来用胶布粘住，找点卫生纸，白蜡。

把卫生纸搓成烟粗的形状，二指多长，滴满蜡油，再滴在那个小纸条中间，固定住。如图~

撑开方便袋，点燃滴满蜡油的卫生纸团，一个小孔明灯就缓缓的飞呀飞起来啦~~

（有引起火灾的危险...）

失败的四驱车

记得小时候有部动画片非常流行，俺用压岁钱买了个四驱车玩~，不过跑的实在太慢了，俺受不鸟...

另外俺从小就喜欢拆东西，家里的东西都被俺拆过一遍~~

以前家里有个老式的收音机收音机上还带个表（当然被我拆过不能用了...），我很喜欢玩里面的齿轮，时钟转一圈，秒针就忽忽的飞快的转~

突然，灵感来了，如果俺把马达接在时钟的此轮上，把秒针的此轮和四驱车后轮的轴承齿轮接起来，跑起来岂不是飞快！

当时那个激动呀~~拿锤子、钳子就把收音机上那个钟表卸了（金属的..），把那个有齿轮的金属板磨成方形，再在四驱车上用刀子割个小洞，把钟表齿轮嵌里面，弄好齿轮的衔接...弄啊弄，弄啊弄，终于尺寸吻合了！

开车！后轮嗖嗖的~~那个快啊....

但是放到桌子上时....估计初中学过齿轮与力臂的人都知道杯具了...（俺当时貌似上四年级，还不懂这些...，上完物理课突然对若干年钱的失败恍然大悟..)

自行车计程器

（这个是初中的时候弄的~~）

有次发现计数器你按下： 1+1 再按等号出来2 再按下等号出来3 ..可以把 1 +1 换成 0 + 1.9(这个换成自行车轮子的周长~），以后每转一圈就按一次等号。

于是乎俺想着把等号下面的电路弄出来，小时候拆过东西，看过按键下面电路板的童鞋应该都知道，电路板其实就是两圈线，中间是不连接的，按键下面是柔软的帽，帽中间是一个小铅块（我不知道是不是铅，反正是黑色导电的东西~~~）

明白这点后就好弄了，把计数器拆了，把“=”按键下面的电路板两边分别接出来两根线，两根线每接触一次相当于按了一次“=”键

（计数器不是俺弄的，是二奋往外接的线，他焊接的工具很全，还经常捣鼓这东西）

然后就设计了下面这个东西，自行车每转一圈突出的导电装置就接通一次，也就是按了一次等号，总计数就步进1次。

俺弄好后就出去溜达着玩，骑到学校外面然后骑回来，告诉同学跑了一千一百多圈~俺的自行车那个拉风呀~~

（众MM水汪汪的崇拜的眼神直盯着俺骑车的背影~~~）

用Live Mesh代替Dropbox

Wayly.baye — Mon, 31 May 2010 16:56:50 +0000

Live Mesh

以前用Dropbox来同步自己的一些数据，如项目源码，一些个人信息管理软件的数据库等。

Dropbox只能设置一个同步目录，既Dropbox备份目录，这样用着比较容易上手，你想同步什么就保存在那个文件夹里就行了。

但Dropbox太占资源了，CPU经常到30% 甚至50%，而且最近Dropbox刚刚被封（使用代理可以正常使用），所以就打算换个同步软件，于是就找到了还在Beta的Live Mesh

什么是 Live Mesh?

Live Mesh 是一个“软件+服务”平台，将计算机和其他设备通过互联网整合到一起，允许个人和组织管理、访问和共享他们的文件和应用，无缝整合各种设备和互联网。Live Mesh 包括：

§ 平台明确和构建用户的设备、数据、应用和人之间的数字关系 – 开发者将获得开放的数据模型和协议。

§ 云服务提供微软数据中心的平台。

§ 软件允许本地应用客户端离线进行云计算的交互。

§ 平台体验将用户设备、文件和应用，以及社会化图表通过 Feed 整合在一起，这是该平台最主要的优势。

相比Dropbox来说，LM 有5G的免费空间，多了3G，另外LM 可以添加多个目录支持，这样就很方便了。

比如我的代码和个人生活的一些文档，都存在不同的文件夹里，这样就可以让LM监视多个文件夹的改变并保持同步。

另外在速度上我感觉LM比Dropbox快了好几倍，同步非常快，而且比Dropbox节省很多资源。

MySQL 自动备份

Wayly.baye — Wed, 21 Apr 2010 21:23:57 +0000

网站运行快一个月了，也没怎么备份过数据，就配置了一下VPS，没三个小时备份数据库，并且我的本本每个小时将备份的最新数据下载下来

服务器端备份

编写备份脚本

$ vim /etc/cron.daily/mysqlbak

#!/bin/sh

mysqldump -hlocalhost -uxxx -pxxxxx database_name > /var/backups/the_name/$(date +%Y-%m-%d-%H).sql

# 以年-月-日-小时.sql 的格式备份数据库

$ chmod +x mysqlbak

添加计划任务

$ vim /etc/crontab

0 */3 * * * root /etc/cron.daily/mysqlbak

# 每三个小时的整点，运行/etc/cron.daily/mysqlbak 进行备份

我的电脑脚本

VPS 都提供有SSH，在Windows上需要putty 软件包中的相关工具远程连接后下载文件

需要工具： putty 软件包的 pscp.exe

download_bak.cmd

C:\software\pscp -pw xxx root@xxx.com:/var/backups/the_name/*.sql e:/bak/the_name

新建计划任务

然后新建一个计划任务就行了，选择download_bak.cmd 脚本，每天执行，每一个小时循环一次

2010.3.16 SOHO

Wayly.baye — Tue, 16 Mar 2010 19:07:14 +0000

今天在优酷看了一个蚁族的视频，被触动了一些~

话说俺也算是毕业生了，身边同学都去工作了，虽然说实习期工资也不多，有的不发工资，管吃管住，一般也就几百元的工资。

俺还是留守在宿舍里，准备自己做SOHO...

钱不是好挣的呀，这几天挣了一百块钱，总不舍得花。。

做了几天，感慨不少，等俺有空了自己好好的写写...

呃，继续加油

pickle KeyError: \x00

Wayly.baye — Sun, 14 Mar 2010 16:49:29 +0000

我用pickle 做对象序列化和服务器交换数据

从客户端接收服务器返回的 pickle 序列时没有问题，但是上传数据时发有异常发生了

KeyError: .. \x00

google 一下，在Appengine-patch 的Issues 中看到一个跟帖，从数据库中提取pickle时发生了同样的问题。

有人回复用 blob 代替 text 在数据库中存储，然后我突然就想起来了，自己以前用json时也遇到过类似的问题。

原因是因为 text 存储时，会自动转为unicode 存到数据库中。

而Django 从客户端接收到POST数据后也会自动的decode为unicode，所有原先的序列就破坏了。

另外Django返回HttpResponse 时不会返回unicode的，所以接收服务器返回的pickle序列不会改变。

特此记下

添加回复邮件提醒功能

Wayly.baye — Thu, 11 Mar 2010 13:46:41 +0000

2010/3/11 更新:

根据 swappy 童鞋的建议添加邮件回复提醒功能。

要回复一条评论，只需要在那条评论上使用向右的鼠标手势，填写内容使用鼠标手势提交评论即可

另修改了一个小bug，对文章评论时 web 不用填写http:// 程序自动添加

非常欢迎好的建议 :)

博客更新-鼠标手势及评论

Wayly.baye — Wed, 10 Mar 2010 18:39:18 +0000

呃，不知道啥时候被人瞄上了，每天那么多的垃圾评论注入...估计是网络爬虫发的

这次升级改了一下评论，更改了一下URL，另外在form 标签中去除了 action 属性通过JS动态的提交评论。

还去除了提交按钮，取而代之，必须是用鼠标手势提交评论。

只需要在 "留个小脚印吧"后面到"使用google账号登录" 之间的空白区域内，按住鼠标右键，然后向右拖动一段距离即可提交评论。

另外修复了一下文章区域的鼠标手势，现在支持IE8, Firefox, Chrome, Safari, Opera。

IE6未测试，应该也可以用，不过鼠标手势生效时显示的图片坐标和鼠标的当前坐标不对。

我经常用的Python 工具

Wayly.baye — Tue, 09 Mar 2010 10:48:06 +0000

我经常用的Python 工具

IPython -- An enhanced Interactive Python:

Features:

* Magic commands: 可以使用一些shell命令如 %cd <dir> 和一些高级功能(具体可以%magic 查询)

* 可以动态的跟踪对象信息, 可用使用 ?var or var? 来输出 var 的详细信息

* 使用TAB可用自动完成

* 可用通过!command 执行Shell命令

* 安装pyreadline 后可以高亮代码

输入 ? 可用查看完整的Feature 列表

安装: easy_install ipython or apt-get install ipython

bPython:

这个动态提示和自动完成很强大，不过在Win平台下无法使用

安装: easy_install bpython or apt-get install bpython

DreamPie:

还有三个Python 的IDE:

PyCharm:

刚出的Python IDE，Java开发，跨平台。支持Django 开发。

所谓的支持就是能对Django的Template 语法高亮，能运行manage.py 命令

Netbeans:

Netbeans 有个Python 的版本，没有对Django的特别支持。

PyDev:

Eclipse 插件不少人在用。

个人觉得跟Java 的IDE对比没有啥出色的功能，俺就用过几次，体验一下，感觉完全没有Vim + Shell 快捷，方便。

自动完成功能还真不是很需要，因为Python 强大的反射功能，开个IPython ，dir 一下什么都有了。

反而觉得 Vim 的 Ctrl+N 本地记录的自动完成非常有用，是我最常用的组合键了。

另外俺对字体的要求很高~Netbeans 在Win 下字体很不好看，Eclipse 没有color theme，PyCharm 太占资源（内存 150M+ ）,界面没有Eclipse 的好看。

Django基于对象的缓存机制

Wayly.baye — Sat, 27 Feb 2010 23:03:02 +0000

以博客为例说一下我实现的一个缓存机制，它用起来是这样的

@cache('Entry', 'id')
# 下面的view 中有个关键词参数叫做 id 用它和'Entry'来标识这个缓存
def entry_detail(request, id):
    pass
 
@clear_cache('Entry', '$entry_id')
# 清除一个Entry 的缓存，它的id 是POST参数中的 entry_id
def entry_comment(request):
    pass

平台

以GAE和Django 为例，稍加修改就可以运行在纯Django或者纯GAE项目上

缓存与逻辑的分离

将缓存的代码放入view 内我觉得很ugly ，所以使用decorator 实现缓存机制，这样缓存不会和业务逻辑耦合在一起

缓存与精确清理

页面的请求一般对应着某个对象，比如Category, Entry

而一个对象可以通过一个id，或者key_name 唯一的识别这个对象，那么我就可以使用 “对象的类型名_对象识别符” 作为缓存的键值在缓存中唯一的标识这个对象

（注：下文中的id 泛指标识对象唯一性的一个值，如对象的数字id，或者文章的slug)

这样设计出缓存函数的原型

def cache(type, id):
    """
    type -- 对象的类型
    id -- 标识对象唯一的id
    """
    pass

那么怎么获取这个对象的id呢，Django 有很漂亮的URL机制，我们可以从URL 中匹配这个值，并且传给view，我们当然就可以从view 函数截获这个id

@def cache(name, param_pos=''):
    """param_pos -- 对象的id在view 中的位置，可为数字，可为关键值参数的key"""
    def wrap(fn):
        def view(request, *args, **kwargs):
            if type(param_pos) == int:
                id = args[param_pos - 1]
            elif type(param_pos) == str:
                id = kwargs.get(param_pos, '')
            else:
                raise ValueError
            ...
        return view
    wrap.__name__ = fn.__name__
    return wrap

对于不需要id 的页面，比如首页我们可以只使用第一个参数

@cache('index')
def index(request);
    pass

如我有一个view 负责显示一个文章页面，于是我想这样写：

@cache('Entry', 1)
def entry_detail(request, id):
    """URL Pattern:/entry/(\d+)"""
    pass

在我修改一篇文章时我想精确的清理掉这个缓存

@clear_cache('Entry', 1)
def entry_edit(request, id):
    """URL Pattern: /entry/(\d+)/edit"""
    pass

当然在我对这篇文章发表评论时我也要清理掉这个缓存

@clear_cache('Entry', 'entry_id')
def comment_new(request, entry_id):
    """URL Pattern: /entry/(?P<entry_id>\d+)/comment"""
    pass

有包含关系对象的缓存

在我发表一篇文章时，我需要更新首页和它的Category页面

@clear_cache('index')
@clear_cache('Category', '?')
def entry_new(request):
    """URL Pattern: /entry/new"""
    pass

Category 后我该写什么呢，因为URL中未提供此category 的ID

当然你的URL可能是 /category_slug/archive/new 这时可以提取到category的slug_name，但一般会在发表文章页面让用户选择一个category

这时候我们可以重构我们的cache函数，让它支持从POST中提取值

@clear_cache('Category', '$category_id')
def entry_new(request):
    """URL Pattern: /entry/new"""
    pass

# 哈哈我觉得非常漂亮 :) ~~

这些功能基本上已经能够缓存完一个完整的博客了，而且结构清晰，非常容易维护 :)

附上全部代码：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
 
from google.appengine.api import memcache

def cache(model_name, id_or_name, seconds=60*10, clear_when_post=False):
    """
    通过 Model 和用来标识 Model 的唯一一个实例的值的连接建立一个唯一的 memcache key 值
 

    model_name -- Model 的类名，或者为一个指定的标识前缀
    id_or_name -- 标识唯一的一个 Model 实例的标识在view 函数中的参数位置. 
        当类型为 int 时则应为其在view *args 中的位置 
        为 str 时则应为关键值参数的名字
    seconds -- 缓存的秒数


    >>> @cache('Entry', 1)
    >>> entry_detail(request, id):
    >>>    '''URL pattern : /entry/(\d+)'''
    >>>    pass
    """
    def wrap(fn):
        def view(request, *args, **kwargs):
            """用来替代原view"""
            if type(id_or_name) == int:
                value = args[id_or_name-1]
                cache_key = '%s_%s' % (model_name, value)

            elif type(id_or_name) == str:
                if not id_or_name.startswith('$'):
                    value = kwargs.get(id_or_name)
                    cache_key = '%s_%s' % (model_name, value)
                else:
                    value = request.POST.get(id_or_name[1:], '')
                    cache_key = '%s_%s' % (model_name, value)
            else:
                raise ValueError, 'unsupported memcache key type'

            if request.method == 'POST' and clear_when_post is True:
                memcache.delete(cache_key)
                return fn(request, *args, **kwargs)

            if not request.method == 'GET':
                return fn(request, *args, **kwargs)

            hit = memcache.get(cache_key)
            if not hit:
                resp = fn(request, *args, **kwargs)
                memcache.set(cache_key, resp, seconds)
                return resp
            return hit
 
        view.__name__ = fn.__name__
        return view 
    return wrap

def clear_cache(*args, **kwargs):
    """
    清楚缓存
    """
    return cache(clear_when_post=True, *args, **kwargs )

def blank(*args, **kwargs):
    def wrap(fn):
        def view(request, *args, **kwargs):
            return fn(request, *args, **kwargs)
        view.__name__ = fn.__name__
        return view
    return wrap

from django.conf import settings
if settings.DEBUG:
    cache = blank
    clear_cache = blank

单元测试：

class CacheTest(unittest.TestCase):
    def test_cache(self):
        """测试缓存系统"""
        class Request(object):
            method = ''
            POST = {}

        @cache('X', 1)
        def x_detail(request, id):
            return id

        @clear_cache('X', 1)
        def x_remove(request, id):
            return True

        request = Request()
        request.method = 'GET'

        assert x_detail(request, 1) == x_detail(request, 1)
        assert x_detail(request, 1) == 1
        assert memcache.get('X_1') == 1
        assert memcache.get_stats()['hits'] == 3

        x_detail(request, '2')
        assert memcache.get('X_2') == '2'
        assert memcache.get_stats()['items'] == 2

        # 测试自动清除
        request.method = 'POST'
        x_remove(request, 1)
        assert memcache.get('X_1') is None
        assert memcache.get_stats()['items'] == 1

        # POST 请求不缓存
        request.POST = {'the_id':'2'}
        x_detail(request, 3)
        assert memcache.get('X_3') is None
        assert memcache.get_stats()['items'] == 1

        x_remove = clear_cache('X', '$the_id')(x_remove)
        x_remove(request, '$the_id')
        assert memcache.get('X_2') is None
        assert memcache.get_stats()['items'] == 0

Win7 通过Windows XP Mode 使用IE6

Wayly.baye — Tue, 23 Feb 2010 22:04:37 +0000

Win7 现在可以通过 Windows Virtual PC 的 Windows XP Mode 快速的运行 XP

1.在这儿下载 http://www.microsoft.com/windows/virtual-pc/download.aspx

2.安装Windows XP Mode 和补丁

进入 XP Mode 有两种方式

1.在开始菜单中直接点击Windows XP Mode 进入一个运行在框架内的完整的虚拟XP(如图)

2.可以将虚拟机里面的程序发布到宿主机上，这样在Win7 的开始菜单中可以直接点击想要启动的XP程序

这样启动的应用像普通Win7程序一样显示在Win7 的窗口系统里，包括任务栏托盘图标(如图)

怎样发布应用程序到Win7

1.自动发布

在虚拟机选择自动发布中选择了自动发布后（需在虚拟机关闭状态），你在虚拟机中安装的程序会自动发布到宿主机的开始菜单里，

而有些程序你安装了如果不会自动出现，请看下一步

2.手动发布

自动发布的原理是自动发布XP虚拟机里 "Documents and Settings\All Users\[开始]菜单\程序" 目录里面的应用，

如果应用安装后不在此创建快捷方式当然不会出现在宿主机里。

那么你想手动发布应用程序也只要往此拖动一个快捷方式就行了

占用资源

占用资源小，运行时几乎感觉不到明显的系统缓慢

再次杯具...

Wayly.baye — Wed, 17 Feb 2010 15:45:38 +0000

刚刚发现博客又多了四千多条垃圾评论，于是开始删。。删的我手抽筋，最后没停住。。把正常评论也全给删了 ... =.= 。。。

今天很杯具

Wayly.baye — Tue, 22 Dec 2009 23:52:38 +0000

突然想把一个Linux版装到U盘上，这样就可以随身携带了 ^o^ ，后来杯具的发现怎么也引导不了。。

一不小心把 grub 装到 mbr 里了（我记得选的是否，怎么是“是”)，还原mbr后（用的同学的电脑），用我的本进到Fedora 里准备修改下引导文件，又一不小心输错了分区，结果把硬盘引导破坏掉了，然后死活进不去Win7了...

这几天一直想这重装Win7呢，因为我当初把XP删掉后，直接把Fedora 装到C盘了，把C弄成了扩展分区，上面又建了几个逻辑分区，弄的分区表很混乱。。

Win7 修复光盘+还原无果的情况下，进WinPE 打算重装Win7(当初Win7就是在XP下装的),结果用虚拟光驱挂上ISO后杯具的发现，只能在XP SP2 后用...

一狠心删掉了Fedora于是打算Ghost Win7 的F盘到 C盘，结果死活不让ghost..哎，体谅下小硬盘吧...

于是又格掉了D盘，将Debian直接装在了D盘上，debian 装好后，Win7的启动又恢复了...

用了将近一个小时将Debian的软件包升级后，看到一个提示说什么一下软件包已安装但不再被使用，使用 autoremove 删除，我以为这是个和 make clean 差不多的命令...

于是一个 sudo apt-get autoremove 让我一百多个软件包消失了。。杯具...

然后又知道了另一个选项 autoclean ...

桌面没了，各种工具没了，杯具了。。

不过突然对这种“精简版”的Debian感兴趣了，apt-get 装上了 python, ruby, apache2, php5, sqlite3, mysql 先架个开发环境~

另外打算asp.net 和 php 学一个 ...

M 机器人测试版－寂寞的来

Wayly.baye — Thu, 03 Dec 2009 18:31:09 +0000

昨天晚上睡觉前突然想做的。。
某些人是不是晚上睡觉前一阵，或者断网后有点寂寞。。。

于是M机器人就诞生了，寂寞的人加机器人为好友，晚上机器人上线后，随便给机器人发条消息，系统就把你列如待选名单，你可以等待别人和你聊天，或者选个人和你聊天：
发送'@S' 获取在线用户统计;
发送'@@' 系统会选出一个空闲的人和你聊天
发送'@!' 可以退出和当前的人聊天
发送'@Q' 可以退出聊天(系统不会主动选你和他人聊天)

发送'@M' 找个MM聊天

发送'@G' 找个GG聊天

机器人: 922607769
（没有多余的号，这个飞信是我的手机，平时不上线的时候还请别乱发消息....)

机器人基于libfetion 开发，向大家推荐这个小巧的fetion 客户端

Django lighttpd fastcgi 部署及小小的性能测试

Wayly.baye — Mon, 23 Nov 2009 10:24:08 +0000

呃，弄的我要崩溃了，各种问题。。。不过最后还是弄出来了。。

安装 lighttpd

$ yum install lighttpd

$ yum install lighttpd-fastcgi

$ gvim /etc/lighttpd/lighttpd.conf

server.port = 80

server.bind = "127.0.0.1"

# 此处不设置只设置端口的话，会提示端口已经占用，无法启用。

$HTTP["remoteip"] == "127.0.0.1" # 或者 $HTTP["host"] == 'localhost'

    server.document-root = "/home/waylybaye"
    fastcgi.server = (
        "/fastcgi.fcgi" => (
            "main" => (
                 "host" => "127.0.0.1",
                 "port" => 3033,
                # "socket" => "/home/waylybaye/fc/fc.sock",
                "check-local" => "disable"
            )
        ),
    )
    alias.url = (
        "/media" => "/home/waylybaye/fc/static"
    )

    url.rewrite-once = (
        "^(/.*)$" => "/fastcgi.fcgi$1",
    )
}

在项目目录下

$ python manage.py runfcgi method=threaded host=127.0.0.1 port=3033

$ serivce lighttpd start

然后访问 http://localhost/ 就OK 拉

性能测试

用ab 和 http_load 进行了一下测试

使用自带的服务器 python manage.py runserver 测试

峰值达到 160 requests/second

使用 lighttpd ＋ fastcgi

可以达到 200 requests/second

SCGI 和 fastcgi 性能几乎一样

开始使用分布式版本控制系统 Mercurial

Wayly.baye — Wed, 18 Nov 2009 23:25:27 +0000

打算在Linux 和 Windows 下交替开发，在linux 下写后台代码，Win7 下做一些设计。

于是版本库的问题就成为很大的一个痛苦，在Win 下我用Visual SVN 作SVN 服务器。

像SVN，CVS 这类集中式的版本控制系统，需要一个服务器管理根仓库，确实不太适合程序员个人开发。

另外在Win 于Linux 切换中由于文件系统的原因会有各种各样的错误出现。

于是打算换个版本控制系统，感觉分布式的版本控制系统挺适合我的，于是就Google 了一下。

听说git 貌似对Win 的文件系统支持不好，还很复杂于是就用Python 开发的 Mercurial 了。

hg init , clone , pull , merge, update ,log, export, import 就够用了，

现在很喜欢Mericual ，在Fedora 下mount E盘后，在~ 下clone 一下就行了，灰常方便

另外貌似Google Code 也支持 Mericual

配置了下 Fedora 11 下的 Vim (Django)

Wayly.baye — Wed, 18 Nov 2009 22:05:11 +0000

呃，现在是离不开 Vim 了。。

yum install gvim 后

开始配置各种插件

1.Pysmell 用来Python 的自动补全

easy_install pysmell

copy pysmell.vim to ~/.vim/plugins

edit ~/.vimrc:

autocmd FileType python setlocal omnifunc=pysmell#Complete

到Python 目录下

pysmell . -x site-package test -o PYSMELLTAGES.pythonlib;

pysmell site-package/django -o PYSMELLTAGES.django

项目目录下

pysmell . -o PYSMELLTAGS

就可以使用Vim 的自动补全了

2.SnippetEmu

下载 snippet_buddles.vba snippet_plugin.vba 后，用Vim 打开

根据提示执行 :os % 后就可以使用了

edit app/models.py 就可以使用 mmodel mchar mfor 等 snippet 了非常酷

另外 snippet 的modeles 貌似很老了,现在的Django 版本(>0.96) Model 已经不使用 class Admin 子类了

可以自己修改下 /after/ftplugins django_models.vim 文件，我就把其中一些snppet 改成了自己的习惯

3.设置字体

我很喜欢Windows 下的Consolas 字体，灰常漂亮，不过Linux 下永不着，况且这个字体还是有版权的...

于是就将字体设置成了DejaVu Sans Mono 9

set guifont=Dejava\ Sans\ Mono\ 9

其它的插件如Tlist 就没装，因为感觉没models 支持很不好...

自言自语

﻿Python 文档转换方案

Python 文档转换解决方案

Office -> PDF

TXT -> PDF

PDF -> TXT

PDF -> SWF

Office --> SWF

TXT --> SWF

提取PDF缩略图

常见问题

subprocess 超时

pdftotext 乱码

pdf2swf 乱码

TXT 乱码

﻿使用新评论系统

﻿Python 编码检测

﻿webkit "name" 陷阱

﻿小时候的各种小发明

﻿用Live Mesh代替Dropbox

﻿MySQL 自动备份

﻿2010.3.16 SOHO

﻿pickle KeyError: \x00

﻿添加回复邮件提醒功能

﻿博客更新-鼠标手势及评论

﻿我经常用的Python 工具

﻿Django基于对象的缓存机制

﻿Win7 通过Windows XP Mode 使用IE6

﻿再次杯具...

﻿今天很杯具

﻿M 机器人 测试版－ 寂寞的来

﻿Django lighttpd fastcgi 部署及小小的性能测试

﻿开始使用分布式版本控制系统 Mercurial

﻿配置了下 Fedora 11 下的 Vim (Django)

Python 文档转换方案

使用新评论系统

Python 编码检测

webkit "name" 陷阱

小时候的各种小发明

用Live Mesh代替Dropbox

MySQL 自动备份

2010.3.16 SOHO

pickle KeyError: \x00

添加回复邮件提醒功能

博客更新-鼠标手势及评论

我经常用的Python 工具

Django基于对象的缓存机制

Win7 通过Windows XP Mode 使用IE6

再次杯具...

今天很杯具

M 机器人测试版－寂寞的来

Django lighttpd fastcgi 部署及小小的性能测试

开始使用分布式版本控制系统 Mercurial

配置了下 Fedora 11 下的 Vim (Django)