Tully's Park

MongoDB集群管理-MongoManager

2011-03-21T04:45:00.001-07:00

MongoManager是一组用于管理MongoDB集群启动和配置的Shell脚本

目前支持Primary Secondary Arbiter的配置启动

包括Shard和单独ReplicaSet的情况

项目位于https://github.com/tullyliu/MongoManager

MongoDB集群管理脚本使用说明

1.原理:利用ssh远程操作其他机器,完成相关操作

2.准备:

选择主控机,执行以下命令完成ssh key复制

cd ~/.ssh

cat id_dsa.pub | ssh user@remotehost 'cd .ssh; cat >> authorized_keys; chmod 600 authorized_keys'

脚本需要利用hostname –i获取服务器各自的ip,请确保各个服务器该命令返回的结果正确性

3.配置文件为 common.sh和conf.***.sh 其中***为任意名字,为后续脚本提供参数用于配置切换.配置项如下

DBHOSTS=("domain1 " "domain2") #MongoDB主库的host名称,任意数量

RS_DBHOSTS=(${DBHOSTS[*]}) #MongoDB复制库的host名称,数量跟主库一致

AB_DBHOSTS=(${DBHOSTS[*]}) #MongoDB arbiter的host名称, 数量跟主库一致

CFGHOSTS=(“domain1”) #MongoDB shard的config server host名称

MSHOSTS=(“domain1” ) #MongoDB shard的mongos server host名称

USER="test" #MongoDB所在服务器使用的用户名

MDB="/home/$USER/mongodb" #MongoDB所在服务器的安装目录

DBPATH="$MDB/data/shard" #MongodDB数据文件存放位置

RS_DBPATH="$MDB/data/replica" #MongodDB从库数据文件存放位置

AB_DBPATH="$MDB/data/arbiter" #MongodDB Arbiter数据文件存放位置

CFGPATH="$MDB/data/config" #MongodDB Config数据文件存放位置

LOGPATH="$MDB/data" #MongoDB日志目录

DBPORT="25050" #MongoDB主库端口

RS_DBPORT="25353" #MongoDB从库端口

AB_DBPORT="25454" #MongoDB Arbiter端口

CFGPORT="25151" #MongoDB Config端口

MSPORT="25252" #MongoDB Mongos端口

AUTO_SHARD=false #是否自动shard

4.管理脚本说明

sh proc_start_mongodrs.sh test #使用conf.test.sh配置文件,启动mongodb的复本集,包括主从库和arbiter,初次启动由于分配oplog空间,需要等待一段时间,才能完全启动

sh proc_config_rs.sh test #配置mongodb的复本集,若不用shard,到这一步就完成了启动配置

sh proc_start_config.sh test #Shard情况下,启动config server

sh proc_start_mongos.sh test #Shard情况下,启动mongos server

sh proc_config_shards.sh test #Shard情况下,配置shard,

sh proc_stop.sh test #安全关闭mongodb集群,包括db,mongos,config

sh proc_manage_clean.sh test #删除mongodb的数据目录

MongoDB性能测试

2011-03-21T02:42:00.001-07:00

详情参考http://goo.gl/VFOvx

简单总结一下MongoDB的性能特点

1.文件系统非常重要,请务必选择ext4或者xfs.如果使用ext2,插入性能会有大幅度的下降,且出现随机不稳定的情况,主要由于ext2对大文件读写性能较差导致

2.mongodb的插入性能是有作弊嫌疑的,mongodb的写策略是使用mmap直接操作,定时用msync flush(默认是60秒一次),这种设计方式在内存没用尽的情况,写入速度会接近30000 documents/s 不过一旦内存用尽,写入就远远达不到这个速度

3.shard的插入性能不够好,主要由于写入的时候,实际是先写入到一个节点中,然后由该节点split chunk再move到其他节点中,这个目前只能通过presplit或者应用层拆分数据来优化

4.chunksize的选择过大过小都有可能导致数据的丢失,在测试中,1.6.3 1.6.5 1.8.0都有这样的情况,所以最好不要修改这个参数,这个参数修改了对性能没有什么本质的影响

5.mongoimport是单线程工作方式,所以导入大量数据时,应该启动多个mongoimport进行,测试中发现启动8个mongoimport性能较优

6.mapreduce需要借助shard提高性能,单节点的mapreduce是单线程的,性能很差

Oracle9 hibernate3 操作BLOB类型数据

2009-04-02T02:17:00.000-07:00

感谢ojdbc修正bug.保持ojdbc在1.4以上. hibernate升级到3.x

这时就不用那么脑残的去特别处理BLOB类型..
目前很多地方写的处理方式都已经严重过时.包括hibernate的官方文档.
老的处理方式主要是先要存一次空的BLOB再取出来填入BLOB数据.再更新一下

现在呢.主要在hibernte实体映射里把BLOB字段类型映射到byte[]或者java.sql.blob

然后就跟普通字段一样读写操作啦

google sync 使用技巧

2009-02-28T08:41:00.000-08:00

在使用google sync后.如果你想在gmail里编辑好通讯录.然后在手机上清空通讯录.再从google上同步到手机上时..
就会发生无法同步的现象.这是那个exchange协议认为你在手机上的操作是最新也就是最后决定的操作.这时同步理论上也会吧google contacts上内容清空.(在nokia的ova.com得到验证)但幸好google设计比较奇妙不会清空.但无论如何是无法同步回去了.

由于没有现成的google contacts同步到outlook的工具.所以想通过先同步到outlook再同步到手机上也是不可行.

经过一番折腾.我发现可以用另外一个gmail帐号导入之前gmail上的contacts(用gmail提供的导出导入到google格式的功能),再用新的gmail帐号建一个同步模式.这样就能将其中的contacts导入到手机上来..

WLM 2009 去广告补丁

2009-02-22T13:12:00.000-08:00

OneKey Kill.AD For WLM (MSN、Live Messenger) 2009 一键去广告补丁 1.1版
针对Windows Live Mesenger版本号14.0.8064.206
参考作者博客
下载地址: rayfile.com 本地下载

FeedBurner Wordpress Plugin

2009-02-22T13:09:00.000-08:00

FeedBurner官方提供的WP插件,叫做feedsmith下载的地方有点隐蔽.在 http://www.google.com/support/feedburner/bin/answer.py?answer=78483&topic=13252
或者直接点这里下载插件
这个插件在管理后台填入feedburner的地址后,可直接把wordpress的feed请求直接重定向到feedburner里

新的域名启用了

2009-02-22T08:43:00.000-08:00

欢迎访问独立域名空间的blog
http://tullyliu.co.cc

结合co.cc使用google apps成功

2009-01-25T01:41:00.000-08:00

www.co.cc提供免费的二级域名服务.可以修改CNAME A MX记录
注册co.cc后,可以在Zone Records里直接添加用户google app验证的CNAME记录
注意co.cc的url转发在国内是无法使用的.如需使用可以www.edong.com的DNS服务.把co.cc的DNS指向edong的DNS,就可以在edong中设置
co.cc的域名记录设置后.一般需要间隔较久的时间才能生效,edong的域名记录生效时间则快很多

然后在http://www.google.com/a/cpanel/domain/new中开始用co.cc域名注册google app.注意把国家填成Unites States. 其他随意.注册成功会需要验证域名的拥有权,这时只要在co.cc里加条googleXXXX(XXX由apps提供的随机串)的CNAME记录转向google.com

验证可能需要花1-2小时(由于co.cc的更新较慢.一般几分钟是无法验证通过的)

成功后则可使用apps服务

如要使用mail.xxx.co.cc的地址指向google邮局.则需要在co.cc里添加如下的MX记录
ASPMX.L.GOOGLE.COM. 10
ALT1.ASPMX.L.GOOGLE.COM. 20
ALT2.ASPMX.L.GOOGLE.COM. 20
ASPMX2.GOOGLEMAIL.COM. 30
ASPMX3.GOOGLEMAIL.COM. 30
ASPMX4.GOOGLEMAIL.COM. 30
ASPMX5.GOOGLEMAIL.COM. 30
再添加一条mail.xxx.co.cc的CNAME记录指向ghs.google.com
由于ghs.google.com无法直接访问.可以参考http://www.jmj.hk/post/408.html
选择一个可以使用的ip.然后添加一条mail.xxx.co.cc的A记录指向该ip
注意这些还要在apps中设置改变email服务的url

docs,calendar,sites服务的设置类似

2008之我的电影.

2009-01-01T06:46:00.000-08:00

movielist 长度为166个
1月1日
No.Reservations 美味情缘
1月1日
Two.Stupid.Eggs.2007 大电影2.0
1月1日
Bang.Zi.Lao.Hu.Ji.2008 棒子老虎鸡
1月1日
To.Yuma 决战犹马镇
1月2日
投名状
1月3日
名侦探柯南真人版2
1月5日
The.Pye.Dog.2007.野。良犬
1月12日
The.Hunting.Party.LiMiTED.2007
1月12日
Step.Up 好片，为什么而努力？
1月12日
Dragon.Wars
1月12日
The.Fifth.Element
1月12日
Lost.in.the.Beijing苹果
1月17日
Bewolf贝奥夫：北海的诅咒
1月17日
马克西姆的神奇玩具店
1月18日
盲井
1月19日
[隐形人].The.Invisible.2007
1月19日
The.Man.From.Earth.2007.[这个男人来自地球]
1月20日
The.Nanny.Diaries
1月21日
Good.Luck.Chuck
1月22日
Terminator.The.Sarah.Connor.Chronicles.S01E03
1月23日
最遥远的距离
1月24日
死亡笔记
1月25日
beemovie
1月26日
hitman
2月4日
异形大战铁血战士2
2月4日
一年到头
2月5日
大雄的恐龙
2月7日
机器猫：野比的新魔界大冒险-7人魔法师
2月8日
Sweeny.Todd.The.Demon.Barber.Of.Fleet.Street
2月8日
蝶影重重2，3
2月11日
日本锁国
2月13日
安娜与安娜
2月13日
macross_plus
2月14日
那破事儿
2月17日
灰色大佬
2月17日
我的第二个家教朋友
2月17日
魔术男
2月17日
我叫刘跃进
2月17日
长江七号
2月20日
我是传奇
2月23日
婚礼2008
2月29日
Rambo
2月29日
Enchanted
3月8日
花花刑警,
3月11日
色即是空2
3月14日
The.Water.Horse.Legend.of.the.Deep
3月16日
dane in real life 丹的真实生活
3月25日
江山美人
3月28日
大灌篮
3月30日
天下第二
4月4日
黄金罗盘
4月4日
谋杀快乐
4月6日
苜蓿地
4月9日
Juno
4月17日
黄石的孩子
4月26日
见龙卸甲
4月27日
霹雳游侠,
4月28日
史前一万年
4月29日
超时空要塞1,
4月29日
EVA剧场版
4月29日
双食记
4月30日
五颗子弹
4月30日
国家宝藏2
5月3日
苹果核战记续篇
5月10日
迷雾
5月10日
PS.I love you
5月14日
功夫之王
5月14日
夺帅
5月25日
抢银行指南
5月26日
时尚先生
5月30日
玩转21点
6月1日
明日帝国,黑日危机.
6月1日
超时空要塞,边界,5.6.7.8
6月4日
我的最爱
6月5日
6.6 叛逆的鲁鲁修S1 S2(1-8)
6月7日
一个好爸爸.
7月6日
六楼后座
7月6日
macross frontier 13
7月12日
野蛮的温柔
7月12日
青苔
7月12日
精舞街
7月15日
赤壁
7月16日
Stargate.Continuum.2008
7月17日
星河战队3,
7月17日
星尘,stardust
7月17日
查理.巴特利
8月2日
全民超人汉考克
8月3日
军鸡
8月3日
cold frame
8月3日
Wanted
8月11日
definately.maybe.
8月12日
十全九美
8月13日
6.Years.in.Love.2008 -六年之痒
8月13日
Miss.Gold.Digger.2008. -八面玲珑的申小姐
8月14日
The.Scorpion.King2.Rise.Of.A.Warrior.2008.-蝎子王2：勇士的崛起
8月14日
Rise.Blood.Hunter
8月20日
[笨蛋].Miracle.of.Giving.Fool
8月20日
[天外来菌].The.Andromeda.Strain
8月23日
死亡契约
8月23日
疯狂今晚夜2-最后的诱惑
9月1日
The.X.Files.I.Want.to.Believe.X档案2：我要相信
9月1日
Speed.Racer
9月1日
明星助理
9月1日
死神的精度
9月1日
欲望城市 Sex and city.
9月14日
第一诫
9月17日
糊涂侦探
9月15日
无敌浩克
9月12日
钢铁侠
9月17日
主管争夺战
9月24日
Meet.Dave.2008 .
10月3日
Indiana.Jones.and.the.Kingdom.of.the.Crystal.Skull 夺宝奇兵4.
10月5日
One.Piece.The.Movie.2008.JAP.DVDRip.XviD-CoWRY-海贼王电影版2008：冬季绽放的奇迹之樱
10月8日
李米的猜想
10月8日
即日起程
10月9日
Wall E 机器人瓦力
10月12日
[狗狗与我的十个约定].10.Promises.To.My.Dog.2008.
10月16日
画皮
10月17日
战栗的乐章.connan 12
10月17日
地心游记.
10月19日
网络杀机(Untraceable)
10月21日
[我的女友是机器人].Cyborg.Girl.
10月21日
The.Lukiest.Man.大四喜
10月23日
功夫熊猫.
10月23日
武林女大学生(我的功夫女友)
10月24日
[曼谷杀手][Bangkok Dangerous][尼古拉斯·凯奇/杨采妮][动作/犯罪/惊悚].
10月24日
Taken 劫持惊魂.
10月25日
保持通话
10月28日
艾尔文和花栗鼠Alvin.And.The.Chipmunks
10月31日
The.Chronicles.Of.Narnia.Prince.Caspian.纳尼亚传奇2
11月1日
超级台风
11月4日
Babylon A.D.DVDRIP.XVID.[Eng].[2008]
11月5日
Atonement赎罪
11月8日
回家的路
11月9日
I.Want.Candy
11月10日
Harold.and.Kumar.2
11月10日
WALL-E机器人瓦力
11月11日
Jack.and.Jill.vs.the.World
11月12日
Fun.with.Dick.and.Jane. 新抢钱夫妻
11月12日
內衣少女
11月12日
Star.Wars.The.Clone.Wars星球大战：克隆战争
11月13日
Max.Payne
11月13日
The.Dark.Knight 蝙蝠侠归来2之黑暗骑士
11月14日
Pixars.BURN-E
11月16日
少林少女
11月21日
Superhero.Movie.
11月24日
MirrorMask
11月25日
Knocked.Up.2007
11月26日
Steps Brothers
11月27日
[忘掉莎拉·马歇尔].Forgetting.Sarah.Marshall.2008
11月28日
牛仔裤的夏天2The.Sisterhood.Of.The.Traveling.Pants
11月28日
Baby.Mama代孕妈妈
11月29日
[证人][Beast Stalker][谢霆锋张静初张家辉]
12月4日
桃花运
12月5日
硬汉
12月7日
[歌舞青春2].High.School.Musical.2.
12月7日
生化危机恶化
12月14日
海角七号
12月14日
Unfinished.Girl
12月17日
Fit.Lover爱情呼叫转移2.
12月20日
Quantum.Of.Solace 007量子危机
12月21日
校园兔女郎 The.House.Bunny.
12月21日
[菠萝快车].Pineapple.Express.200
12月21日
Passengers.2008乘客
12月28日
叶问
12月29日
非诚勿扰数了下,有记录的看片数量为166部,可能有些完全没印象的片不在记录里.但应该很接近于实际看片数量..

X61耳机孔故障排除

2008-12-21T01:31:00.001-08:00

最近发现X61的耳机孔出现灵异现象.
耳机插头完全插入时.只有左耳塞才有声音.然后拔出来一点.3/4插入的样子.两边的耳塞又都有声音了..
先还以为耳塞坏了..于是还了几个耳塞.加延长线也是此现象.
google一下.发现真还有人遇到过相同的问题.回帖均怀疑耳机孔接口有问题.然后最后有一贴说hp的本子出现相同故障的时候送去维修,被js升级了一下驱动就解决了
so不想跑去跟js折腾.抱着试一试了态度.把音频驱动全部卸载了..然后用system update升级音频驱动.
最后问题解决.留此存档.给遇到相同问题的xdjm参考

利用CDT Parser获取C++源代码类结构

2008-12-08T22:02:00.001-08:00

依赖CDT版本为5.0 导入org.eclipse.cdt.core插件
Java代码
//获取编译单元.file为IFile类型,tu是一个树结构,记录了C++/C代码的各种语法元素
ITranslationUnit tu = CoreModelUtil.findTranslationUnit(file);
//获取C++的文件的元素.ICElement是CDT CoreModel的核心接口,是C++/C代码的各种
//元素的父接口
ICElement[] elements = tu.getChildren();
//这时elements有INameSpace,IStructure等元素
//遍历获得一个IStructure元素(C++的类定义)
IStructure structure = (IStructure) element;
//获取类定义的方法声明
IMethodDeclaration[] methods = structure.getMethods();
//获取类成员
IField[] field = structure.getFields();
//对ICElement调用getElementName方法就获得类名.方法名,字段名等信息

调用Eclipse CDT解析器的结果实现对C++代码的解析

2008-12-08T21:57:00.000-08:00

引入org.eclipse.cdt.core的插件包后.通过如下代码则可获得某个C++源文件的解析结果

public static IASTTranslationUnit getAST( IFile file) {
ITranslationUnit tu = CoreModelUtil.findTranslationUnit(file);
ICProject project= tu.getCProject();
IASTTranslationUnit ast=null;
try {
IIndex index = CCorePlugin.getIndexManager().getIndex(project,
IIndexManager.ADD_DEPENDENCIES IIndexManager.ADD_DEPENDENT);

index.acquireReadLock();
try {

ast=tu.getAST(index, 0);

} finally {
index.releaseReadLock();
}

} catch (InterruptedException e) {
//log(e);
} catch (CoreException e) {
//log(e);
}
return ast;
}

再对IASTTranslatonUnit ast调用 getDeclarations()方法即可获得所有的声明信息 CCorePlugin和CoreModelUtil是CDT Core提供的最重要的入口. TranslatonUnit表示一个编译单元.可以是一个项目.一个文件.文件的一个代码块 IASTTranslatonUnit 是编译单元的AST表示.里面包含了所有的信息

桌面图标重复现象小结

2007-07-13T09:09:00.001-07:00

     Windows XP桌面上的快捷方式图标在手动建立或者应用程序安装自动生成时，都会出现两个图标。无论双击哪个图标都可以运行相应的程序，但是如果删掉了其中一个的话，另一个也会被自动删掉。采用新建一个用户，删除原有用户可能都不能解决这个问题。
     这个问题的关键在于，Windows XP桌面上有三个实体，首先是用户桌面文件夹，它的目录位置为Documents and Settings\<username>\桌面，其中包含了指定用户在桌面上存放的全部快捷方式和其它文件，还包含了那些只能为该用户所使用的应用程序的快捷方式。其次，还有共享桌面文件夹，相应的目录名称为Documents and Settings\All Users\桌面，这里的快捷方式由那些为此系统所有用户安装的应用程序生成。除此之外，还有一个虚拟桌面，它不是一个实际存在的文件夹，但通过镜像"存放"了类似"我的电脑"和"回收站"这类系统图标。
     这种快捷方式重复的现象有可能在用户桌面文件夹和共享桌面文件夹被移动到同一个文件夹中的时候发生。有时可能人为对用户进行了的系统文件夹进行了一些修改导致的。

解决方法：运行Regedit，找到HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\User Shell Folders这一项的"Desktop"子项，其值应为%USER PROFILES%\桌面，根据当前用户的用户名检查或修改。
接下来，找到HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\User Shell Folders的"Common Desktop"子项，将其设置为%ALLUSERPROFILE%\桌面。这样，问题就解决了。

基于GATE的信息抽取系统介绍

2007-07-13T09:08:00.001-07:00

1 GATE介绍

GATE是一个应用广泛的信息抽取的开放型基础架构，为用户提供图形化的开发环境，被许多自然语言处理项目尤其是信息抽取研究项目所采用。该系统对语言处理的各个环节――从语料收集、标注、重用到系统评价均能提供很好的支持。

GATE设计的三个主要目的是：

1) 为语言处理软件提供基础架构，提供文本处理的总体组织结构。

2) 提供可重用的用于自然语言处理的组件和类库，从而能够嵌入到各种不同语言处理的应用程序中。

3) 提供语言工程的开发环境，为语言处理软件的研究和开发提供一种方便的图形化的环境，为用户提供全面的开发帮助和可视化的调试机制。

1.1 CREOLE

GATE平台的核心是可重用组件――CREOLE（a Collection of REusable Objects for Language Engineering），CREOLE基于Java Bean实现，有三种类型：

Language Resources（LRs）：LR可以理解成IE要处理的文本，在GATE中用Document对象表示可处理的文本，目前支持XML，HTML，PDF等格式，Corpus则是一组Document的集合，可以作为一个整体来处理。

Processing Resources（PRs）：PR是GATE中进行语言处理的模块，不同的PR可以完成不同的具体任务，比如分词，模式匹配等。

VisualResources(VRs)：VR是GUI中的可视化编辑部件。

1.2 ANNIE

GATE中的所有可重用资源的集合，被整体地的用在了基于规则方法的英文信息抽取系统ANNIE（A Nearly-New IE system）中。简单来说，ANNIE是一个可重用并且易扩展的组件集合，任务是完成信息抽取和标注。

在GATE的GUI中ANNIE对应于Application，它把一组PR拼接起来组成一个PipeLine作用于一个Corpus或者Document上以产生对文本的标注结果。具体来讲，就是一篇待处理文档，经过类似流水线一般的处理，严格按照规定顺序经过英文分词、英文词表查询、英文分句、英文词性标注、英文抽取规则定义、英文命名实体识别和英文共指消解处理之后，实现整篇文档的信息抽取。

下面举个简单例子来说明ANNIE 的信息抽取过程。

ANNIE对于文本中的标注可以通过以下三步来完成：以标注"July 31, 2000"为例说明：

1）分词（tokeniser）：被拆为"July""31""，""2000"

2）词典查找（gazetteer）：在日期词典中查找，找到"July"是月份。

3）命名实体语法检查(named entity grammar)：使用关于日期的语法规则（通过

JAPE 定义），"July 31, 2000"被识别为一个日期。

1.3 JAPE

JAPE（a Java Annotation Patterns Engine）的功能是建立规则库，用正则表达式匹配文本中的信息并作好标注，用于实现分词分句和较准确的命名实体识别。JAPE表现为一组规则语法文件，这个语法文件可以经过GATE里提供的一个JAPE Compiler转换成一个标准的PR。

一个jape语法文件包括若干个Phase，每个Phase由若干个rule组成，每条rule由左侧和右侧两部分组成。

左侧部分（LHS, Left Hand Side）是一个包含正则表达式操作符（*，？，+）的标注模式。每条规则的右侧部分（RHS, Right Hand Side）包含了标注集操作描述。与左侧部分匹配上的标注集将会按照右侧的操作执行。下面举一个例子来说明：

Rule: GazLocation

(

{Lookup.majorType == location}

)

:location -->

:location.Enamex = {kind="location", rule=GazLocation}

其中GazLocation是这条规则的名字，-->左侧就是LHS，右侧就是RHS。LHS中括号表示一个匹配，后面的:location是该匹配的标签，标签的作用是用于把左侧匹配上的字符串传递给右侧做标注（Annotation），location.Enamex中的Enamex就是一个GATE中的Annotation对象，每个Annotation会对应一个Feature对象的Map集合，kind和rule就是Enamex的Feature，表示标注的属性。

内置对象Lookup实际也是一个Annotation，它是由ANNIE中的Gazetteer PR标注上的，Gazetteer PR主要进行一个词典查找操作，Lookup标注就表示该单词在词典中查到，其属性（Feature）majorType是词典中定义的该单词属于的类别。另外还有一个LHS用到的重要对象是Token，是由ANNIE中的English Tokeniser PR标注上的，表示的是每一个单词，Token.string表示的单词的文本信息。

RHS中还可以包含复杂的Java代码进行更复杂的标注操作，需要使用的API可以参考^[1]中的Chapter 5，比如为了消歧需要删掉已经作好的标注然后改为正确的标注。JAPE的详细用法可以参考^[2]中Chapter 7。

在GATE使用JAPE的方式是新建一个Jape Transducer的PR，然后把jape文件路径作为它的grammarURL参数传入。这个PR就能完成语法文件中定义的标注操作。

1.4 基于GATE的开发方式

使用GATE开发信息抽取系统主要有两种方式：一种在GATE的GUI中添加合适的PR（可以是已有的Plugin也可以是符合CREOLE标准的自己编写的PR）组成一个流水线形式的Application，调用它对一个Document的LR或者一个Corpus的LR处理。这种方式需要依赖GATE的GUI，但在开发初期快速的构建原型系统和调试程序很方便。

另外的一种方式就把GATE作为Lib来构建脱离GATE GUI的独立程序，这时一般的操作就是按照GATE的API依次对GATE框架，ANNIE Application及其中的PR，Corpus等LR初始化（这些PR，LR实质都是JavaBean），然后运行并处理输出的结果。例子代码可以参考^[3]中的GoldFish Example。

2 GATE中的Machine Learning PR

2.1 ML API介绍

信息抽取的一种重要实现手段是采用基于学习系统的方式，这种方式需要使用基于统计的机器学习算法和大量标注好的训练数据。

在GATE中机器学习主要由Machine Learning PR提供，这个PR实现了很多已有学习算法的封装，比如WEKA，MAXENT，SVM Light，它主要工作是把LR中标注属性等语言特征的信息转换为各种学习算法的输入格式，然后调用相应的算法执行产生输出，再把它们作一个后处理转换为GATE中使用的标注格式，此外还可以对算法的效果进行评估。

在GATE的Machine Learning中，基于SVM的命名实体识别主要基于^[4]的工作。SVM Light Wrapper需要提供SVM Light^[5]的可执行文件svm_learn和svm_classify，两者不在GATE的发布包里，可以从其项目主页单独下载。使用SVM Light Wrapper来标注文本需要二个阶段的处理，第一阶段是用标注好的训练数据由svm_learn生成SVM模型，第二阶段使用这个SVM模型来对预处理的特征向量进行分类。这两个阶段也对应于ML PR的两种模式：Training和Application。

ML API可以把GATE里作好标记的Document对象作为输入转换成SVM learner需要的语言特征和特征向量，包含特征向量的文件会被单独保存起来，以便用在其他地方。要使用ML API，首先需要提供一组作好标记的文档，然后需要对这些文档进行预处理以获取用于学习的语言特征，GATE中各种基于JAPE的PR使得这些处理操作变得更容易，最后还需要为ML API提供一个配置文件。

2.2 ML PR的配置文件

ML PR采用外部的xml配置文件来设置具体使用的算法和需要的数据集。这个配置文件格式如下：

<?xml version="1.0" encoding="windows-1252"?>

<ML-CONFIG>

<ML-CONFIG>

DATASET和ENGINE的格式如下：

<INSTANCE-TYPE>Token</INSTANCE-TYPE>

<NAME>POS_category(0)</NAME>

<TYPE>Token</TYPE>

<FEATURE>category</FEATURE>

…

</VALUES>

[<CLASS/>]

</ATTRIBUTE>

…

</DATASET>

<WRAPPER>gate.creole.ml.svmlight.SVMLightWrapper</WRAPPER>

<CLASSIFIER-OPTIONS>-c 0.7 -t 0 -m 100 -tau 0.4</CLASSIFIER-OPTIONS>

</OPTIONS>

</ENGINE>

注意GATE v3和v4中的配置文件定义变化比较大，尤其是<ENGINE>部分。<DATASET>中<INSTANCE-TYPE>是某一特定的Annotation，它的<ATTRIBUTE>既可以是该Annotation的一个Feature也可以是另外一个Annotation，其<POSITION>子节点定义了该<ATTRIBUTE>到<INSTANCE-TYPE>的相对位置，也就是说这个节点定义可以反应出若干个Annotation的相对关系。<ATTRIBUTE>有三种类型：Boolean，Nominal，Numeric。Nominal类型需要在<VALUE>节点列举出所有可能的值。

Reference：

[1] GATE programmers guide[EB/OL]. http://gate.ac.uk/sale/pg/pg.pdf, .

[2] Developing Language Processing Components with GATE Version 4 (a User Guide)[EB/OL]. http://gate.ac.uk/sale/tao/index.html, .

[3] GATE Example Code[EB/OL]. http://gate.ac.uk/gate-examples/doc/index.html, .

[4] Li Y, Bontcheva K, Cunningham H. SVM Based Learning System for Information Extraction[J]. Deterministic and Statistical Methods in Machine Learning, 2005, : 319～339.

[5] SVM Light[EB/OL]. http://svmlight.joachims.org, .

[6] 李飒. 基于GATE的中文信息抽取系统的开发和实现[硕士]. 北京: 中国科学院研究生院（文献情报中心）, 2006.

oracle pl/sql一点总结

2007-07-13T09:07:00.001-07:00

1.pl/sql 的调试工具推荐pl/sql developer
2.定义函数或存储过程时，如果参数里出现自定义的类型，可以把类型的声明放在一个包里。用包名.类型名来引用。
3.写PL/SQL语句时最好新建一个SYS/SYSTEM的帐号来写
create user username identified by userpasswd;
grant dba for user;
否则可能会有找不到新建表的错误。
4.create or relpace的意思是在数据字典里保存存储过程和函数
5.PL/SQL的代码块是
BEGIN
NULL;
END;
不能完全没有语句。声明放在DECLARE块里

6.一点语言细节
声明变量（从右至左），变量赋值
varname vartype;
varname:=othervar;

引用数据表列的类型
tablename.columnname%TYPE
记录复合结构（单行多列）：
TYPE STATS_RECORD_TYPE IS RECORD
(student_firstname student.first_name%TYPE
,student_lastname student.last_name%TYPE
,numofcheckout INTEGER
,numoflate INTEGER);
嵌入表复合结构（多行单列）
TYPE ssn_table IS TABLE OF student.ssn%TYPE;

对嵌入的简洁操作方式是：从数据表读入SELECT ssn BULK COLLECT INTO ssns1 FROM ...

函数定义：
FUNCTION function_name( param1 IN VARTYPE)
RETURN VARTYPE AS
param1 VARTYPE;
// 函数局部变量声明
BEGIN
SELECT first_name, last_name
    INTO param2
    FROM student
   WHERE ssn = param1;
   RETURN param1;
END;

过程定义
与函数类似可把FUNCTION换成PROCEDURE，过程没有返回值，输出在参数列表里 param1 OUT VARTYPE

过程返回一个光标的做法
TYPE REF_CURSOR IS REF CURSOR;
在过程参数表上加入result OUT REF_CURSOR
在过程体中写 OPEN result FOR SELECT语句

没有题目

2007-07-07T01:32:00.001-07:00

情绪在公共的环境下表露可能不是好事，但这在认识某人后我开始有些转变，也许这是种呓语和释放吧，很多人写日志可能也是如此吧。。。写出来总是希望有人看到的。。
――――
在接受拒绝后，心中到现在还是很难释然，其实放下一件事情对于我很难。
我爸经常对我说的，他对我的了解不算太完全，但至少有一点，那就是我惦记一件事后就会一直老惦记以致会影响做其他事情的情绪。我想这个评价很中肯，这点可能是我的一个优点也是个缺点，这算是两个男人一对父子之间一种心灵上的理解。
我一直以为忘掉一个人，只要不再和他联系说任何话，慢慢的一段日子以后所有的喜欢也好，憎恨也好都会淡掉，很久以后回想起来就会觉得不那么恨那个人或是喜欢那个人了。那天的一个电话，我知道c是很需要情感依靠的，就跟很久以前那个短信"给我打个电话吗？"一样，当时我是处于一种不太情愿但还是马上冲到楼下在北方的室外下打了很久电话，也许有个把小时吧，一辈子没打过这么久的电话。
那天手机信号不好，后来换个不能拨通的公用电话，c留了句天意如此，我实在有种愤懑的情绪，什么是天意，我最不喜欢的就是天意，什么都是事在人为的，我不信上天是不公平的。上了半个小时的自习实在心不在焉，心想你被拒绝了何必还要这么做，但最后还是萦绕着那个电话，可能我终究是个心软的人吧。早早回了宿舍开始拨电话，但连续拨了几次都是"正在通话中"，于是乎，觉得c还是有别人安慰的，我依然不是那个唯一重要的人，等了一会收个短信告知头疼不想电话。的确是失望，觉得只能如此了，有些事是不该勉强，有一点不满意就该立刻扔掉不要舍不得。
这使我想起我很喜欢收集整理自己的任何东西，很小时候的课本啊，作业本啊，玩具啊都没有扔掉过，以致堆得太多，后来被爸妈装修时随便堆砌后相当凌乱和占用空间，在我回家后看到如此情景后实在没时间整理，想着该扔就扔吧，有些东西留下也没有意义，所以大学毕业时扔掉如此多的东西，书啊是以前从来没干过的事。
是该放弃的时候吧。跟很多人说起被拒的事情，大家都觉得我这是解脱，异地毕竟不是那么回事，暧昧着也不是那么回事，我听到这里后就不再诉说了。可能可能这真是件好事。再做朋友已经很难了，所以我想尽量回避吧，但愿心硬下来以后就能释然了。
这段文字是看到c的日志某人停机某人没信号某人陪女朋友后的想写下的。可能想让c看到，也不愿让c看到，人总是矛盾的。我想说的不是我不知道只是知道了也没有用。每个人过得很tough，永远不要指望别人给太多，别人任何一点点帮助都是应该回报的和感激的，每个人多多少少都还是在意自己的付出和回报的。
ps.看过spiderman3后，沙人被原谅后随风飘散，hary死前嘴角的微笑，觉得很多人终究是善良的，很多仇恨误解都会化解的。这个片跟2一样，我看到的都是一些感动，推荐一下。

误会

2007-05-14T07:56:00.000-07:00

今天水木上有在pie版征友
=======================================================
发信人: teamking55 (teamking55), 信区: PieLove
标题: 清华小硕厚道征友
发信站: 水木社区 (Sun May 13 23:32:35 2007), 站内

GG是清华计算机小硕，研一，四川人，1984，173cm，60KG。帅气阳光，事业心强，极
富冷
笑话天赋。
希望MM是南方人吧，鉴于GG也不是太高，身高160左右就很好了：），对于长相也没
什么特殊要求，互相看着顺眼就成。
另外，希望MM也是北京在校生，感情经历简单些，嗯，再加条211高校吧(希望别拍哈
^_^)。
联系方式：ryqfthu@gmail.com，替友发文，万勿站内联系，谢谢！ ��RZ。
当事人比较害羞，就不公开PP了，谈得来的MM可以交换照片哈！人品保证，GG是帅哥且
性格超好！
=======================================================
先是我们实验室的师兄问我：哎哎，刘涛，你是不是在水木上征友哦，这个人好像就是你啊
于是指着屏幕叫我看。
清华计算机小硕，研一，四川人，1984，173cm
你看都一样嘛。
帅气阳光，
呃，这个不是~，
60kg，
呃，你有多重？，

我就无语了,只能无辜滴说不是俺啦。俺没那么轻。。。

然后我们的一个群上也有人问：我们谁是四川人啊。然后说xx，xx，还有刘涛
于是又在排除。谁谁有女朋友了不可能
然后有个人说
"开始我也想到涛哥的
不过涛哥不只60kg 哈哈 "

看来俺真得减减肥了。。海带丝啊 ~~~~

五一

2007-05-01T05:42:00.000-07:00

每年旦逢过节。元旦，五一，国庆，中秋之类，我都会是一个人。不知我是在故意营造这种环境还是无意在享受这种寂寞。逢节该是喜庆的日子，但我总会有种发自内心的失落，似乎繁华热闹的外界跟我完全格格不入。
上午起床后就骑车去校园南部的居民区域转了很久，途径日晷，二校门，看到很多很多的游人走着聊着，拍照留念。居民区人很少，但有种很浓郁的生活气息，心中感到相当愉悦。
前几天看到一则短文说到，当你一个人感到不快乐时，即使你找了女朋友，找了老婆还是不会快乐。也许是的，有些时候我把内心的不快归结为寂寞，看过这句话后，我有些无语和震动。我的确可能不是个很乐观的人，快乐的时候不懂得去庆祝，悲伤的时候就想不到一点快乐。
我时常在想活在世上的目的是什么，不管普通人还是特别的人不外乎生老病死，死后一切都会烟消云散。生命的意义应该不会是一个结果，而是一种行进的过程，你在生命中不停的体验，积累内心的愉悦，到垂垂老矣的时候回忆起来就是一种享受，我喜欢跟年长的人交谈，从他们的话语中捕捉他们生命中的意义，也许我们注定会是平凡的人，不会留下什么非凡的传记给后世的人，但我们应该给自己，给自己的孩子一些美妙的回忆和体验。
是的，有时的一个人的时候更能沉下心来思考一些事情，生活中会发生很多事情，需要一些时间来消化和品味，细细的回味其中的愉悦。
晚饭的时候骑车穿过主干道，看到路上清凉的裙子多起来了，才意识到园子里的夏日到了，虽然看到成双结对的很多，不过还是有很多single的嘛，吃过饭后去超市买了一堆东西，就算是过节啦。呵呵。

哥本哈根

2007-04-26T09:20:00.000-07:00

生平第一次看话剧，总体感觉相当愉悦
觉得有些台词挺有意思

每个人都是宇宙中心，每个人可以观察到其他的人，唯独观察不到自己，而自己又是做决定的人。

量子理论里有个海森堡提出不确定性理论。话剧的后半部分也萦绕这个人做决定时的不确定性。
剧中主人公经常对自己的做的决定产生错误的记忆以及不能确定自己为何做出这些个决定。

我想在人们始终觉得自己做的决定是自由意志的体现，但很多人在做选择的最后一刻会突然改变，以至于后来都完全不能理解自己的行为，很多这样的一瞬间都很不可思议
我觉得这是不是也是一种必然呐，人的选择路径只能有一条。不是在选择时产生的。而是在之前就确定了。
平行宇宙认为人在主观选择会产生很多新的分支也许只是复杂化的错误理论。

这部戏里前期还极力渲染了科学家道义和爱国，但后期又转化到一个不确定性的探求。
原子弹的确是个历史上很值得争论的话题，我想人类不论如何都要避免一些自己一手造成的悲剧。即使有各种冠冕堂皇的理由

可能每个人看了就会自己的一个想法嘛。话剧的现场表现力也很有别于其他的表演形式，不像原以为的那么无聊。。
所以没看过话剧的朋友有机会可以看看。没看过哥本哈根的朋友也争取去看看。
这也是有趣的娱乐消遣活动。呵呵

暧昧是……(zz)

2007-04-10T23:18:00.000-07:00

暧昧是，比好朋友再亲一点，但比情人远一点。
暧昧是，你会常常在QQ等他在线。当他几天没有在线，你就会有些担心。
暧昧是，你会不时去他的BLOG看看有没有更新；而且你会留意字里行间，他对你有没有什么暗示。
暧昧是, 有感觉，然而，这种感觉不足以叫你们切切实实地发展一段正式的关系。
暧昧是, 明白人生有太多的无奈，现实有太多的限制。你知道没有可能，但又舍不得放手。
暧昧是, 有进一步的冲动，却没有进一步的勇气。
暧昧是，他不是你的情人，但似乎他比你的情人更关心你和了解你。
暧昧是，你会编一条围巾给他，但大家从没有开始过。
暧昧是，虽然他不是你的情人，但他却会对你说：你对我是十分重要的。
暧昧是，你感冒时有一个会在晚上打电话来，特意提醒你服药，叫你盖好被子早点睡的普通朋友。
暧昧是，每当他提及他的另一半时，你会万箭穿心。
暧昧是, 为了逃避背叛的罪恶感。
暧昧是, 甜津津又同时酸溜溜的。往往从未开始，已叫人不安，患得患失。
暧昧是，别人以为你们在搞地下情时，你会沾沾自喜。
暧昧是，别人问你们是否恋爱中，你张口结舌。
暧昧是，常常挣扎表不表白。你怕表白之后，你既得不到一个情人，却又失去了一个知心好友。
暧昧是，见到他，你会心跳。见不到他时，你会挂念他。
暧昧是，两个人都会互相猜想。他是不是已经暗示了什么？我是不是自作多情？
暧昧是，每天大家都会聊QQ，会互传手机短讯，无规律地偶然约会。
暧昧是，你很想多走一步，但又怕会吓怕了他。你会很小心流露自己的感情。
暧昧是，除了情人节之外，其它的节日，大家都交换礼物。
暧昧是，两个人没有承诺过什么。但虽然如此，你愿意付出的，比有承诺的情侣更多。没有责任，但你却很渴望去承担，不问回报。
暧昧, 是一扇门，你可以停留在门外，也可以踏进房子里面。然后你不可以停留在门下面。门--永远不是终点站。
我们暧昧，我们却不属于对方~

推荐两个软件:英文输入法triivi和键盘快捷启动launchy

2007-04-10T00:00:00.000-07:00

triivi
下载地址:http://www.triivi.com

类型:免费软件
功能简介:英语单词词组补全,翻译提示,专业词库,专业英语论文写作的得力帮手

推荐理由:前段时间谷歌出了拼音输入法,我看到有个自动补全英文单词的功能于是就试用了一下.结果这个功能实在很鸡肋
其实很早就发现英文拼写很容易出错.以前只是依靠word的拼写检查来查错.毕竟字典功能太弱.很多词也不认识.
今天碰巧发现了这个英文输入法triivi,它不仅能补全单词还能提示词组,而且还支持英汉翻译.用了一下觉得相当不错.对写英语很有帮助
所以特此推荐一把

launchy
下载地址:http://www.launchy.net/#download

类型:免费软件
功能简介:alt+space唤出,输入lnk类型(默认包括开始菜单里的)文件名,就可以启动指定程序.若已启动则切换到该窗口.
推荐键盘爱好者使用

凤凰岭

2007-04-07T09:21:00.000-07:00

今天早上跟着宿舍的老大去了他们所组织的春游,没去过凤凰岭.听着名字挺好.宿舍另一个人想去蹭玩.于是乎两男的就当老大的家属去蹭玩了
哈哈
到了凤凰岭发现..这里全是石头.各种形状的石头,爬山于是成了爬石头.
这山倒不高不过上山的路的可真陡.我们有四个人基本是一鼓作气就爬到了山顶..因为没有相机没机会拍拍照就使劲爬呗

在山下看到一个介绍峰恋石的牌子.这个故事挺好玩.
我来复述一下吧:
话说这山上有个和尚庙,山下有个尼姑庵,山上的和尚帮尼姑们挑挑水,山下的尼姑就帮和尚缝补衣物.
但清规戒律嘛.所以和尚和尼姑把东西都放在山腰的搁衣庵,避免相见
两个庙子的住持还定了一个誓言,如果两寺的和尚尼姑违反清规,和尚庙就会遭水淹.尼姑庵就会遭火毁.
但是好像没人保证小和尚和小尼姑不会出轨.双方住持也知道,所以定的誓言是这样,不过山上没水源,怎么会被淹,山下全是石头怎么会被烧
可是后来还有一对小和尚和小尼姑相爱了,结果和尚庙被山洪淹没了.尼姑庵一场大火烧掉了,除了那对小相好,其他都死了
然后小和尚和小尼姑后悔莫及.双双自杀以减轻自己的罪孽.最后便化作了这里的峰恋石.

爬到上顶是个飞来石塔的景点..风超级大..那个飞来石很搞.
本来还以为有座古塔...结果那就是在一个巨大的石头上立了一个超小的塔模型.....
不过也的确是飞来石和塔.人家也没骗我们
后来还见人在远处拍照,摆了个托塔的pose,把远处的塔当成背景.就像真在手上似的,不错...

下山的时候路过一个观音堂..其实是一块石头中间有个空洞.有点像佛龛..
一路走来对照公园门票的地图.每个景点基本就是一块别致石头.
看来这凤凰岭也是靠名字吸引人啊....

昨天法国文化节之音乐夜

2007-04-07T08:46:00.001-07:00

来自法兰西的乐队的精彩演出。。。
一个乐队。一把吉他,两把贝斯,一个鼓手,还有一个充满活力的主唱,没有什么灯光,什么舞美,一切都很简单.
但台上5个人,台下几百人,在两个多小时的演出里充满了高涨的热情和欢乐.
总共15支歌.在最后结束时还追加了一首再见吧朋友
场面很简陋但观众和演出者都很high,也许这才是音乐的感染力吧
主唱的是个中文很好的法国mm,又唱又跳,还拉手风琴和几样小乐器(没看太清楚),而且很搞笑好玩,很有煽动力.
中途有几个有意思的环节,唱某一首歌的时候叫大家打响指.几百人打响指还是蛮壮观的...后来还有就是叫大家把手机点亮挥舞.
我坐在中间,虽然后面的人不多.但星星点点的五颜六色还真是不错.原来手机也可以做荧光棒啊..赞法国人的创造力啊.

尽管只有我一个人.尽管我也不懂音乐,尽管刚开始叫了人结果都没人来,
但后来我的确不后悔在很多事的情况抽出这几个小时来看这场演出,走出大礼堂的时候我感到是一种强烈的愉悦

生命本来没有太多意义.于是生命的过程在于体验,争取更多不同的体验吧.也许体验多了.生命就会更精彩.到老的时候有更多的回忆

写个今天的讲座和昨天晚会的小结先

2007-04-01T09:32:00.001-07:00

今天被迫听了个讲座，虽然这种组织讲座我已经没有任何兴趣参与，不过碍于情面还是得捧个人场。。
那个老师太能瞎白胡了。。只能说太有才了。还有就是作活动的同学真的很辛苦，完全是义务劳动。

不过还是觉得听了点有用的东西，那就是人生规划包括职业规划和家庭规划，职业规划一般都差不多，婚前理性教育，即"练爱"倒有些新意
记了几个要点，讲怎么择偶
1.价值观--这个基本是个套话哈。没怎么听具体的
2.门当户对--核心是同源择偶，虽然差异能产生吸引，但随之是排斥和冲突，不管怎么说普通人还是应该遵循这一原则，门不当户不对的都是电影小说里，老百姓还是不能免俗啊，nod，
3.人格心理健康--正向和负向的思维环路。这个跟遗传和环境直接相关。换句话说就是要看父母，基本来说，一个人会重复自己家庭模式，所以找对象要赶紧看父母，他/她父母的行为方式基本就是结婚后他/她在你的家庭的行为方式，以前在一个讨论中，有人跟我争论过这个问题，可能我不够雄辩，但我的确一直觉得父母是个很好的切入点。和睦的家庭对健康的人格很有促进作用。
4.结果导向--虽然看来有些势力，不过的确能减低能耗
5.换位思考和界定边界
择偶应该本着互助而不是竞争的原则，与人相处也是同理吧

昨天去看了北京十大志愿者的颁奖晚会，总体来说还是很不错的晚会，来了白岩松，杨澜，沙宝亮，羽泉，刘欢，田震，算是近距离拜了一下名人吧。呵呵
感觉杨澜身材好好，还很幽默，十大志愿者里，呃，比较有印象的是楼必成，虽然重病在身，3年卧床没有出过门，上台领奖的时候走的步伐也是一种相当奇特的姿势，还为社区作了很有事情，也很敬佩他的夫人，场面很让人感动。后来回到学校发现下午那顿免费晚餐（一个汉堡+两个蛋糕+一个桔子+一瓶牛奶+一瓶水，有种上当的感觉，>_<）完全没顶用，于是又拉了英语小组的一帮人去吃了一顿鸡翅。很开心。哈哈

ps.这种晚会有手机信号屏蔽装置的。还有预先的观众排练的。顺便学了几句手语，领了个志愿者的微笑圈，收获挺多的。