Gan, Zhi

回龙观的彩虹

2009-09-23T01:29:00.001-07:00

在回龙观公园春游时拍的，今天翻照片的时候看到了，非常赞！

又一个乐高玩具

2009-08-25T05:35:00.000-07:00

儿子的生日礼物，胜利完成：

外接显示器的分辨率在Ubuntu 9.04下终于正常了

2009-08-12T04:08:00.000-07:00

自从升级到Ubuntu 9.04之后，外接显示器一直都只能运行在1280x1024下，尽管实际的最高分辨率是1680x1050。上网搜了一下并尝试了如下命令：

sudo dpkg-reconfigure -phigh xserver-xorg

重启动X之后，一切正常!终于不用看模糊的屏幕了，感动！

搭积木：一个乐高的汽车

2009-06-05T22:35:00.000-07:00

乐高的积木挺好玩的，跟儿子一起玩了一个小时才搞定：

在Eclipse下导入已有的git仓库中的项目

2009-04-28T20:01:00.000-07:00

让Eclipse和Git一起工作是一件容易的事情。首先，从http://git.or.cz/gitwiki/EclipsePlugin下载Eclipse的插件。这个插件能够让Eclipse和Git一起工作，其结构非常简单。插件的作者并未遵循Eclipse的规范，相反，Git对应的菜单被生硬的插入到了Eclipse的UI中。估摸插件的作者对于Eclipse插件的高度灵活性和可配置性不感冒吧，不管怎么样，够用就行了。

这个插件自动华程度不高。首先，我们需要用git clone将远端的git仓库复制到本地。然后在Eclipse中，通过菜单File| Import... | Existing Projects into Workspace来导入本地仓库中的Eclipse项目。注意不要勾选“Copy projects into workspace”。当项目导入之后，在项目的上下文菜单中选择Team| Share...| Git项，然后一路Next即可。

细粒度的并行对企业应用重要吗？

2009-04-15T03:50:00.000-07:00

对于科学计算来说，它无疑是重要的。对于企业应用而言，目前我个人还没遇到此类需求。目前的应用服务器用单个线程来处理一个request，这对于大多数应用都是合适的，只要响应时间在容许范围之内就没有问题。这种情况下用细粒度的并行并不经济，细粒度的并行需用更多的线程间同步，在系统负载较大时反而会降低吞吐量。
而对于耗时特别长的处理，有时可以用long run的方式解决问题。即用户先提交请求后就直接返回，等计算执行完再通知用户或直接发送结果给用户。

那么如果计算量大，又不能等待呢？Google的搜索是一个很好的例子。把大计算量的任务并行，响应时间自然就短了。不过这样的工作负载也许没有应用服务器什么事。应用服务器把计算任务交给类似Cell Broadband Engine这样的特殊机器也许更合适。

如果单个线程确实需要在本地进行细粒度的并行处理，J2EE规范和WebSphere Application Server 7也提供了相应的支持，参见
1. Service Data Objects, WorkManager, and Timers
2. The Work Manager API: Parallel Processing Within a J2EE Container

最后，不要自己创建线程，那样会干扰应用服务器的运行。

为什么Java的每个对象都有wait()/notify()方法？

2009-03-30T07:27:00.000-07:00

Java对多线程程序的支持可以说是现存语言中最为完美的，即使C++0X今年真的能出来，也无法改变这一点。我们知道，每个Java对象都可以当成一个锁来使用，synchronize关键字会帮我们搞定一切的。那么为什么每个Java对象都有wait()/notify()方法呢？

答案很简单，synchronize关键字能同步对共享资源的访问。只要正确的使用了synchronize关键字，程序就可以保证任意时刻都只有一个线程能访问共享资源。这解决了一部分问题。更进一步，我们还需要考虑到资源通常不是无限的。假如一个共享的队列中没有任何元素，那么所有尝试从队列中获取元素的线程就无法成功。那么这些线程怎么办呢？“忙等”显然不是一个好方法。这时我们就用得到wait()/notify()方法了。当线程检测到队列为空时，他们调用队列对象的wait()方法从而进入暂停执行状态，而当某个线程成功的向队列中放入元素之后，它调用notify()方法唤醒一个等待的线程。这样，整个流程就完美的建立起来了。

另外，我们需要注意wait()和notify()方法只有在获取了队列对象的锁之后才能被调用，这是必要的。如果不这么做，就有可能出现队列中有元素，而某些线程却处于等待状态的现象。

Awesome window manager is awesome!

2009-03-18T04:04:00.000-07:00

I begin to seriously use "awesome window manager" for several days. Until now, almost everything seems OK. As a performance tuning fan, it's glad to see my screen is fully utilized. First of all, it can help me concentrate work in my hand, and there is less things which can interrupt me now.

When I'm writing this, I realized this feeling of "flow" might comes from lacking of a global taskbar in awesome. For example, since I didn't see icon of Lotus Notes while I was coding and thinking, I took much less time to check new email. If someday I switched back to Gnome or KDE, I'll config taskbar to show tasks only in current workspace.
For above diagram, it's not a typical scenario for me to have so many windows at the same time. But if I show a screenshot which has nothing but Eclipse, people won't know what I'm showing.

Note: "Mod4+M" is the most important key for me. It can maximize one window so that it can occupy every bit of my screen.

Finally, I'd like to try awesome 3 when it becomes available as a standard package of Ubuntu. Well done, awesome!

Add a new shortcut for VIM to switch buffer

2009-03-05T20:24:00.000-08:00

We can use F5 to show a list of buffer and switch buffer by inputting a buffer number. Just need to add following configuration into .vimrc

nnoremap <f5> :buffers<cr>:buffer<space>

----From VIM Tips wiki

Lock is NOT the superset of mfence

2009-03-03T20:28:00.000-08:00

From a recent post of Dmitriy at com.programming.threads. I keep this here as a memo.

I was always thinking that LOCK is a kind of superset of MFENCE. It turns out that this is architecture dependent:

------------------------------
For the P6 family processors, locked operations serialize all outstanding load and store operations (that is, wait for them to complete). This rule is also true for the Pentium 4 and Intel Xeon processors, with one exception. Load operations that reference weakly ordered memory types (such as the WC memory type) may not be
serialized.
--------------------------------
Dmitriy V'jukov

Thanks, Dmitriy!

似乎发现了JDK的一个bug

2009-02-26T23:56:00.000-08:00

在指出的bug中,多个线程的运行结果违反了Linearizability的要求. 无锁编程, 难...

http://cs.oswego.edu/pipermail/concurrency-interest/2009-February/005882.html

Install basic development document under ubuntu

2009-02-19T06:43:00.001-08:00

In order to query usage document of C library, it's convenient to install following two packages:

sudo apt-get install glibc-doc
sudo apt-get install manpages-dev

Then, we can use 'K' in vim to query the document. It needs a little configuration.

At first, add following configuration to .vimrc

set keywordprg=manall

Secondly, create a script named "manall"

#!/bin/sh

man -a $1

Git Configuration

2009-02-15T20:01:00.001-08:00

GIT的配置

彩色高亮以及命令缩写，将下面的内容放入到~/.gitconfig中
[user]
name = Zhi Gan
email = ganzhi@gmail.com
[alias]
co = checkout
ci = commit -a
st = status
br = branch
[color]
status = auto
branch = auto
ui = auto

常用的实用工具

2009-02-12T06:24:00.000-08:00

看了译言的一篇口水文章之后，没忍住掉坑里面了：

VIM/Eclipse
BASH
SSH/SCP
JDK/ANT
MAKE/GCC/GDB
Python
SVN
GIMP
OpenOffice
KDE 4，Dolphin和Plasma实在是太酷了，所以我最近从Gnome转到KDE了，巧合的是，我总是和Linus用相反的桌面软件。

前9个是老早就开始用了，最近开始喜欢KDE4了。

C++0x中Memory Order的解释

2009-01-11T19:02:00.000-08:00

来自N2153的非常好的解释：

Each atomic operation defines three sets of memory operations:
A: Memory operations preceding the atomic operation in program order 2 , plus any memory operations from other threads performed with respect to this thread before the atomic operation.
B: Memory operations implied by the atomic operation.
C: Memory operations following the atomic operation in program order, plus any memory operations performed by other threads that have observed the result of a store in C.

An atomic operation with acquire semantics ensures that all memory operations in set B are performed before any memory operation in set C.
An atomic operation with release semantics ensures that all memory operations in set A are performed before any memory operation in set B.
An atomic operation with ordered semantics has both acquire and release semantics. That is, all memory operations in set A are performed before any memory operation in set B, and all memory operations in set B are performed before any memory operation in set C.

Eclipse Git plugin is not matured yet

2009-01-04T23:48:00.000-08:00

I tried to download and install Eclipse Git Plugin today, which combines my two favorite open source projects together. After some clicks, it works for me now. And I like the neat History view as shown below:

It works well although not perfect yet. In my mind, following defects should be fixed at first:

I haven't found the method to place several Eclipse projects inside one git repository. I just know using "Team| Share Project..." to create a new git repository. It's my hope that I can navigate in a git repository and checkout only a subtree into Eclipse.
It doesn't fit into the "Team" feature of Eclipse smoothly. When I'm using the CVS and SVN plugins, the GUI and operation methods are mostly the same, no matter what kind of repository is used. EGit seems invented a new approach, instead of reusing existing framework.
I don't know how to merge branch with EGit yet :)
For every commit, I need to input my name and email address.

Now the conclusion: I'll roll back and use command line version of git again. But I'll keep my eyes open for EGit's future release.

使用mencoder转换格式

2009-01-04T06:40:00.000-08:00

为了往iPod上导入一个rmvb的格式，今天用到了mencoder来转换成mp3。

首先，安装mplayer并且安装w32codecs.
然后执行如下命令：

mencoder some.rmvb -of rawaudio -oac mp3lame -ovc copy -o 05.mp3

Done!

使用ffmpeg从电影中截图

2009-01-04T06:30:00.000-08:00

Linux下干这些非常方便。下面的python代码从2019秒开始截15幅图，间隔1/4秒.

#!/usr/bin/python

import os

import sys

for i in range(60):

second = i/4.0;

command = 'ffmpeg -itsoffset -%f -i "some.avi" -vcodec png -vframes 1 -an -f rawvideo second%d.png' % (second+2019, i+1)

os.system(command)

使用AIX自带的tprof进行性能剖析

2008-12-29T07:32:00.000-08:00

AIX上自带一个很好的性能调优工具tprof，这个和Performance Inspector里面的run.tprof功能完全一样。不过在AIX上我们使用系统自带的更为方便，何况Performance Inspector的AIX剖析工具已经处于deprecated状态了。

使用AIX的tprof分析Java应用程序的过程非常简单：

tprof -j -A -X -I -r trace3 -x java -agentlib:jpa64=instructions=1 MyClass

在上面的例子中，我们使用了几个tprof的几个参数:

-j: 指明要分析Java程序
-A: 打开自动离线模式，在这种模式下，程序运行时仅进行trace而不进行分析。
-X: 用XML格式输出
-I: 开启二进制指令级别剖析
-r: 指定输出文件的名称
-x: 指定要执行的程序，必须是最后一个参数

然后，在运行Java程序时，我们需要加上-agentlib:jpa或者-agentlib:jpa64选项。选择哪个要看JDK是32位还是64位的。最后的结果可以方便的用VPA观看汇编指令对性能的影响了。

最后，在我测试的时候，似乎不能使用tprof的-N选项（用于打开源代码级别的调优)。否则tprof会在生成结果之前僵死。目前还不知道原因。

PowerPC上的原子操作

2008-12-23T06:14:00.000-08:00

众所周知，PowerPC上没有直接的CAS指令。替代的，我们有linked load和store conditional指令提供。Linked load和Store conditional指令完全可以达到和CAS(addr, exp, new)一样的效果。

do{
if (LL(addr)!=exp) return false;
}
until SC(addr, new); return true;

性能上，我们照例可以用Performance Inspector测试，结果如下所示：

图中用到的指令可以参考PPC 5.3指令集.

使用Matplotlib绘图时获得半透明的Legend

2008-12-13T07:50:00.000-08:00

下面代码给出了做法。很简单，不过解决了绘制Amino中的性能曲线的一个小问题。

import matplotlib.pyplot as plt

import numpy as np

import matplotlib.pyplot as plt

ax = plt.subplot(111)

t1 = np.arange(0.0, 1.0, 0.01)

for n in [1, 2, 3, 4]:

plt.plot(t1, t1**n, label="n=%d"%(n,))

leg = plt.legend(loc='best', ncol=2, mode="expand", shadow=True, fancybox=True)

leg.get_frame().set_alpha(0.5)

plt.show()

代码来自Matplotlib的What's New，效果图也在那里

什么时候应该避免使用Java中的AtomicInteger类

2008-12-09T04:52:00.000-08:00

对于多线程中的计数器，我们通常推荐使用j.u.c中的AtomicInteger来替代一个用锁保护的int类型的变量。例如从：

private int value;

synchronized public void increment() {

value++;

}

变动到：

AtomicInteger ai = new AtomicInteger();

public void increment1(){

ai.incrementAndGet();

}

由于synchronized关键字利用this对象同步，而this对象可能还被用于其他同步目的，因此相对AtomicInteger有较多的机会造成线程之间的相互等待。而AtomicInteger本身有一个小的同步块，因而不和其他利用this对象同步的线程竞争，通常会更好一些。而且AtomicInteger的很多方法都是lock-free的，对Scalability有较大的好处。

不过在一些情况，我们还是应该利用synchronized而不是Atomic包。首先，如果我们程序中线程数目较少，或者该计数器不是一个热点时，用锁的程序和AtomicInteger的程序性能没有什么差别。为了节约内存，我们可以采用基于synchronized的版本或者AtomicIntegerFieldUpdater。其次，如果有多个计数器需要操作，那么在一个synchronized块中进行所有的操作比采用多个Atomic对象要好。这点从代码路径上就可以看出。如果线程之间不发生冲突，那么一个synchronized块和一个atomic对象一个CAS操作。如果一个synchronized块处理了多个需要保护的操作，那么就节约了CAS操作的数目，因而具有较高的性能。

How slow is CMPXCHG?

2008-11-26T22:27:00.001-08:00

In order to understand this, I profile one of the amino lock-free data structure and get following result:

Synchronization is expensive!

Data is collected with run.tprof and visualized by VPA.

一些移动光标和命令行编辑的VIM快捷键

2008-11-24T07:12:00.000-08:00

最近在用VIM写一些超文本格式的文档，然后开始学习一些没用过的VIM命令和快捷键。之前没感觉有需要，所以没有仔细看过，现在编辑文档，正好学以致用。这样编辑文档的过程同时也变成了学习VIM的过程，一举两得了 :)

命令行编辑。

之前有一段时间认为不重要，现在看来用到命令行的机会太多了，对于使用频率中等的命令，定义太多快捷键也挺绕的，还是直接敲吧。

首先，是粘贴：
Ctrl-R 用于在命令行模式和插入模式下粘贴，按下这个快捷键之后，会提示用户输入粘贴的来源。常用的几个选择如下：

C-W current word under cursor
% the current filename
+ the clipboard
" the default register

Shift-Left/Right 用于在命令行模式和插入模式下以单词为单位左右移动
C-W: 删除光标前的单词

可视模式下的特殊光标移动

在按下v键入可视模式之后，用 a}, a], a), a>, ap, aw 等来选择一个块，而且包含边界字符。如果用i}, i], i), i>, ip，则选择不会包含边界。除了可视模式之外，y命令，d命令和gq命令后的motion也可以用类似的方式指定，例如gqap 可以完成一个段的换行。

说的gq，gqgq或者gqq可以用来格式化一行文本。另外，:helpg 用正则表达式查找所有的帮助，结果存放在quickfix里(使用:cn, :cp访问)

改变文件格式

To change from (DOS) to just (Unix):
:set fileformat=unix
:w

并行STL类需要有不同的API

2008-11-19T20:34:00.000-08:00

一个组件是否支持并发访问，这在API设计之初就需要考虑到。在Amino项目中，我们最初试图完全兼容STL的interface，但最终无法这么做。其原因不在于实现上有困难，而是STL的一些interface不适合并行程序访问。举一个例子：
STL中的模板类有这样两个方法：
bool empty();
void pop_back();

它们可以被这么用：
if(! list1.empty()){
int tmp = *list1.begin();
list1.pop_front();
}

而在多线程程序中，上面的用法会带来灾难。如果线程A和B同时对长度为1的list1执行上面的程序，那么会发生如下错误：

两个线程都检测到list1非空，然后试图获得其第一个元素，这样一个元素可能被拿出来两次
当两个线程试图删除这个元素时，将发生两次删除，这样一个单线程的程序中不可能出现的exception就产生了。

因此，对于Amino中的lock-free控件，我们通常实现如下的函数：
bool succ;
do{
int tmp;
succ = list1.pop_front(&tmp);
}while(succ);

这样能保证多个线程之间能协作的对一个list中的元素进行处理。程序运行过程中，程序既不会出现重复处理的现象，也不会有影响性能的异常发生。