Pythonee's Notebook

技术沙龙

2015-11-13T19:01:00.000-08:00

学习技术，除了从书本、工作中获取理论和实践之外，还有一条重要的途径就是通过同行交流，参加技术沙龙，分享知识，开阔技术视野。

当初读书那会，从书本上获取的知识有限，在google资料时，无意发现了一些不错的技术论坛，分享的大多数干货，学习了很多，脑洞也开了不少。反倒工作之后，参与沙龙的时间也减少了。不过另外一个事实时，现在移动开发和前端真的像是开启了屏霸模式，这些沙龙上的主题几乎都是关于移动和前端，当年的后端大牛们，这时候也只能选择归隐练剑去了吧。

下面列一些国内比较好玩的技术沙龙：

beta技术沙龙

珠三角技术沙龙

珠海GDG

阿里技术沙龙

另外就是一个比较少关注，但是活动组织和活动内容还挺广的

beijing-open-party

秋日里的北京

2015-11-08T06:55:00.000-08:00

北大校门，挤满了人，这里还需要检查身份证

外面熙熙攘攘，一进校门，却是另外一番景象，宁静、书香

清北清北，出了北大，去逛了清华，浓浓的理科味

清华学堂

公园里的柳树，秋风徐徐，太阳暖暖，北京难得的好天气

公园的跑道，两边的树叶也都开始泛黄了

路过天安门广场，各种护栏，有点进入禁地的感觉

热闹的前门步行街，古色古香，各种北京特色一条龙

NameError: uninitialized constant SiteSettings::DbProvider::RailsMultisite

2015-11-08T04:19:00.003-08:00

我是从vagrant的方式安装Development环境，docker安装应该不会有这个问题

执行这个时：

bundle exec rake db:migrate

报错：

rake aborted! NameError: uninitialized constant SiteSettings::DbProvider::RailsMultisite /vagrant/lib/site_settings/db_provider.rb:52:in `current_site' /vagrant/lib/site_setting_extension.rb:44:in `current' /vagrant/lib/site_setting_extension.rb:96:in `block in setting' /vagrant/lib/site_setting_extension.rb:93:in `synchronize' /vagrant/lib/site_setting_extension.rb:93:in `setting' /vagrant/lib/site_setting_extension.rb:151:in `client_setting' /vagrant/app/models/site_setting.rb:18:in `block in load_settings' /vagrant/lib/site_settings/yaml_loader.rb:29:in `block (2 levels) in load' /vagrant/lib/site_settings/yaml_loader.rb:20:in `each' /vagrant/lib/site_settings/yaml_loader.rb:20:in `block in load' /vagrant/lib/site_settings/yaml_loader.rb:19:in `each_key' /vagrant/lib/site_settings/yaml_loader.rb:19:in `load' /vagrant/app/models/site_setting.rb:16:in `load_settings' /vagrant/app/models/site_setting.rb:25:in `<class:SiteSetting>' /vagrant/app/models/site_setting.rb:4:in `<top (required)>' /vagrant/config/initializers/04-message_bus.rb:39:in `<top (required)>' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/engine.rb:652:in `block in load_config_initializer' /var/lib/gems/2.2.0/gems/activesupport-4.2.4/lib/active_support/notifications.rb:166:in `instrument' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/engine.rb:651:in `load_config_initializer' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/engine.rb:616:in `block (2 levels) in <class:Engine>' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/engine.rb:615:in `each' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/engine.rb:615:in `block in <class:Engine>' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/initializable.rb:30:in `instance_exec' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/initializable.rb:30:in `run' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/initializable.rb:55:in `block in run_initializers' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/initializable.rb:44:in `each' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/initializable.rb:44:in `tsort_each_child' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/initializable.rb:54:in `run_initializers' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/application.rb:352:in `initialize!' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/railtie.rb:194:in `public_send' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/railtie.rb:194:in `method_missing' /vagrant/config/environment.rb:5:in `<top (required)>' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/application.rb:328:in `require_environment!' /var/lib/gems/2.2.0/gems/railties-4.2.4/lib/rails/application.rb:457:in `block in run_tasks_blocks' Tasks: TOP => db:migrate => environment (See full trace by running task with --trace)

其实就是文件权限问题：

sudo chmod -R a+r /var/lib/gems/2.2.0/gems/

安装完成之后：

安装的简易性、定制性还是不错的，适合用于来做个性化的小众论坛

常去的技术网站

2015-11-07T22:18:00.002-08:00

以前经常喜欢搜集很多的网站，深怕自己错过了重要的信息，到头来经常去和能引起思考的并不多，在这个信息爆炸的年代，缺的永远不是信息，缺的是提取信息的智慧和耐心。所以后来就不断的筛选常去的网站，我觉得这个数量不应该超过15个为好

博客

http://hellojava.info/
JAVA真是线上问题排查微信公众号

http://www.blogjava.net/BlueDavy/
很多关于架构、OSGI、java的一个博客，JAVA程序员必看

http://blog.csdn.net/pongba/
pongba的csdn博客，很多文章到现在重读还是能有其他体会，思维、技术、图灵机、数学在这里都没有了界限，文章经常旁征博引，可以不断延伸，技术博客应当如此

http://mindhacks.cn/
pongba的新博客，更新频率变慢了，不过每一篇都是经历时间的揣摩，还是很多思维训练和概率统计的文章

http://www.ruanyifeng.com/blog/
阮一峰老师的博客，阮老师的文笔非常好，总是能把一些不太好理解的写的特别通俗易懂，而且阮老师本身专业是经济的，文章内容类型也很宽

http://www.keakon.net/
keakon的博客，keakon现在去知乎了，之前好像是在IBM，关注到keakon也是因为想在google app engine上写点应用，当时资料还不是很多，keakon分析datastore和gae的文章，当时都看了遍，还使用了他写的google app engine上的框架，受益匪浅。学python和爱玩游戏的可以关注

Google Groups

TopLanguage

这里不但有大牛做技术交流，还有无私的分享精神、有好的交流氛围，上大学那会儿最喜欢就是在里面做题、做思考训练，非常不错得一个groups，至今没有找到比这更好的网络groups

Shanghai Linux User Group

linux用户组，各地应该都有一个，但是这里的话题也不仅仅linux，而且有质量的发言也很多，可以交流的经验也很多

程序员社区

V2EX

Livid的网站，最初是玩google app engine的时候关注的，当时人气还比较少，

Reddit 和 Hacker News

这两个就放在一起吧，想跟上技术潮流和关注热点技术事件，这两个网站就不可能错过，这两个网站的排序算法是很多网站分析和学习的对象

日报

码农周刊

刚成立的时候，正好应该是码农这个词大行其道的时候，当时还挺排斥这个词，但是瑕不掩瑜，每期还是聚集了很多很有深度的技术文章的

开源书籍

现在自出版也越来越流行，互联网帮助人们完成publish这个动作也越来越简单，撰写电子书、发表唱片都不像以前那么不可想象，而且互联网还改变了publish的方式，可以让更多人参与进来，合作完成。下面这两个网站基本涵盖了开源的一些手册、cookbook、编程语言参考等等。

Read the docs

Gitbook

信息源

google

wikipedia
先google，后wiki应该作为找资料或发问前的两个必备功课

stackoverflow
其实可以作为程序员刷声望的地方

slideshare
主要上去搜刮技术ppt，可是这里远远不止这些

texlive 2010 制作虚包

2011-06-03T05:10:00.000-07:00

为什么要做虚包？
因为我不是apt-get回来的，我觉得texlive还是去ctan上下载下来自己装比较舒服，如果你和我一样，那么一定就会想着做一个虚包的，因为，你比如说，你现在想装texmacs，可是，apt还是按部就班的找依赖，提示我们要装上一大堆我们已经有的texlive的东西了。所以咱们就做一个dummy（虚包）来忽悠它吧。下面是方法，关键是得到你已经装的包。

$ aptitude install equivs # as root
mkdir /tmp/tl-equivs && cd /tmp/tl-equivs

equivs-control texlive-local
# edit texlive-local (see below)
$ equivs-build texlive-local
$ dpkg -i texlive-local_2010-1_all.deb # as root

这是官网提供的方法，但是呢，texlive-local，也就是我们的texlive到底安装了哪些东西，可能每个人都不一样，有一些人全装了，有些人只是装了一部分包，有些人装了之后还下了乱七八糟的来扩展它。不管怎样，方法都一样

$ tlmgr list --only-installed | awk '{ print $2}' >> texlive_pkg

这一行把已安装的包提取出来，放到texlive_pk下面，输出太多了，这里就不列出来了

注意这样处理之后，每行后面都有一个冒号，可以用vi打开texlive_pkg

然后

:1,$s/.$/,
或
:%s/.$/,

乖乖，我做好deb之后，安装，接着试着安装asciidoc，居然发现不给力啊，不晓
得是什么问题，所以就先用2009的虚包吧

texlive_local文件如下

Section: misc
Priority: optional
Standards-Version: 3.6.2

Package: texlive-local
Version: 2009-1~1
Maintainer: you <you@yourdomain.example.org>
Provides: biblatex, biblatex-dw, cm-super, cm-super-minimal, context, dvipng,
 feynmf, fragmaster, lacheck, latex-beamer, latex-cjk-all, latex-cjk-chinese,
 latex-cjk-chinese-arphic-bkai00mp, latex-cjk-chinese-arphic-bsmi00lp,
 latex-cjk-chinese-arphic-gbsn00lp, latex-cjk-chinese-arphic-gkai00mp,
 latex-cjk-common, latex-cjk-japanese, latex-cjk-japanese-wadalab,
 latex-cjk-korean, latex-cjk-thai, latex-cjk-xcjk, latexmk, latex-sanskrit,
 latex-xcolor, lcdf-typetools, lmodern, luatex, musixlyr, musixtex, pgf,
 preview-latex-style, prosper, ps2eps, psutils, purifyeps, t1utils, tex4ht,
 tex4ht-common, tex-gyre, texlive, texlive-base, texlive-base-bin,
 texlive-base-bin-doc, texlive-bibtex-extra, texlive-binaries, texlive-common,
 texlive-doc-base, texlive-doc-bg, texlive-doc-cs+sk, texlive-doc-de,
 texlive-doc-el, texlive-doc-en, texlive-doc-es, texlive-doc-fi,
 texlive-doc-fr, texlive-doc-it, texlive-doc-ja, texlive-doc-ko,
 texlive-doc-mn, texlive-doc-nl, texlive-doc-pl, texlive-doc-pt,
 texlive-doc-ru, texlive-doc-si, texlive-doc-th, texlive-doc-tr,
 texlive-doc-uk, texlive-doc-vi, texlive-doc-zh, texlive-extra-utils,
 texlive-fonts-extra, texlive-fonts-extra-doc, texlive-fonts-recommended,
 texlive-fonts-recommended-doc, texlive-font-utils, texlive-formats-extra,
 texlive-games, texlive-generic-extra, texlive-generic-recommended,
 texlive-humanities, texlive-humanities-doc, texlive-lang-african,
 texlive-lang-all, texlive-lang-arab, texlive-lang-arabic,
 texlive-lang-armenian, texlive-lang-croatian, texlive-lang-cyrillic,
 texlive-lang-czechslovak, texlive-lang-danish, texlive-lang-dutch,
 texlive-lang-finnish, texlive-lang-french, texlive-lang-german,
 texlive-lang-greek, texlive-lang-hebrew, texlive-lang-hungarian,
 texlive-lang-indic, texlive-lang-italian, texlive-lang-latin,
 texlive-lang-latvian, texlive-lang-lithuanian, texlive-lang-manju,
 texlive-lang-mongolian, texlive-lang-norwegian, texlive-lang-other,
 texlive-lang-polish, texlive-lang-portuguese, texlive-lang-spanish,
 texlive-lang-swedish, texlive-lang-tibetan, texlive-lang-ukenglish,
 texlive-lang-vietnamese, texlive-latex3, texlive-latex-base,
 texlive-latex-base-doc, texlive-latex-extra, texlive-latex-extra-doc,
 texlive-latex-recommended, texlive-latex-recommended-doc, texlive-luatex,
 texlive-math-extra, texlive-metapost, texlive-metapost-doc, texlive-music,
 texlive-omega, texlive-pictures, texlive-pictures-doc, texlive-plain-extra,
 texlive-pstricks, texlive-pstricks-doc, texlive-publishers,
 texlive-publishers-doc, texlive-science, texlive-science-doc, texlive-xetex,
 texpower, texpower-manual, thailatex, tipa, ttf-freefont, ttf-gfs-artemisia,
 ttf-gfs-baskerville, ttf-gfs-bodoni-classic, ttf-gfs-didot,
 ttf-gfs-didot-classic, ttf-gfs-gazis, ttf-gfs-neohellenic, ttf-gfs-olga,
 ttf-gfs-porson, ttf-gfs-solomos, ttf-gfs-theokritos, ttf-sil-gentium, xindy,
 xindy-rules
Architecture: all
Description: My local installation of TeX Live 2009.

嗯，总算没有再提示我缺依赖了

linux代码查看工具lxr的安装和配置

2011-06-02T10:00:00.000-07:00

配置好之后，我只能说，这个东西如果你没有一定的耐心的话，还真是折腾不下去，不像windows下的source insight，一路next，就马上有一个很好的交叉索引好的代码查看了，可是linux木有啊。那咱们就只有耐着性子折腾了。

用lxr看我的计算器实现

还是分步说吧

第一步，装好所有依赖

lxr需要用到的东西

exuberant ctags
一个关系型数据库,可以是mysql和postgresql
一个web服务器，推荐apache + mod_perl
一个free-text searching. 可以是glimpse或者swish-e
Perl的File::MMagic模块
Perl的database driver interface DBI 和你所选择的数据库对应的DBD

好吧，这的确是要费不少力气的，所以我会推荐最省力的方式

1. exuberant ctags

这个你就直接sudo apt-get install exuberant-ctags,如果你觉得不爽，可以去下源码来，自己编译，不过，告诉你，是差不多的

2.postgresql

这里我是下了源码来安装，很简单，典型的三步

./configure

make

sudo make install

就可以了

为了方便，我还把他的bin路径添加到了.bashrc的PATH中了

3.apache

源码安装

./configure

make

sudo make install

这里装完之后，你可以测试一下

启动apache
sudo /usr/local/apache2/bin/apachectl start

然后在浏览器里打开

http://localhost

看看有没有成功了，如果可以，那么就继续吧

4.mod_perl的安装

到了这一步，我觉得事情就简单了
直接到cpan去找mod_perl,下载下来，然后典型的四步
perl MakeFile.pl
make
make test
sudo make install

5.DBI，DBD，File:MMagic的安装
这几个perl模块都只要到CPAN上下载，然后四步

perl MakeFile.pl

make

make test

sudo make install

6.free-text searching的安装

这里是可以选择glimpse或者swish-e的，但是两者区别,glimpse是对搜索友好一些，但和svn结合得不好，swish-e对搜索和索引不是很友好，但是和svn结合的好像不错，考虑了一下，自己主要是阅读一些开源代码的，所以就选择了glimpse

安装也很简单，直接就

./configure

make

sudo make install

三步就可以了

装完完这些依赖之后，你可以休息一下，晒晒太阳什么的，换换脑子

.....

配置开始

lxr的配置文件就两个

一个是apache的http.conf

vi /usr/local/apache2/conf/http.conf

直接看我的配置吧，我把关键的地方贴上来就可以了

LoadModule perl_module modules/mod_perl.so
PerlRequire /home/pythonee/lxr/apache2-require.pl

Alias /lxr /home/pythonee/lxr
<Directory /home/pythonee/lxr>
AllowOverride All
</Directory>

Alias /icons/ "/usr/local/apache2/icons/"

<Directory "/usr/local/apache2/icons">
Options Indexes MultiViews
AllowOverride None
Order allow,deny
Allow from all
</Directory>

应该都还好理解

另外一个配置文件就是lxr.conf, 不过话说lxr project提供了一个sample文件，可以在它的基础上做更改，配上lxr的readme文件，应该都比较好改，为了省大家的时间，我挑出要改的地方来吧

, 'glimpsebin' => '/usr/local/bin/glimpse'
, 'glimpseindex' => '/usr/local/bin/glimpseindex'
# Location of SWISH-E binary
#, 'swishbin' => '/usr/local/bin/swish-e'

# Path to Exuberant Ctags executable
, 'ectagsbin' => '/usr/bin/ctags'
# Location of the ectags.conf file
, 'ectagsconf' => '/home/pythonee/lxr/lib/LXR/Lang/ectags.conf'

'baseurl' => 'http://localhost/lxr' # Put your URL here
# baseurl_aliases allows other URLs to be used to reach the site
# comment this out if you do not want any aliases
, 'baseurl_aliases' =>
[ 'http://localhost/lxr'
, 'http://127.0.0.1/lxr'
]
, 'virtroot' => '/lxr' # The bit after the / above

, 'sourceroot' => '/home/pythonee/lxr/indexed-src'

, 'dbname' => 'dbi:Pg:dbname=lxr'

# If you need to specify the username or password for the database connection,
# uncomment the following two lines
, 'dbpass' => 'lxr'
, 'dbuser' => 'lxr'

# If you need multiple lxr configurations in one database, set different table
# prefixes for them.
# , 'dbprefix' => 'lxr_'

# For using glimpse, the directory to store the .glimpse files in is required
, 'glimpsedir' => '/home/pythonee/lxr/glimpse/databases'

好了，如果你还想配工程名啊，默认版本啊，都可以按照文档的来了

总算配置完了，不过，还不能用，还得初始化数据库，lxr的根目录有各个数据库的初始脚本，有mysql，postgresql,oracle什么的，对应我的选择，我就用postgresql的初始化.

psql -U lxr lxr
\i initdb-postgres

最后，写一个启动脚本吧

sudo /usr/local/apache2/bin/apachectl start
postgres -D /usr/local/pgsql/data

# ./genxref --url=http://localhost/lxr --version=v4

话说，我的安装都是看readme或install说明文件的，如果大家有疑问，一切答案都会在这两个文件中，我只不过是为了怕自己遗忘或者能省大家一点时间做了一个记录

再是，在使用中，我还不知道怎么来看导入多个工程的代码，毕竟这是一个常用的需求，现在我只能对比一个工程的多个版本，不知道多个工程多个版本有没有人玩出来了，不过好像官网有说吧，我太懒了，不想去翻，等有闲心再去翻吧

ubuntu10.10下用virtual box跑hadoop全分布[2]

2011-06-01T17:18:00.000-07:00

以上的四步，可以说，我们的环境基本搭建完成，下面就是hadoop的配置了

hadoop的配置就是几个文件，但是要注意，三台电脑上的hadoop最好最好是保持不变吧

我的hadoop路径是放在

/home/pythonee/java_lib/hadoop-0.20.2下，以下看你的情况来更改

首先是配置hadoop-env.sh,把你的JDK路径告诉hadoop吧
export JAVA_HOME="/usr/lib/jvm/java-6-sun-1.6.0.24"

和hadoop真正相关的文件

第一个文件:masters，写上你的master计算机名，不要填IP，我的这里就是host里的master
第二个文件:slaves,写上你所有slave的计算机名，不要填IP，我的这里就是slave和child

第三个文件:hdfs-site.xml,配置name,data,tmp的路径

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>



<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/pythonee/java_lib/hadoop-0.20.2/name</value>
<description> </description>
</property>

<property>
<name>dfs.data.dir</name>
<value>/home/pythonee/java_lib/hadoop-0.20.2/data</value>
<description> </description>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/pythonee/java_lib/hadoop-0.20.2/tmp</value>
<description> </description>
</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

第四个文件:mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>



<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9200</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/pythonee/java_lib/hadoop-0.20.2/mapred</value>
</property>
</configuration>

第五个文件:core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>



<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9100</value>
</property>
</configuration>

好像hadoop之前的版本是将这三个文件分开的，这里我也是只贴了最简单的可用配置。

下面就上我运行的截图吧，无图无真相啊

map 和 reduce在跑

看，我的集群

input和output

运行的history

总结

这两篇简单的配置是为了大家能让hadoop小飞象飞起来，并没有弄太多具体的一些配置，因为搭建hadoop不是用来玩的，如果真要弄，还得去深入学习map/reduce的原理，hadoop据说也要重构了，因为他们发现hadoop集群变大的时候，hadoop的性能急剧下降。

如果你懒得弄这些，纯粹为了应用，那么我觉得可以用Google app engine或amazon的服务，这些都是搭好的集群。

总算是了了一个心愿了，不过话说，我把mahout和hadoop结合的时候，我的单机就吃不消了，下次要弄一个真正的来跑一跑

ubuntu10.10下用virtual box跑hadoop全分布[1]

2011-06-01T16:39:00.000-07:00

因为本科的时候的毕业设计是用mahout来做个性化推荐系统，当时那个系统真是麻雀虽小，但是五脏俱全，有爬虫，有搜索，有个性化推荐，有调用开放api来做mashup。但是呢，我的那部分用mahout来做推荐引擎部分其实当时并没有做到完美，主要是速度非常非常慢。因为mahout是建立在hadoop集群上的，而当时我们的系统是windows,所以就懒得去折腾hadoop的全分布，所以当时的hack方向就是怎么减少数据集来减少数据量，但是发现精确度是不够的。如果你也有兴趣的话，你会发现典型的mapper和reducer。但是现在有了时间，所以就想把这个未完成的心愿补完吧，这边文章主要描述如何在ubuntu下通过virtualbox建立一个小集群。并成功运行word count的例子

我的集群
一台master
两个slave，计算机名分别为slave和child
ip
master 192.168.1.15
slave 192.168.56.101
child 192.168.56.102

准备环境

主机:ubuntu 10.10 maverick
虚拟机: virtualbox 3.2.8

Package:Hadoop-0.20.2
OpenSSH-server
OpenSSH-client
rsync
Sun-java6-jdk
Sun-java6-plugin

第一步:安装virtalbox-ose

在ubuntu下，只要一步 sudo apt-get install virtualbox-ose即可

第二步:准备java环境
在ubutnu下，这件事情也非常简单，比windows还简单，因为你都可以不用配置环境变量了

直接敲
sudo apt-get install sun-java6-jdk sun-java6-jre sun-java6-plugin
然后把默认的openJDK换过来,命令是
sudo update-alternatives --config java
根据提示，选择sun-java6-jdk就好了

第三步:安装slave

我因为懒的下载了，所以master和slave的OS都是ubuntu 10.10 maverick，不过话说
这样更好吧，因为你都不需要应付可能出现的问题，这一步不用说吧，直接把iso放到virtualbox的虚拟光驱中，然后启动安装，这个比真机快多了，因为没有格式化和什么的

这里安装两台slave就可以了，跑多了，电脑带不动

这里还得注意，我在slave安装的时候，用户名和密码和master是一模一样的，换句话说，我的master和slave是如法炮制的

第四步:master和slave的无密码SSH通讯

这步是重中之重，我在这一步上栽倒了很多次，不是SSH通讯不成功，而是通讯成功之后，hadoop跑起来之后，总是会在中间的怀节卡住，所以这一步我要提醒大家要充分注意自己的设置

首先
我们得保证master和slave在同一个子网中，简单说就是，如果master的ip是192.168.1.15，那么slave的ip就应该是192.168.*.*什么的，而在virtualbox有四种网卡的配置，分别是Nat,Bridged Adapter,Internal,Host-only,可以肯定的Nat和Internal是不适合这里的，至于为什么，大家可以Google一下，这四种模式下，slave和master的互访关系和限制。那么bridged也就是我们常说的桥接应该是最简单的，选择这种方式就已经让slave和master在同一子网中了，你就想做是一个寝室了多了一台电脑吧。而host-only是比较麻烦的，先不讲这种吧，不过可是肯定的是，这两种方式我都实验了，而且都成功了。接下来的ssh通讯设置是假设你是使用bridged网卡设置。另外我们得保证三台电脑有一个相同的用户名，在第三步安装slave的时候我说了，我三台机器都用的是pythonee作为用户名。

通讯的第一步就是修改host文件，这一步也是容易犯错的地方，这里为了简单说明，如果你的host里没有很特别的设置的话，你完全是可以清空整个文件的，一点问题没有。下面是我的设置

在master上的/etc/host文件

192.168.56.1 master
192.168.56.101 slave
192.168.56.102 child

注意，我这里是用的host-only的方式的，上个截图吧，一切就清楚了

点击可以看大图

下面是三台电脑ifconfig得到的信息

点击看大图

好了，在继续往前走之前，大家可以在每台机子上ping一下，如果可以ping通，那么就可以继续往前走了。

安装openssh-server
照样的sudo apt-get install openssh-server
这一个要在master和两台slave都要装上

然后在master上生成密钥对，命令是
ssh-keygen -t rsa
熟悉公钥加密通讯的话，这一步应该很好理解，接下来就是把master的公钥给slave,懒人就用scp吧
cd .ssh
scp -r id_rsa.pub pythonee@slave:/home/pythonee/.ssh/authorized_keys_m
scp -r id_rsa.pub pythonee@child:/home/pythonee/.ssh/authorized_keys_m
以上的所有动作是把master的公钥复制给了slave和child

同样的道理，接下来就是把slave和child的公钥送给master
用pythonee登录到slave，生成密钥对
ssh-keygen -t rsa
cd .ssh
scp -r id_rsa.pub pythonee@slave:/home/pythonee/.ssh/authorized_keys_s

用pythonee登录到child,生成密钥对
ssh-keygen -t rsa
cd .ssh
scp -r id_rsa.pub pythonee@master:/home/pythonee/.ssh/authorized_keys_c

最后合并
在slave上
cd .ssh
mv authorized_keys_m authorized_keys
cat id_rsa.pub >> authorized_keys

在child上
cd .ssh
mv authorized_keys_m authorized_keys
cat id_rsa.pub >> authorized_keys

在master上
cd .ssh
mv authorized_keys_s authorized_keys
cat id_rsa.pub >> authorized_keys
cat authorized_keys_c >> authorized_keys

到这里，我们算是到了一个里程碑，三台电脑可以不用输入密码就可以ssh通讯了，你可以简单测试下

在master上
ssh slave
ssh child

在slave上
ssh master

在child上
ssh master

如果这三个都不用输入密码就成功登录了，那么我们就可以休息一下，下面接着整我们真正的主角hadoop了

使用beautifulsoup和lxml来解析html和xml文件

2011-06-01T14:12:00.000-07:00

这两个库的介绍就不说了吧，在网上，我们可以看到很多用beautifulsoup和urllib2就可以写出不用50行就可以很强大的爬虫。如果加上优先权队列还有多线程什么的，再简单对页面上的<a>进行pagerank,那么就是一个本科的毕业设计题目了吧，lxml这个库真是太优秀了，在xml的解析中，我还真没有见到如此好用的库，性能也很好。当然你要用lxml来解析html也是可以的。不过我不是很喜欢那种不漂亮的代码。下面就看我这次是怎么来玩的吧。

事情的起因是，我想完善我的google custom search engine。我平时用google reader订阅了很多大牛的feed,所以我的习惯是，先用google搜索我的keyword，慢慢的锁定我要找的范围，然后看看它给的search suggestion。一旦锁定了范围，那么我就会到我的google reader再细化我的搜索，通常都能短时间内找到高质量的文章。因为我的google reader feed数达到了784个。但是我比较懒，所以我就想把google reader里的feed添加到custom search engine中，开始认为可以用google reader的导出功能，然后只要import到custom search engine就可以了，结果....不行，尼玛啊，这里得说，google还是要提高自己产品的互连的。不然老是被大家诟病。 Google reader可以导出opml格式的文件。说白了就是一个xml文件，我们接下来就要解析这个xml文件，提取我们需要的链接。

另外，我的google bookmark是收藏了一些无法订阅的网站，比如国外的一些科研网站，这些网站都是懒得做全文feed输出的，所以我也需要合并到我的custom search engine中，不过和google reader的导出不太一样，这个导出的是一个html文件，我们下面的代码是对这个html进行解析。让我见识一下beautifulsoup是不是很delicious吧。

长话短说，opml的格式大概如下:
<?xml version=”1.0” encoding=”UTF-8” ?>
<opml version=”1.0”>
<head>
<title>xxxxxxx</title>
</head>

<body>
<outline text="PYthonee Blog"
title="PYthonee Blog" type="rss"
xmlUrl="http://pythonee.blogspot.com/feeds/posts/default"
htmlUrl="http://pythonee.blogspot.com/"/>

<outline>
<outline>
</outline>
</outline>

<outline>
</outline>
</body>
</opml>

这里就简单说说吧，head就一个title元素，没有什么好说的，就是你的google reader啦，body里就是outline，就是一个一个feed。但是注意的，outline是可以嵌套的，outline有text,title,xmlUrl和htmlUrl地址四个属性，这里我们只对xmlUrl和htmlUrl感兴趣，xmlUrl就是feed地址，htmlUrl就是网站地址，所以我们要提取出所有的outline的htmlUrl。好了，这里可以上代码了

from lxml import etree,objectify

result = open('result.txt','a')

root = objectify.parse("google-reader-subscriptions.xml").getroot()

for el in root.iter():
if el.get('htmlUrl'):
result.write(str(el.get('htmlUrl'))+"\n")

对，这就是我们全部的代码。舒服吧

接下了，解析由google bookmark导出的html文件，这里就可以不用看这个html文件了吧，^_^
直接上代码了

from BeautifulSoup import BeautifulSoup,SoupStrainer

links = BeautifulSoup(bookmarks,parseOnlyThese=SoupStrainer('a'))

for link in links:
result.write(link['href'] + "\n")

真是让人赏心悦目啊

另外，附上完整的代码一份，我还去抓取了csdn所有专家的链接，以让自己的搜索更全面一些吧，因为csdn上还有不少我喜欢的前辈，像pongba, g9, albertlee等人

from BeautifulSoup import BeautifulSoup,SoupStrainer
from lxml import etree,objectify

result = open('result.txt','a')

bookmarks = open("GoogleBookmarks.html","r").read()

#print bookmarks

links = BeautifulSoup(bookmarks,parseOnlyThese=SoupStrainer('a'))

for link in links:
result.write(link['href'] + "\n")

root = objectify.parse("google-reader-subscriptions.xml").getroot()

for el in root.iter():
if el.get('htmlUrl'):
result.write(str(el.get('htmlUrl'))+"\n")

csdnexpert = open("expert.html","r").read()

csdnlinks = BeautifulSoup(csdnexpert,parseOnlyThese=SoupStrainer('a'))

for link in csdnlinks:
if link.has_key('href') and str(link['href']).startswith("http://blog.csdn.net"):
result.write(link['href']+"\n")

附上本人辛苦折腾的这个custom search engine吧，猛击这里，希望这个可以让各位编程时候的搜索更加愉快吧