<![CDATA[服务器开发(Server Development)]]> http://www.libing.net.cn/index.php zh-cn http://www.libing.net.cn/post/nginx-windows.php <![CDATA[今天为商都服务器配置了Nginx图片服务器]]> huzhangyou2002 <huzhangyou2002@gmail.com> Sat, 02 May 2009 15:33:14 +0000 http://www.libing.net.cn/post/nginx-windows.php
需要注意的是没有配置Fast-cgi解析，会导致PHP出现直接源代码下载到客户端，需要做屏蔽。另外需要注意的是系统注销以后，会导致Nginx程序关闭，需要注册服务。

所有文件下载链接：
点击这里下载文件
Tags - ]]> http://www.libing.net.cn/post/multi-process-server-and-multi-thread-server.php <![CDATA[进程服务器模型和线程服务器模型]]> huzhangyou2002 <huzhangyou2002@gmail.com> Sat, 02 May 2009 11:50:46 +0000 http://www.libing.net.cn/post/multi-process-server-and-multi-thread-server.php 作者：长春优狐科技开发有限公司 胡章优
关键字：进程服务器 线程服务器 nginx apache
点击这里下载文件

服务器开发中模型的选择是决定程序运行的关键因素，最近开发的一个Linux下BT下载均衡器则抛弃了多线程模型，而采用了多进程模型，在不同的模型的选择过程中，自然涉及到了各自的优势和劣势。
多进程模型服务器具有以下特点：
  系统对立，功能清晰明显，可以同时启动多个进程，以提高系统的输出能力。
  系统需要处理好进程间数据共享问题。
多线程模型服务器具有如下特点：
  系统线程间数据共享方便，开发相对简单，而线程间互斥以及全局数据的互斥可能也是造成系统瓶颈的一个关键因素。
在网络服务器的开发过程中，参照木桶原理，系统的性能决定在瓶颈最大的那块木板上面。而在分析的过程中，网络IO部分无疑是那块最短的木板。
点击在新窗口中浏览此图片
图一：典型的多线程服务器模型程序流程图
多线程服务器模型中，系统完成了初始化后，启动各自的线程，由全局队列保证各自的数据操作协调。伪数据结构及代码可以如下：
[codes=c]
Class System{
  //接受客户端连接线程
  Static void AcceptThread();
  //数据操作线程，涉及到了socket的数据操作
  Static void DoDataThread();
  //辅助操作线程，比如数据库的缓存，批量入库等的
  Static void OtherThread();
  //保存客户端连接队列
  List pLists;
  //数据库连接对象
  DBConnection dbConn;
  //全局服务器端socket
  Socket globalSock;
  //系统初始化
  Void Initial();
  //系统启动
  Void Start();
  //系统退出时清理资源
  Void Clean();
};
[/codes]
如上伪代码阐述了多线程模型下，网络服务器开发的基本流程和数据结构相关。
点击在新窗口中浏览此图片
图二：典型的多进程服务器模型UML时序图
合理的多进程调度管理程序应该根据当前负载压力情况，决定该启动的进程数量。
点击在新窗口中浏览此图片
图三：典型进程服务器模型执行图
多进程的服务器程序涉及到了如下程序的开发：
  1：多进程调度服务器
  2：进程服务器
调度服务器负责接收网络请求，并将请求转化为进程服务器需要的格式，后通过进程间通讯发送到进程服务器程序，后采用进程间通讯获取处理结果，使用网络IO发送给客户端。
进程调度器在不同的平台上面处理方法可能不太一致：
  1：windows平台
    网络部分可以采用异步模式，如select或者IOCP。进程间通讯可以采用共享内存、SOCKET或者其他，视具体项目所要求的时间效率而定。
  2：Linux平台
    网络部分也采用异步模式，如select、/dev/poll、epoll。进程间通讯可以采用shm或者SOCKET之类。
  3：其他平台
    网络部分异步，如freebsd的kqueue。进程间通讯按照特定系统提供的最佳进程通讯而定。
调度服务器考虑采用单线程执行，讲网络IO封装成为事件驱动机制，这样避免了线程间的互斥以及线程数据之间的锁定带来的负荷，可以大大的提高整个系统的效率和伸缩性。
进程服务器使用进程间通讯模式，等待调度服务器发送来的特定数据，进行处理该数据，将结果再由进程间通讯方法发送给进程调度服务器。
按照进程服务器和调度服务器的部署方式不同，系统模型也会有很大的区别。如果进程服务器和调度服务器部署在同一台服务器上面，可以采用的进程间通讯方法就比较多，而且也比较方便快速，但是并不是特别适合集群以及系统压力分解。优点是系统性能可以达到最佳状态。
进程服务器和调度服务器部署在多台服务器上面的话，通讯的方式Socket为最佳。这种方式适合集群系统以及压力分解，缺点是系统的性能可能会较差。
对调度服务器的伪代码模型如下：
[codes=c]
Class System{
  //保存进程列表
  List pLists;
  //保存客户端列表
  List pClients;
  Socket sock;
  Void Initial();
  Void Start();
  Void Clean();
}
[/codes]
对象的主函数Start为系统关键函数：
伪代码如下：
[codes=c]
Void Start(){
  //启动N个进程服务器
StartNProcess();
  //主线程循环
  While(flag){
    //获取Socket发生事件
    Event = GetClientEvent();
    Switch(event){
      //客户端连接事件
      Case ClientCome:
        //更新客户端队列
        UpdateClientList();
      //收到客户端数据
      Case GetClientData:
        //获取数据
        GetData();
        //分析处理数据
        ProcessData();
        //使用进程间通讯发送给某个进程
        SendToAProcess();
      //客户端离开
      Case ClientGoes:
         //更新客户端队列
        UpdateClientList();
      //客户端错误
      Case ClientError:
        UpdateClientList();
      //默认
      Default:
        DoSth();
     }
     //获取进程事件
     Event = GetProcessEvent();
     Switch(event){
      //进程处理完数据
      Case ParseData:
        //发送给客户端
        SendToClient();
      //错误
      Case Error:
        UpdateProcessList();
      Default:
        DoSth();
    }
    //进程队列处理
    PerformProcessList();
    //客户端队列处理
    PerformClientList();
  }
}
[/codes]

从上面的伪代码中，我们可以大致了解到进程调度服务器所需要处理的工作。
  
  目前的WEB服务器apache可以通过配置文件的方式配置多种执行模式，包含：进程模式或者线程模式。
  另外由俄罗斯人开发的nginx web服务器以其极其优秀的性能，越来越受到大型运营商的青睐。而该服务器采用的就是进程服务器模型。通过配置多个PHP-FastCGI进程服务器程序，可以极大的提高动态web服务器的性能。

胡章优，吉林大学教师，博士，长春优狐科技开发有限公司总经理。专注于服务器开发，集群web服务器配置管理，系统安全配置，CDN网络架设以及机械电子控制系统开发。
个人博客：http://doserver.net

参考文献：
  进程服务器
  线程服务器
  Apache
  Nginx
  http://blog.codingnow.com/2006/10/multi_process_design.html

Tags - , , , , , , ]]> http://www.libing.net.cn/read.php/2021.htm <![CDATA[MS-SQL 删除重复行]]> huzhangyou2002 <huzhangyou2002@gmail.com> Mon, 27 Apr 2009 08:54:51 +0000 http://www.libing.net.cn/read.php/2021.htm delete   Class_Tablessss
  from   Class_Tablessss tt  
  where     exists(  
  select   1  
  from   Class_Tablessss
  where   StudentCard_No=tt.StudentCard_No  
  and   Class=tt.Class  
  and   id[/codes]

试试吧，这是针对我的数据库的，特殊的数据库可能需要特殊处理。尤其是字段方面。 ]]> http://www.libing.net.cn/post/MariaDB.php <![CDATA[MariaDB]]> huzhangyou2002 <huzhangyou2002@gmail.com> Sat, 25 Apr 2009 07:44:58 +0000 http://www.libing.net.cn/post/MariaDB.php http://monty-says.blogspot.com/ 在他的博客提到他将精力转移到开发MYSQL的一个分支系统MariaDB中

具体参考 Wiki MariaDB

个人希望该系统考虑进去更多的Cache,Cluster功能以及智能backup 等功能。
Tags - , , , ]]> http://www.libing.net.cn/read.php/2019.htm <![CDATA[杂七杂八的新信息]]> huzhangyou2002 <huzhangyou2002@gmail.com> Sat, 25 Apr 2009 04:00:56 +0000 http://www.libing.net.cn/read.php/2019.htm 2:自从Oracle收购Sun后，MYSQL不知将何去何从，MYSQL创始人有意创造一分支，感觉这是好事情，开源的受益者是用户。而摒弃之前MYSQL的代码毕竟开发出更好的数据库系统
3:Linux的前景应该很好，越来越多的投入其怀抱。
引用

BullionVault的后台服务器最初是运行Fedora Core Linux，现在换成了CentOS发行版，网络监控使用Nagios，系统镜像使用Drbd，工作计划使用Quartz，负载平衡使用Heartbeat，内容管理使用Subversion，其中BullionVault还向Nagios捐赠了加密补丁。网站搜索是Apache Lucene，网站内容管理是Drupal。前台桌面系统仍主要运行Windows，少量机器是Linux，邮件客户端是Thunderbird，浏览器是Firefox，办公软件是Microsoft Office（OpenOffice的电子表格程序常出现崩溃，所以出于可靠性的担忧而放弃使用）。


以上来自solidot.info http://www.h-online.com/open/features/113118

Tags - , , ]]> http://www.libing.net.cn/post/sina-ncache-nginx.php <![CDATA[sina根据nginx推的一个cache]]> huzhangyou2002 <huzhangyou2002@gmail.com> Thu, 23 Apr 2009 13:48:38 +0000 http://www.libing.net.cn/post/sina-ncache-nginx.php
一个基于nginx的插件，在考虑一个大型文件系统时候，开发可以参考一下，相关连接
http://code.google.com/p/ncache/wiki/HowToNcacheV2

不过感觉测试还不够多，不敢轻易使用。
Tags - , , ]]> http://www.libing.net.cn/post/cbuilder-libcurl-windows.php <![CDATA[C++Builder下libcurl的应用以及普通libcurl的应用方法]]> huzhangyou2002 <huzhangyou2002@gmail.com> Thu, 23 Apr 2009 13:41:04 +0000 http://www.libing.net.cn/post/cbuilder-libcurl-windows.php
首先，使用libcurl的步骤如下：
引用

在基于LibCurl的程序里，主要采用callback function （回调函数）的形式完成传输任务，用户在启动传输前设置好各类参数和回调函数，当满足条件时libcurl将调用用户的回调函数实现特定功能。下面是利用libcurl完成传输任务的流程：
1.       调用curl_global_init()初始化libcurl
2.       调用 curl_easy_init()函数得到 easy interface型指针
3.       调用curl_easy_setopt设置传输选项
4.       根据curl_easy_setopt设置的传输选项，实现回调函数以完成用户特定任务
5.       调用curl_easy_perform（）函数完成传输任务
6.       调用curl_easy_cleanup（）释放内存
在整过过程中设置curl_easy_setopt()参数是最关键的，几乎所有的libcurl程序都要使用它。


另外，在C++Builder中，方法使用的是LoadLibrary，GetProcAddress函数。
引用

下载最新的libcurl (win32-generic)
取得 libcurl-4.dll. 复制到开发程序目录下面
将include目录下的curl复制到BCB安装目录的include文件夹.

代码如下：
[codes=c]
#include
#include
#include

CURL* ( __stdcall *curl_easy_init )( );
CURLcode ( __stdcall *curl_easy_setopt )( CURL *curl, CURLoption option, ...);
CURLcode ( __stdcall *curl_easy_perform )(CURL *curl);
void ( __stdcall *curl_easy_cleanup )(CURL *curl);

void test(){
  HMODULE cl = NULL;
  if( ( cl = LoadLibrary( "c:\\libcurl-4.dll" ) ) == NULL ){
    MessageBox(NULL, "I can't load libcurl","ERROR", 0);
    return;
  }
  curl_easy_init =  (CURL* ( __stdcall *)(  ) )GetProcAddress(cl, "curl_easy_init" );
  curl_easy_setopt =  (CURLcode ( __stdcall *)(CURL *curl, CURLoption option, ...) )GetProcAddress(cl, "curl_easy_setopt" );
  curl_easy_perform =  (CURLcode ( __stdcall *)(CURL *curl) )GetProcAddress(cl, "curl_easy_perform" );
  curl_easy_cleanup =  (void ( __stdcall *)(CURL *curl) )GetProcAddress(cl, "curl_easy_cleanup" );
  CURL *curl;
  CURLcode res;

  curl = curl_easy_init();
  if(curl) {
    curl_easy_setopt(curl, CURLOPT_URL, "www.cs.ccu.edu.tw");
    res = curl_easy_perform(curl);

    /* always cleanup */
    curl_easy_cleanup(curl);
  }
  FreeLibrary(cl);
}
[/codes]


另外可执行代码如下：
[codes=c]
#include < stdio.h>
#include " curl.h"
//#pragma comment(lib, " ../curl-7.14.0/lib/libcurl_imp.lib" )

int main(void)
{
  CURL *  curl = curl_easy_init();
    if(curl) {

        CURLcode res;        
        //res = curl_easy_setopt(curl, CURLOPT_PROXY, " Test-pxy08:8080" );
        res = curl_easy_setopt(curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
        res = curl_easy_setopt(curl, CURLOPT_URL, " http://www.vckbase.com" );
        res = curl_easy_perform(curl);

        if(CURLE_OK == res) {
            char *ct;
            /* ask for the content-type */
            /* http://curl.haxx.se/libcurl/c/curl_easy_getinfo.html */
            res = curl_easy_getinfo(curl, CURLINFO_CONTENT_TYPE, & ct);

            if((CURLE_OK == res) & & ct)
                printf(" We received Content-Type: %s " , ct);
        }

        /* always cleanup */
        curl_easy_cleanup(curl);
    }
    return 0;
}
[/codes]

参考文章：
http://blog.csdn.net/collin1211/archive/2008/05/09/2422940.aspx
http://blog.myspace.cn/e/402526981.htm
http://hi.baidu.com/zkheartboy/blog/item/e40fc362f5d985dee6113ad9.html
http://blog.chinaunix.net/u/12592/showart_1140684.html
http://exodus.cs.ccu.edu.tw/~yuwen/NUBlog/
http://blog.vckbase.com/michael/archive/2008/07/08/15426.html

Tags - , ]]> http://www.libing.net.cn/post/centos-nginx-fastcgi.php <![CDATA[CentOS下面配置nginx以及php-fastcgi模式做web均衡]]> huzhangyou2002 <huzhangyou2002@gmail.com> Wed, 22 Apr 2009 11:51:17 +0000 http://www.libing.net.cn/post/centos-nginx-fastcgi.php 只是配置需要注意一下，参考了 回忆未来 张宴兄的文章
http://blog.s135.com/post/366/

另外，熟悉了一下 imagemagick库和Imagick Image Library


中代码摘录如下：
[codes=php]
header('Content-type: image/gif');  
  
$image = new Imagick('google_logo.gif');  
$image->adaptiveResizeImage(400,NULL);  
  
echo $image;  
?>  
[/codes]

其他详见帮助。

考虑大型图片服务器的假设可以采用该模式。
使用rsync进行图片推送备份，加上memcache + mysql master/slave
如果前端nginx压力过大，可以考虑采用lvs做一次均衡。

相关的参数如下：

[codes=c]
http
{
upstream myfastcgi {
  server 192.168.10.110 weight=1;
  server 192.168.10.111 weight=1;
  server 192.168.10.112 weight=2;
}

location ~ \.php$ {
  fastcgi_pass myfastcgi;
  fastcgi_index index.php;
  fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
  include fastcgi_params;
}
}
[/codes]

上面weight是权重。具体参考文档。

另外需要提到的是多台fast-cgi会导致session出现问题，参考文献六提出了解决方案。

引用

项目背景基本上就是上面说的那些，下面大概说说相关的网络环境，然后进入具体的配置、实现过程：
1、nginx服务器一台，IP地址：172.16.236.208
2、php fastcgi服务器两台，IP分别为：172.16.236.210,172.16.236.211
3、memcached服务器一台，IP为：172.16.236.220
为了简化操作过程，上面的环境仅仅是达到项目需求的假设，实际项目中还有许多额外的处理。
首先，修改nginx虚拟主机配置，将php的请求分发到各个php fastcgi服务器去，
大致的配置过程可以参加我之前的文章：使用nginx配置多个php fastcgi负载均衡
第二步，为php fastcgi服务器安装php-memcache扩展，参见：memcached、php-memcache安装笔记
啰嗦一句，这一步其实只需在一台服务器上进行，其他php fastcgi的配置其实可以偷懒，就是将之前编译好的memcache.so拷贝到需要配置的服务器中，然后修改php.ini可以加载这个扩展即可。
第三步，修改项目php源代码，使php的session存取使用memcached。
之前没有认真去读php的手册，先是自己写session的handler，然后又碰到一些奇怪的问题。最后在php官方的memcache说明中找到了最简单的办法，其实只要在调用session_start()之前执行如下代码：

$host  =  '172.16.236.220'   ;
$port  =  '11211'   ;
$session_save_path = "tcp://$host:$port?persistent=1&weight=2&timeout=2&retry_interval=10,  ,tcp://$host:$port  ";
ini_set('session.save_handler', 'memcache');
ini_set('session.save_path', $session_save_path);
其中$host是memcached服务器的ip地址，$port是memcached监听的端口。
执行了如下代码以后，所有php fastcgi服务器的session操作都同步到了memcached服务器，而对于项目的php代码来说，以前该怎么用还是怎么用，完全可以不用像这篇博客开头那样，以为要改写php的session处理函数了。




参考文章：
http://www.imagemagick.org
http://www.phpx.com/man/php-zh/ref.imagick.html
http://hi.baidu.com/%D3%A9%BB%F0%B3%E6candy/blog/item/3efd1e803c3bbbd19123d9ea.html
http://www.neatcn.com/show-274-1.shtml
http://ipbfans.org/2009/02/nginx-php-fcgi-load-balance
http://ipbfans.org/2009/02/memcached-php-session-load-balance
Tags - , , , , , , , , , ]]> http://www.libing.net.cn/post/centos-vmware-vmware-tools.php <![CDATA[CentOS在VMWare下配置 VMWare Tools]]> huzhangyou2002 <huzhangyou2002@gmail.com> Tue, 21 Apr 2009 07:19:55 +0000 http://www.libing.net.cn/post/centos-vmware-vmware-tools.php
具体可以参考文章：
如何在CentOS安裝VMWare Tools? (OS) (Linux) (CentOS) (VMWare)
]]> http://www.libing.net.cn/read.php/2009.htm <![CDATA[J2ME Code tips[From books J2ME Game Development with MIDP2]]]> huzhangyou2002 <huzhangyou2002@gmail.com> Sun, 12 Apr 2009 11:01:47 +0000 http://www.libing.net.cn/read.php/2009.htm be changed. Any modification to a String variable is actually a new object
creation.
2. Accessing class variables directly is faster then using setter and getter
methods
3. Using local variables are more efficient then instance/class variables
4. Using variables are more efficient then arrays.
5. Avoid synchronization in loops because there is an extra over head to lock and
unlock each time the loop occurs
6. Counting down in loops is faster then counting up
7. Use compound operators like x += 1 instead o f x = x + 1 because fewer byte
codes is generated
8. Remove constant calculations in loops
9. Reuse objects
10. Assign null to unused objects, especially unused threads
11. Try to use already built in methods, for example if you want to copy data from
one array to another use System.arraycopy more then likely this method will
be more efficient then the one you created yourself ]]>