Parapat Notes

Mobile blogging

2011-04-03T17:34:00.001+07:00

This is my first time posting my blog from mobile using an iPhone. Nice to used. I can blogging everywhere and everythink I want.

Improving (network) I/O performance

2010-09-12T23:16:00.005+07:00

Introduction

The reason for the current work is to analyze different methods for efficent delivery of network events from kernel mode to user mode. Five methods are examined, poll() that has been chosen as the better old-style method, standard /dev/poll interface, standard RT signals, RT signals with one-sig-per-fd patch and a new /dev/epoll that uses a quite different notification method. This work is composed by :

1) the new /dev/epoll kernel patch

2) the /dev/poll patch from Provos-Lever modified to work with 2.4.6

3) the HTTP server

4) the deadconn(tm) tool to create "dead" connections

As a measurement tool httperf has been chosen coz, even if not perfect, it offers a quite sufficent number of loading options.

The new /dev/epoll kernel patch

The patch is quite simple and it adds notification callbacks to the 'struct file' data structure :

******* include/linux/fs.h

struct file {

...

/* file callback list */

rwlock_t f_cblock;

struct list_head f_cblist;

};

****** include/linux/fcblist.h

/* file callback notification events */

#define ION_IN 1

#define ION_OUT 2

#define ION_HUP 3

#define ION_ERR 4

#define FCB_LOCAL_SIZE 4

#define fcblist_read_lock(fp, fl) read_lock_irqsave(&(fp)->f_cblock, fl)

#define fcblist_read_unlock(fp, fl) read_unlock_irqrestore(&(fp)->f_cblock, fl)

#define fcblist_write_lock(fp, fl) write_lock_irqsave(&(fp)->f_cblock, fl)

#define fcblist_write_unlock(fp, fl) write_unlock_irqrestore(&(fp)->f_cblock, fl)

struct fcb_struct {

struct list_head lnk;

void (*cbproc)(struct file *, void *, unsigned long *, long *);

void *data;

unsigned long local[FCB_LOCAL_SIZE];

};

extern long ion_band_table[];

extern long poll_band_table[];

static inline void file_notify_init(struct file *filep)

{

rwlock_init(&filep->f_cblock);

INIT_LIST_HEAD(&filep->f_cblist);

}

void file_notify_event(struct file *filep, long *event);

int file_notify_addcb(struct file *filep,

void (*cbproc)(struct file *, void *, unsigned long *, long *), void *data);

int file_notify_delcb(struct file *filep,

void (*cbproc)(struct file *, void *, unsigned long *, long *));

void file_notify_cleanup(struct file *filep);

The meaning of this callback list is to give lower IO layers the ability to notify upper layers that will register their "interests" to the file structure. In fs/file_table.c initialization and cleanup code has been added while in fs/fcblist.c the callback list handling code has been fit :

****** fs/file_table.c

struct file * get_empty_filp(void)

{

...

file_notify_init(f);

...

}

int init_private_file(struct file *filp, struct dentry *dentry, int mode)

{

...

file_notify_init(filp);

...

}

void fput(struct file * file)

{

...

file_notify_cleanup(file);

...

}

****** fs/fcblist.c

void file_notify_event(struct file *filep, long *event)

{

unsigned long flags;

struct list_head *lnk;

fcblist_read_lock(filep, flags);

list_for_each(lnk, &filep->f_cblist) {

struct fcb_struct *fcbp = list_entry(lnk, struct fcb_struct, lnk);

fcbp->cbproc(filep, fcbp->data, fcbp->local, event);

}

fcblist_read_unlock(filep, flags);

}

int file_notify_addcb(struct file *filep,

void (*cbproc)(struct file *, void *, unsigned long *, long *), void *data)

{

unsigned long flags;

struct fcb_struct *fcbp;

if (!(fcbp = (struct fcb_struct *) kmalloc(sizeof(struct fcb_struct), GFP_KERNEL)))

return -ENOMEM;

memset(fcbp, 0, sizeof(struct fcb_struct));

fcbp->cbproc = cbproc;

fcbp->data = data;

fcblist_write_lock(filep, flags);

list_add_tail(&fcbp->lnk, &filep->f_cblist);

fcblist_write_unlock(filep, flags);

return 0;

}

int file_notify_delcb(struct file *filep,

void (*cbproc)(struct file *, void *, unsigned long *, long *))

{

unsigned long flags;

struct list_head *lnk;

fcblist_write_lock(filep, flags);

list_for_each(lnk, &filep->f_cblist) {

struct fcb_struct *fcbp = list_entry(lnk, struct fcb_struct, lnk);

if (fcbp->cbproc == cbproc) {

list_del(lnk);

fcblist_write_unlock(filep, flags);

kfree(fcbp);

return 0;

}

fcblist_write_unlock(filep, flags);

return -ENOENT;

}

void file_notify_cleanup(struct file *filep)

{

unsigned long flags;

struct list_head *lnk;

fcblist_write_lock(filep, flags);

while ((lnk = list_first(&filep->f_cblist))) {

struct fcb_struct *fcbp = list_entry(lnk, struct fcb_struct, lnk);

list_del(lnk);

fcblist_write_unlock(filep, flags);

kfree(fcbp);

fcblist_write_lock(filep, flags);

}

fcblist_write_unlock(filep, flags);

}

The callbacks will receive a 'long *' whose first element is one of the ION_* events while the nexts could store additional params whose meaning will vary depending on the first one. This interface is a draft and I used it only to verify if the transport method is efficent "enough" to work on. At the current stage notifications has been plugged only inside the socket files by adding :

****** include/net/sock.h

static inline void sk_wake_async(struct sock *sk, int how, int band)

{

if (sk->socket) {

if (sk->socket->file) {

long event[] = { ion_band_table[band - POLL_IN], poll_band_table[band - POLL_IN], -1 };

file_notify_event(sk->socket->file, event);

}

if (sk->socket->fasync_list)

sock_wake_async(sk->socket, how, band);

}

The files fs/pipe.c and include/linux/pipe_fs_i.h has been also modified to extend /dev/epoll to pipes ( pipe() ).

The /dev/epoll implementation resides in two new files driver/char/eventpoll.c and the include/linux/eventpoll.h include file.

The interface of the new /dev/epoll is quite different from the previous one coz it works only by mmapping the device file descriptor while the copy-data-to-user-space has been discarded for efficiency reasons. By avoiding unnecessary copies of data through a common set of shared pages the new /dev/epoll achieves more efficency due 1) less CPU cycles needed to copy the data 2) a lower memory footprint with all the advantages on modern cached memory architectures.

The /dev/epoll implementation uses the new file callback notification machanism to register its callbacks that will store events inside the event buffer. The initialization sequence is :

if ((kdpfd = open("/dev/epoll", O_RDWR)) == -1) {

}

if (ioctl(kdpfd, EP_ALLOC, maxfds))

{

}

if ((map = (char *) mmap(NULL, EP_MAP_SIZE(maxfds), PROT_READ,

MAP_PRIVATE, kdpfd, 0)) == (char *) -1)

{

}

where maxfds is the maximum number of file descriptors that it's supposed to stock inside the polling device. Files are added to the interest set by :

struct pollfd pfd;

pfd.fd = fd;

pfd.events = POLLIN | POLLOUT | POLLERR | POLLHUP;

pfd.revents = 0;

if (write(kdpfd, &pfd, sizeof(pfd)) != sizeof(pfd)) {

...

}

and removed with :

struct pollfd pfd;

pfd.fd = fd;

pfd.events = POLLREMOVE;

pfd.revents = 0;

if (write(kdpfd, &pfd, sizeof(pfd)) != sizeof(pfd)) {

...

}

The core dispatching code looks like :

struct pollfd *pfds;

struct evpoll evp;

for (;;) {

evp.ep_timeout = STD_SCHED_TIMEOUT;

evp.ep_resoff = 0;

nfds = ioctl(kdpfd, EP_POLL, &evp);

pfds = (struct pollfd *) (map + evp.ep_resoff);

for (ii = 0; ii <>

...

}

Basically the driver allocates two sets of pages that it uses as a double buffer to store files events. The field ep_resoff will tell where, inside the map, the result set resides so, while working on one set, the kernel can use the other one to store incoming events. There is no copy to userspace issues, events coming from the same file are collapsed into a single slot and the EP_POLL function will never do a linear scan of the interest set to perform a file->f_ops->poll(). To use the /dev/epoll interface You've to mknod such name with major=10 and minor=124 :

# mknod /dev/epoll c 10 124

You can download the patch here :

epoll-lt-2.4.32-0.23.diff

The /dev/poll patch from Provos-Lever

There's very few things to say about this, only that a virt_to_page() bug has been fixed to make the patch work. I fixed also a problem the patch has when it tries to resize the hash table by calling kmalloc() for a big chunk of memory that can't be satisfied. Now vmalloc() is used for hash table allocation. I modified a patch for 2.4.3 that I found at the CITI web site and this should be the port to 2.4.x of the original ( 2.2.x ) one used by Provos-Lever. You can download the patch here :

http://www.xmailserver.org/linux-patches/olddp_last.diff.gz

The RT signals one-sig-per-fd patch

This patch coded by Vitaly Luban implement RT signals collapsing and try to avoid SIGIO delivery that happens when the RT signals queue become full. You can download the patch here :

http://www.luban.org/GPL/gpl.html

The HTTP server

The HTTP server is very simple(tm) and is based on event polling + coroutines that make the server quite efficent. The coroutine library implementation used inside the server has been taken from :

http://www.goron.de/~froese/coro/

It's very small, simple and fast. The default stack size used by the server is 8192 and this, when trying to charge a lot of connections, may result in memory waste and vm trashing. A stack size of 4096 should be sufficent with this ( empty ) HTTP server implementation. Another issue is about the allocation method used by the coro library that uses mmap() for stack allocation. This, when the rate of accept()/close() become high may result in performance loss. I changed the library ( just one file coro.c ) to use malloc()/free() instead of mmap()/munmap(). Again, it's very simple ( the server ) and always emits the same HTTP response whose size can be programmed by a command line parameter. Other two command line options enable You to set the listening port and the fd set size. You can download the server here :

ephttpd-0.2.tar.gz

Old version:

http://www.xmailserver.org/linux-patches/dphttpd_last.tar.gz

The deadconn(tm) tool

If the server is simple this is even simpler and its purpose is to create "dead" connections to the server to simulate a realistic load where a bunch of slow links are connected. You can download deadconn here :

http://www.xmailserver.org/linux-patches/deadconn_last.c

The test

The test machine is a PIII 600MHz, 128 Mb RAM, eepro100 network card connected to a 100Mbps fast ethernet switch. The kernel is 2.4.6 over a RH 6.2 and the coroutine library version is 1.1.0-pre2. I used a dual PIII 1GHz, 256 Mb RAM and dual eepro100 as httperf machine, while a dual PIII 900 MHz, 256 Mb RAM and dual eepro100 has been used as deadconn(tm) machine. Since httperf when used with an high number of num-conns goes very quickly to fill the fds space ( modified to 8000 ) I used this command line :

--think-timeout 5 --timeout 5 --num-calls 2500 --num-conns 100 --hog --rate 100

This basically allocates 100 connections that will load the server under different values of dead connections. The other parameter I varied is the response size from 128, 512 and 1024. Another test, that has more respect of the nature of the internet sessions, is to have a burst of connections that are opened, make two HTTP requests and than are closed. This test is implemented with httperf by calling :

--think-timeout 5 --timeout 5 --num-calls 2 --num-conns 27000 --hog --rate 5000

Each of these numbers is the average of three runs. You can download httperf here :

http://www.hpl.hp.com/personal/David_Mosberger/httperf.html

The test show that the /dev/epoll is about 10-12% faster than the RT signals one-sig implementation and that either /dev/epoll and both RT signals implementation keeps flat over dead connections load. The RT-one-sig implementation is slight faster than the simple RT signal, but here only a couple of SIGIO occurred during the test.

Both the 512 and 1024 Content-Length test show that /dev/epoll, RT signals and RT one-sig behave almost is the same way ( the graph overlap ). This is due the ethernet saturation ( 100Mbps ) occurred during these tests.

This test shows that /dev/epoll, RT signals and RT one-sig implementation had a quite flat behaviour over dead connections load with /dev/epoll about 15% faster than RT one-sig and RT one-sig about 10-15% faster than the simple RT signals.

The system call interface ( aka sys_epoll )

The need of a system call interface to the event retrival device driven the implementation of sys_epoll, that offsers the same level of scalability through a simpler interface for the developer. The new system call interface introduces three new system calls that maps to the corresponding user space calls :

int epoll_create(int maxfds);

int epoll_ctl(int epfd, int op, int fd, unsigned int events);

int epoll_wait(int epfd, struct pollfd *events, int maxevents, int timeout);

These functions are described in their manual pages :

epoll : PS TXT MAN

epoll_create : PS TXT MAN
epoll_ctl : PS TXT MAN
epoll_wait : PS TXT MAN

Patches that implement the system call interface are available here. A library to access the new ( 2.5.45 ) epoll is available here :

epoll-lib-0.11.tar.gz

A simple pipe-based epoll performace tester :

pipetest

User space libraries that supports epoll :

libevent

ivykis

During the epoll test I quickly made a patch for thttpd :

thttpd.epoll.diff

Conclusion

These numbers show that the new /dev/epoll ( and sys_epoll ) improve the efficency of the server from a response rate point of view and from a CPU utilization point of view ( better value of CPU/load factor ). The response rate of the new /dev/epoll in completely independent from the number of connections while the standard poll() and the old /dev/poll seems to suffer the load. The standard deviation is also very low compared to poll() and old /dev/poll and this let me think that 1) there's more power to be extracted 2) the method has a predictable response over high loads. Both the RT signals and RT one-sig implementations behave pretty flat over dead connections load with the one-sig version that is about 10-12% faster than the simple RT signals version. RT singnals implementations ( even if the one-sig less ) seems to suffer the burst test that simulates the real internet load where a huge number of connections are alive. This because of the limit of the RT signals queue that, even with the one-sig patch applied, is going to become full during the test.

How to Extract/Uncompress/Unarchive file in linux.

2010-09-11T23:54:00.006+07:00

This is a no-frills Linux command line guide/cheat sheet that will help you extract or unarchive or uncompress just about any file that you’re bound to come across. If you’d like to have more options, read the man pages! Also, the opposite to this guide about creating/compressing/archiving files in Linux can be found here.

Preliminary:

Most compressed or archived files that you’ll come across already have built-in support under popular distributions (Ubuntu, Fedora, Suse, etc…), but some of them aren’t. I would recommend installing this group of packages using apt-get, yum, or an equivalent before using this guide (unless of course you already know what you need):

[root@localhost]# yum install -y unzip p7zip unrar bzip2 gzip lzma

1. *.tar

[root@localhost]# tar xvf filename.tar

2. *.tar.gz

[root@localhost]# tar xzvf filename.tar.gz

3. *.tgz

[root@localhost]# tar xvzf filename.tgz

4. *.tar.bz2 (Or maybe we mean *.tar.gz2)

[root@localhost]# tar xjvf filename.tar.bz2

5. *.tar.bz

[root@localhost]# tar xjvf filename.tar.bz

6. *.tbz

[root@localhost]# tar xjvf filename.tbz

7. *.tar.Z

[root@localhost]# zcat file.tar.Z | tar xvf -

8. *.tar.xz

[root@localhost]# lzcat filename.tar.xz | tar xvf -

9. *.gz

[root@localhost]# gunzip filename.gz

10. *.gz2 (Or maybe we mean *.bz2. It's the same way like untar *.bz2 above)

11. *.bz

[root@localhost]# bunzip filename.bz

12. *.bz2

[root@localhost]# bunzip2 filename.bz2

13. *.Z

[root@localhost]# uncompress filename.Z

14. *.xz

[root@localhost]# unlzma filename.xz

15. *.zip

[root@localhost]# unzip filename.zip

16. *.7z

[root@localhost]# 7z x filename.7z

17. *.rar

[root@localhost]# unrar x filename.rar

18 *.dmg

This isn’t a file that can be ‘extracted’ but you can mount and save the files using:

[root@localhost]# mkdir /mnt/source

[root@localhost]# mount -o loop -t hfs filename.dmg /mnt/source

[root@localhost]# cp /mnt/source/* /home/username/destination/

19. *.img, *.dd

These aren’t files that can be ‘extracted’ but you can mount and save the files using:

[root@localhost]# mkdir /mnt/source

[root@localhost]# mount -o loop -t iso9660 filename.img /mnt/source

[root@localhost]# cp /mnt/source/* /home/username/destination/

NOTES: "*" means to your filename which will to unpack. Example "testsource-12.1.0-1.tar.gz".

Centralizing "syslog-ng" to MySQL

2010-07-01T16:02:00.004+07:00

Synopsis:
This documentation assumes that you have installed and have a working version of syslog-ng version 1.5.x and higher.

This documentation assumes that you have installed and have a working version of mysql database.

What is syslog-ng?
Syslog-ng is the world's most flexible and scalable audit trail processing tool for organizations of any size. It provides a centralised, securely stored log of all devices on your network, whatever platform they run on. And syslog-ng also incorporates a host of powerful features, including filtering based on message content, as well as customisable data mining and analysis capabilities. syslog-ng comes as part of the Zorp product line or can be downloaded ((click here)) as a drop-in replacement for stock UNIX system logging software.

What is mysql
MySQL is an open source relational database management system (RDBMS) that uses Structured Query Language (SQL), the most popular language for adding, accessing, and processing data in a database.

Configure syslog-ng to log to mysql database using fifo template:

destination d_mysql {
pipe("/tmp/mysql.pipe"
template("INSERT INTO logs (host, facility, priority, level, tag, date,
time, program, msg) VALUES ( '$HOST', '$FACILITY', '$PRIORITY', '$LEVEL','$TAG',
'$YEAR-$MONTH-$DAY', '$HOUR:$MIN:$SEC', '$PROGRAM', '$MSG' );\n") template-escape(yes));
};

log { source(net); destination(d_mysql); };

Comment out the following line

#source src { unix-dgram("/dev/log"); internal(); };

Uncomment out the following lines

source src { unix-dgram("/etc/log/log"); internal(); };
source net { udp(); };

Create the fifo pipe for syslog-ng to export out logs

mkfifo /tmp/mysql.pipe

Create syslog database

CREATE DATABASE syslog
USE syslog

CREATE TABLE logs (
host varchar(32) default NULL,
facility varchar(10) default NULL,
priority varchar(10) default NULL,
level varchar(10) default NULL,
tag varchar(10) default NULL,
date date default NULL,
time time default NULL,
program varchar(15) default NULL,
msg text,
seq int(10) unsigned NOT NULL auto_increment,
PRIMARY KEY (seq),
KEY host (host),
KEY seq (seq),
KEY program (program),
KEY time (time),
KEY date (date),
KEY priority (priority),
KEY facility (facility)
) TYPE=MyISAM;

Create the fifo pipe for syslog-ng to export out logs

mkfifo /tmp/mysql.pipe

Restart syslog-ng process

Stop syslog-ng
/etc/init.d/syslog-ng stop

Start syslog-ng
/etc/ini.d/syslog-ng start

Pipe Insert scripts

# Created by Matthias Buch
#

In the syslog-ng.conf we use:
destination d_oracle {
pipe("/dev/ora.pipe"
template("INSERT INTO logs (LL_HOST, LL_facility, LL_priority, LL_level, LL_tag,
LL_DATE, LL_program, LL_msg) VALUES ( '$HOST', '$FACILILITY', '$PRIORITY',
'$LEVEL', '$TAG',
to_date('$YEAR.$MONTH.$DAY $HOUR:$MIN:$SEC', 'yyyy.mm.dd hh24:mi:ss'),
'$PROGRAM', substr('$MSG',1,511));\n COMMIT;\n") template-escape(yes));

import-to-oracle.sh

#to write files to the fifo we have a job import-to-oracle.sh
#!/bin/sh
nohup sqlplus username/password@dbname @/dev/ora.pipe >/dev/null &

cronjob

#and to check for running oracle clients
#we have a cronjob running every 5 minutes:
#!/bin/bash
export ORACLE_HOME=/usr/oracle/product/8.1.7
export ORACLE_BASE=/usr/oracle
export PATH=$ORACLE_HOME/bin:$PATH
SQL=`ps ax|grep sqlplus|grep -v grep|wc -l`
if [ $SQL -lt 1 ];then
/opt/bin/import-to-oracle.sh
fi

This script is used to pipe syslog-ng to mysql

#
# Created by Tadghe Patrick Danu
#
#!/bin/bash

if [ -e /tmp/mysql.pipe ]; then
while [ -e /tmp/mysql.pipe ]
do
mysql -u theuserid --password=thepassword syslogdb < /tmp/mysql.pipe done else mkfifo /tmp/mysql.pipe fi

This script is used to pipe syslog-ng to postgreSQL

# Created by Ben Russo
#!/bin/bash
# run-syslog2pgsql-insert.sh
# 23-April-2002 by Ben Russo
# This script makes sure that the syslogs get
# into the database.
# It is designed to be started by CRON periodically.
# I would run it every minute, or at least every
# every few minutes.
DATADIR="/spooldir/syslog2pgsql"
WORKDIR="/var/lib/pgsql/syslog"
LOGFILE="$WORKDIR/syslog2pgsql-insert.log"
TZ=UCT
export DATADIR WORKDIR TZ
# Here we are going to make sure there isn't
# already an instance of run-syslog2pgsql-insert.sh
# that is running.
if [ -f $WORKDIR/.syslog2pgsql-insert.pid ]
then
OLDPID=`cat $WORKDIR/.syslog2pgsql-insert.pid'
NUMPROCS=`ps -e | grep $OLDPID | grep run-syslog2 | wc -l`
if [ $NUMPROCS -gt 0 ]
then
exit 0
fi
fi
#
# If this script has run this far then there should
# not be another instance of run-syslog2pgsql-insert.sh
# running, therefore let's make a PID file and do it.
echo $$ > $WORKDIR/.syslog2pgsql-insert.pid
#
# Now start an endless loop that looks for control files.
#
while true
do
DATE=`date`
if [ -f $WORKDIR/.insert-die ]
then
echo "=die===== $DATE $WORKDIR/.insert-die file found, exiting." >> $LOGFILE
exit 0
fi
if [ -f $WORKDIR/.insert-restart ]
then
echo "=restart= $DATE $WORKDIR/.insert-restart file found, exiting." >> $LOGFILE
echo "=restart= $DATE Deleteing .insert-restart file." >> $LOGFILE
echo "=restart= $DATE Expecting cron to restart this script." >> $LOGFILE
fi
if [ -f $WORKDIR/.insert-pause ]
then
echo "=pause=== $DATE $WORKDIR/.insert pause file found." >> $LOGFILE
echo "=pause=== $DATE sleeping 3 secs." >> $LOGFILE
sleep 3
else
FILELIST=`find $DATADIR -name
"fulllog.2[0-9][0-9][0-9].[0-1][0-9].[0-3][0-9].[0-2][0-9].[0-5][0-9].[0-6][0-9]"`
usleep 999997

for i in $FILELIST
do
cat $i | psql -U postgres -d syslog-ng >> $LOGFILE 2>&1
DATE=`date`
echo "========= $DATE finished $i" >> $LOGFILE
rm -f $i
done

fi
done
#
# END OF THE SCRIPT
#

This file is the functions" file distributed with Mandrake systems

# -*-Shell-script-*-
#
# functions This file contains functions to be used by most or all
# shell scripts in the /etc/init.d directory.
#
TEXTDOMAIN=initscripts
TEXTDOMAINDIR=/etc/locale
LOCPATH=/etc/locale
export TEXTDOMAINDIR LOCPATH

# Make sure umask is sane
umask 022

# Set up a default search path.
PATH="/sbin:/usr/sbin:/bin:/usr/bin:/usr/X11R6/bin"
export PATH

[ -z "${CONSOLETYPE:-}" ] && CONSOLETYPE="`/sbin/consoletype`"

# Get a sane screen width
[ -z "${COLUMNS:-}" ] && COLUMNS=80

if [ -f /etc/sysconfig/i18n -a -z "$NOLOCALE" ]; then
. /etc/sysconfig/i18n
if [ "$CONSOLETYPE" != "pty" ]; then
[ "$CONSOLE_NOT_LOCALIZED" = "yes" ] && GP_LANG=C
[ "$CONSOLE_NOT_LOCALIZED" = "yes" ] && GP_LANGUAGE=C
fi
if [ -z "$GP_LANG" ]; then
[ -n "$LC_CTYPE" ] && GP_LANG=$LC_CTYPE || GP_LANG=$LC_MESSAGES
fi
if [ -z "$GP_LANGUAGE" ]; then
[ -n "$LANGUAGE" ] && GP_LANGUAGE=$LANGUAGE || GP_LANGUAGE=$GP_LANG
fi
fi

# Read in our configuration
if [ -z "${BOOTUP:-}" ]; then
if [ -f /etc/sysconfig/init ]; then
. /etc/sysconfig/init
else
# This all seem confusing? Look in /etc/sysconfig/init,
# or in /usr/share/doc/initscripts-*/sysconfig.txt
BOOTUP=color
RES_COL=60
MOVE_TO_COL="echo -en \\033[${RES_COL}G"
SETCOLOR_SUCCESS="echo -en \\033[1;32m"
SETCOLOR_FAILURE="echo -en \\033[1;31m"
SETCOLOR_WARNING="echo -en \\033[1;33m"
SETCOLOR_NORMAL="echo -en \\033[0;39m"
LOGLEVEL=1
fi
if [ "$CONSOLETYPE" = "serial" ]; then
BOOTUP=serial
MOVE_TO_COL=
SETCOLOR_SUCCESS=
SETCOLOR_FAILURE=
SETCOLOR_WARNING=
SETCOLOR_NORMAL=
fi
fi

if [ "${BOOTUP:-}" != "verbose" ]; then
INITLOG_ARGS="-q"
else
INITLOG_ARGS=
fi

gprintf() {
if [ -x /bin/gettext -a -n "$1" ]; then
if [ -n "$GP_LANG" ]; then
local TEXT=`LC_ALL=$GP_LANG LANGUAGE=$GP_LANGUAGE gettext -e --domain=$TEXTDOMAIN "$1"`
else
local TEXT=`gettext -e --domain=$TEXTDOMAIN "$1"`
fi
else
local TEXT=$1
fi
[ "${1#*\\n}" ] || TEXT="$TEXT\n"

shift
printf "$TEXT" "$@"
}

# Frontend to gprintf (support up to 4 %s in format string)
# returns the message transleted in GPRINTF_MSG and
# the resting parms in GPRINTF_REST
# This simplifies a lot the call of functions like action,
# now with i18n support
gprintf_msg_rest() {
case "$1" in
*%s*%s*%s*%s*)
GPRINTF_MSG=$(gprintf "$1" "$2" "$3" "$4" "$5")
shift 5;;
*%s*%s*%s*)
GPRINTF_MSG=$(gprintf "$1" "$2" "$3" "$4")
shift 4;;
*%s*%s*)
GPRINTF_MSG=$(gprintf "$1" "$2" "$3")
shift 3;;
*%s*)
GPRINTF_MSG=$(gprintf "$1" "$2")
shift 2;;
*)
GPRINTF_MSG=$(gprintf "$1")
shift;;
esac
GPRINTF_REST="$@"
}

# Check if $pid (could be plural) are running with
# the same root as this script
inmyroot() {
local i r

for i in $* ; do
[ "/proc/$i/root" -ef "/proc/$$/root" ] && r="$r $i"
done
echo "$r"
}

# Check if $pid (could be plural) are running
checkpid() {
local i

for i in $* ; do
[ -d "/proc/$i" ] && return 0
done
return 1
}

# A function to start a program.
daemon() {
# Test syntax.
local gotbase= force=
local base= user= nice= bg= pid=
nicelevel=0
while [ "$1" != "${1##[-+]}" ]; do
case $1 in
'') gprintf "%s: Usage: daemon [+/-nicelevel] {program}\n" $0
return 1;;
--check)
base=$2
gotbase="yes"
shift 2
;;
--check=?*)
base=${1#--check=}
gotbase="yes"
shift
;;
--user)
user=$2
shift 2
;;
--user=?*)
user=${1#--user=}
shift
;;
--force)
force="force"
shift
;;
[-+][0-9]*)
nice="nice -n $1"
shift
;;
*) gprintf "%s: Usage: daemon [+/-nicelevel] {program}\n" $0
return 1;;
esac
done

# Save basename.
[ -z "$gotbase" ] && base=${1##*/}

# See if it's already running. Look *only* at the pid file.
if [ -f /var/run/${base}.pid ]; then
local line p
read line < /var/run/${base}.pid for p in $line ; do [ -z "${p//[0-9]/}" -a -d "/proc/$p" ] && pid="$pid $p" done fi [ -n "${pid:-}" -a -z "${force:-}" ] && return # make sure it doesn't core dump anywhere; while this could mask # problems with the daemon, it also closes some security problems ulimit -S -c 0 >/dev/null 2>&1

# if they set NICELEVEL in /etc/sysconfig/foo, honor it
[ -n "$NICELEVEL" ] && nice="nice -n $NICELEVEL"

# Echo daemon
[ "${BOOTUP:-}" = "verbose" -a -z "$LSB" ] && echo -n " $base"

# libsafe support
if [ -r /etc/sysconfig/system ] && grep -q '^LIBSAFE=yes$' /etc/sysconfig/system && [ -r /lib/libsafe.so.2 ]; then
LD_PRELOAD=/lib/libsafe.so.2
export LD_PRELOAD
fi

# And start it up.
if [ -z "$user" ]; then
$nice initlog $INITLOG_ARGS -c "$*"
else
$nice initlog $INITLOG_ARGS -c "su -s /bin/bash - $user -c \"$*\""
fi
rc=$?
[ $rc = 0 ] && success "%s startup" $base || failure "%s startup" $base
unset LD_PRELOAD
return $rc
}

# A function to stop a program.
killproc() {
RC=0
# Test syntax.
if [ "$#" -eq 0 ]; then
gprintf "Usage: killproc {program} [signal]\n"
return 1
fi

notset=0
# check for second arg to be kill level
if [ -n "$2" ]; then
killlevel=$2
else
notset=1
killlevel="-9"
fi

# Save basename.
base=${1##*/}

# Find pid.
pid=
if [ -f /var/run/${base}.pid ]; then
local line p
read line < /var/run/${base}.pid
for p in $line ; do
[ -z "${p//[0-9]/}" -a -d "/proc/$p" ] && pid="$pid $p"
done
fi
if [ -z "$pid" ]; then
pid=`pidof -o $$ -o $PPID -o %PPID -x $1 || \
pidof -o $$ -o $PPID -o %PPID -x $base`
fi

# Avoid killing processes not running in the same root
[ -n "$pid" ] && pid="`inmyroot $pid`"

# Kill it.
if [ -n "${pid:-}" ] ; then
[ "$BOOTUP" = "verbose" -a -z "$LSB" ] && echo -n "$base"
if [ "$notset" -eq "1" ] ; then
if checkpid $pid 2>&1; then
# TERM first, then KILL if not dead
kill -TERM $pid
usleep 100000
if checkpid $pid && sleep 1 &&
checkpid $pid && sleep 3 &&
checkpid $pid ; then
kill -KILL $pid
usleep 100000
fi
fi
checkpid $pid
RC=$?
[ "$RC" -eq 0 ] && failure "%s shutdown" $base || success "%s shutdown" $base
RC=$((! $RC))
# use specified level only
else
if checkpid $pid; then
kill $killlevel $pid
RC=$?
[ "$RC" -eq 0 ] && success "%s %s" $base $killlevel || failure "%s %s" $base $killlevel
fi
fi
else
failure "%s shutdown" $base
RC=1
fi

# Remove pid file if any.
if [ "$notset" = "1" ]; then
rm -f /var/run/$base.pid
fi
return $RC
}

# A function to find the pid of a program. Looks *only* at the pidfile
pidfileofproc() {
local base=${1##*/}

# Test syntax.
if [ "$#" -eq 0 ] ; then
gprintf "Usage: pidfileofproc {program}\n"
return 1
fi

# First try "/var/run/*.pid" files
if [ -f /var/run/$base.pid ] ; then
local line p pid=
read line < /var/run/$base.pid
for p in $line ; do
[ -z "${p//[0-9]/}" -a -d /proc/$p ] && pid="$pid $p"
done
if [ -n "$pid" ]; then
echo $pid return 0
fi
fi
}

# A function to find the pid of a program.
pidofproc() {
base=${1##*/}
# Test syntax.
if [ "$#" -eq 0 ] ; then
gprintf "Usage: pidofproc {program}\n"
return 1
fi
# First try "/var/run/*.pid" files
if [ -f /var/run/$base.pid ]; then
local line p pid= read line < /var/run/$base.pid
for p in $line ; do
[ -z "${p//[0-9]/}" -a -d /proc/$p ] && pid="$pid $p"
done
if [ -n "$pid" ]; then
echo $pid return 0
fi
fi
pidof -o $$ -o $PPID -o %PPID -x $1 || \
pidof -o $$ -o $PPID -o %PPID -x $base
}
status() {
local base=${1##*/}
local pid

# Test syntax.
if [ "$#" -eq 0 ] ; then
gprintf "Usage: status {program}\n"
return 1
fi

# First try "pidof"
pid=`pidof -o $$ -o $PPID -o %PPID -x $1 || \
pidof -o $$ -o $PPID -o %PPID -x ${base}`
if [ -n "$pid" ] ; then
gprintf "%s (pid %s) is running...\n" ${base} $pid
return 0
fi

# Next try "/var/run/*.pid" files
if [ -f /var/run/${base}.pid ] ; then
read pid < /var/run/${base}.pid
if [ -n "$pid" ] ; then
gprintf "%s dead but pid file exists\n" ${base}
return 1
fi
fi
# See if /var/lock/subsys/${base} exists
if [ -f /var/lock/subsys/${base} ]; then
gprintf "%s dead but subsys locked\n" ${base}
return 2
fi
gprintf "%s is stopped\n" ${base}
return 3
}
echo_success() {
[ "$BOOTUP" = "color" ] && $MOVE_TO_COL
echo -n "["
[ "$BOOTUP" = "color" ] && $SETCOLOR_SUCCESS
gprintf " OK "
[ "$BOOTUP" = "color" ] && $SETCOLOR_NORMAL
echo -n "]" echo -ne "\r" return 0 } echo_failure() { [ "$BOOTUP" = "color" ] && $MOVE_TO_COL echo -n "["
[ "$BOOTUP" = "color" ] && $SETCOLOR_FAILURE
gprintf "FAILED" [ "$BOOTUP" = "color" ] && $SETCOLOR_NORMAL
echo -n "]"
echo -ne "\r"
return 1
}
echo_passed() {
[ "$BOOTUP" = "color" ] && $MOVE_TO_COL
echo -n "[" [ "$BOOTUP" = "color" ] && $SETCOLOR_WARNING
gprintf "PASSED" [ "$BOOTUP" = "color" ] && $SETCOLOR_NORMAL
echo -n "]"
echo -ne "\r"
return 1
}
echo_warning() {
[ "$BOOTUP" = "color" ] && $MOVE_TO_COL
echo -n "["
[ "$BOOTUP" = "color" ] && $SETCOLOR_WARNING
gprintf "WARNING"
[ "$BOOTUP" = "color" ] && $SETCOLOR_NORMAL
echo -n "]"
echo -ne "\r"
return 1 }
# Log that something succeeded
success() {
gprintf_msg_rest "$@"
if [ -z "$IN_INITLOG" ]; then
initlog $INITLOG_ARGS -n $0 -s "$GPRINTF_MSG" -e 1
else
# silly hack to avoid EPIPE killing rc.sysinit
trap "" SIGPIPE
echo "$INITLOG_ARGS -n $0 -s \"$GPRINTF_MSG\" -e 1" >&21
trap - SIGPIPE
fi
[ "$BOOTUP" != "verbose" -a -z "$LSB" ] && echo_success
return 0
}

# Log that something failed
failure() {
rc=$?
gprintf_msg_rest "$@"
if [ -z "$IN_INITLOG" ]; then
initlog $INITLOG_ARGS -n $0 -s "$GPRINTF_MSG" -e 2
else
trap "" SIGPIPE
echo "$INITLOG_ARGS -n $0 -s \"$GPRINTF_MSG\" -e 2" >&21
trap - SIGPIPE
fi
[ "$BOOTUP" != "verbose" -a -z "$LSB" ] && echo_failure
return $rc
}

# Log that something passed, but may have had errors. Useful for fsck
passed() {
rc=$?
gprintf_msg_rest "$@"
if [ -z "$IN_INITLOG" ]; then
initlog $INITLOG_ARGS -n $0 -s "$GPRINTF_MSG" -e 1
else
trap "" SIGPIPE
echo "$INITLOG_ARGS -n $0 -s \"$GPRINTF_MSG\" -e 1" >&21
trap - SIGPIPE
fi
[ "$BOOTUP" != "verbose" ] && echo_passed
return $rc
}

# Run some action. Log its output.
action() {
gprintf_msg_rest "$@"
echo -n "$GPRINTF_MSG "

# libsafe support
if [ -r /etc/sysconfig/system ] && grep -q '^LIBSAFE=yes$' /etc/sysconfig/system && [ -r /lib/libsafe.so.2 ]; then
LD_PRELOAD=/lib/libsafe.so.2
export LD_PRELOAD
fi

initlog $INITLOG_ARGS -c "$GPRINTF_REST" && success "$GPRINTF_MSG" || failure "$GPRINTF_MSG"
rc=$?
echo
unset LD_PRELOAD
return $rc
}

# returns OK if $1 contains $2
strstr() {
#case "$1" in
# *${2}*) return 0 ;;
#esac
#return 1
[ "$1" = "$2" ] && return 0
slice=${1#*$2*}
[ "$slice" = "$1" ] && return 1
return 0
}

# Confirm whether we really want to run this service
confirm() {
gprintf "Start service %s (Y)es/(N)o/(C)ontinue? [Y] \n" $1
local YES=`gprintf "yY"`
local NOT=`gprintf "nN"`
local CNT=`gprintf "cC"`
read answer

if strstr "$YES" "$answer" || [ "$answer" = "" ] ; then
return 0
elif strstr "$CNT" "$answer" ; then
return 2
elif strstr "$NOT" "$answer" ; then
return 1
fi
confirm $*
}

initsplash() {
[[ -f /etc/sysconfig/bootsplash ]] && source /etc/sysconfig/bootsplash
[[ -n $SPLASH ]] && splash_rc=$SPLASH
[[ -n $THEME ]] && theme=$THEME
[[ -x /sbin/splash.sh ]] || splash_rc=no
if [[ -e /proc/splash ]]; then
grep -q off /proc/splash && splash_rc=no
else
splash_rc=no
fi
splash_cfg=/etc/bootsplash/

[[ $splash_rc != "no" && $splash_rc != "No" && $splash_rc != "NO" ]] && export splash_rc=yes
[[ -d $splash_cfg/themes ]] || splash_rc=
if [[ $splash_rc = "yes" && -n $theme ]];then
[[ ! -d $splash_cfg/themes/$theme ]] && theme=Mandrake
function box() { true; } # ignore box descriptions in the config file
tmpval=$LOGO_CONSOLE
if [ -f /etc/bootsplash/themes/$theme/config/bootsplash-`fbresolution`.cfg ]; then
. /etc/bootsplash/themes/$theme/config/bootsplash-`fbresolution`.cfg
fi

if [[ $tmpval != "theme" ]];then
LOGO_CONSOLE=$tmpval
fi
fi
if [[ -z "$1" ]]; then
set `/sbin/runlevel`
runlevel=$2
previous=$1
else
runlevel=5
previous=N
fi
nbservices=0
#
# for small dir, it is faster than echo /etc/rc$runlevel.d/* | wc -w
#
for i in /etc/rc$runlevel.d/*
do
a=$[nbservices++]
done
for i in /etc/rc$runlevel.d/*.rpm*
do
a=$[nbservices--]
done
a=$[nbservices++]
# this is the number of step in rc.sysinit, could be ajusted
[[ "$previous" = "N" ]] && nbservices=$(($nbservices+7)) && progress=6
export nbservices res progress text_x text_y text_color text_size splash_rc LOGO_CONSOLE
}

rc_splash() {
[[ "$splash_rc" = "yes" ]] || return
if [[ -n "$2" ]]; then
progress=$2
else
a=$[progress++]
fi
LANGUAGE=$LANGUAGE /sbin/splash.sh "$1"
}

#!/bin/bash
#
# sqlsyslogd This is a daemon that takes syslog-ng input and pipe it into
# a MySQL database.
#
# chkconfig: 2345 92 10
# description: sqlsyslogd bridges syslog-ng and mysql.
# author: Josh Kuo Thu 2004/08/12 13:21:56 PDT

. /etc/rc.d/init.d/functions

case "$1" in
start)
if [ -x /tmp/mysql.pipe ]; then
mkfifo /tmp/mysql.pipe
else
# if the service is already running, do not start another one
PIDS=`pidofproc mysql`
if [ "$PIDS" ]; then
gprintf "sqlsyslogd is already running.\n"
exit 1
fi
mysql -u DBUSERNAME --password=PASSWORD DBNAME < /tmp/mysql.pipe & fi ;; stop ) killproc mysql ;; *) gprintf "Usage: sqlsyslogd {start|stop}\n" exit 1; esac exit 0;

Example script for mobile HSDPA with "wvdialconf"

2010-05-22T15:17:00.003+07:00

This is an example for mobile HSDPA modem which use USB connection.

In this configuration, i use IndosatM2 as internet provider. And it used as a APN name. And will dial to *99# according to indosatm2 configuration.

####################################

[Dialer Defaults]

Init1 = ATZ

Init2 = ATQ0 V1 E1 S0=0 &C1 &D2 +FCLASS=0

Ask Password = 1

Phone = *99#

APN = indosatm2

Idle Seconds = 300

Modem Type = Analog Modem

Stupid Mode = 1

Compuserve = 0

Baud = 9600

Auto DNS = 1

Dial Command = ATDT

modem = /dev/ttyUSB0

ISDN = 0

Username = type your username here

#####################################

And you'll prompt to insert a password with no shown you for what character you input.

Let's look about OSI

2010-04-21T00:28:00.012+07:00

OSI (Open System Interconnection)
OSI adalah suatu dekripsi abstrak mengenai desain lapisan-lapisan komunikasi dan protokol jaringan komputer yang dikembangkan sebagai bagian dari inisiatif Open Systems Interconnection (OSI). Model ini disebut juga dengan model “Tujuh lapisan OSI” (OSI seven layer model).
Ketujuh lapisan dalam model ini adalah:
1. Lapisan fisik (physical layer)
Physical Layer berfungsi dalam pengiriman raw bit ke channel komunikasi. Masalah desain yang harus diperhatikan disini adalah memastikan bahwa bila satu sisi mengirim data 1 bit, data tersebut harus diterima oleh sisi lainnya sebagai 1 bit pula, dan bukan 0 bit. Pertanyaan yang timbul dalam hal ini adalah : berapa volt yang perlu digunakan untuk menyatakan nilai 1? dan berapa volt pula yang diperlukan untuk angka 0?. Diperlukan berapa mikrosekon suatu bit akan habis? Apakah transmisi dapat diproses secara simultan pada kedua arahnya? Berapa jumlah pin yang dimiliki jaringan dan apa kegunaan masing-masing pin? Secara umum masalah-masalah desain yang ditemukan di sini berhubungan secara mekanik, elektrik dan interface prosedural, dan media fisik yang berada di bawah physical layer.
2. Lapisan koneksi data (data link layer)
Tugas utama data link layer adalah sebagai fasilitas transmisi raw data dan mentransformasi data tersebut ke saluran yang bebas dari kesalahan transmisi. Sebelum diteruskan kenetwork layer, data link layer melaksanakan tugas ini dengan memungkinkan pengirim memecag-mecah data input menjadi sejumlah data frame (biasanya berjumlah ratusan atau ribuan byte). Kemudian data link layer mentransmisikan frame tersebut secara berurutan, dan memproses acknowledgement frame yang dikirim kembali oleh penerima. Karena physical layer menerima dan mengirim aliran bit tanpa mengindahkan arti atau arsitektur frame, maka tergantung pada data link layer-lah untuk membuat dan mengenali batas-batas frame itu. Hal ini bisa dilakukan dengan cara membubuhkan bit khusus ke awal dan akhir frame. Bila secara insidental pola-pola bit ini bisa ditemui pada data, maka diperlukan perhatian khusus untuk menyakinkan bahwa pola tersebut tidak secara salah dianggap sebagai batas-batas frame.
3. Lapisan jaringan (network layer)
Network layer berfungsi untuk pengendalian operasi subnet. Masalah desain yang penting adalah bagaimana caranya menentukan route pengiriman paket dari sumber ke tujuannya. Route dapat didasarkan pada table statik yang “dihubungkan ke” network. Route juga dapat ditentukan pada saat awal percakapan misalnya session terminal. Terakhir, route dapat juga sangat dinamik, dapat berbeda bagi setiap paketnya. Oleh karena itu, route pengiriman sebuah paket tergantung beban jaringan saat itu.
4. Lapisan transpor (transport layer)
Fungsi dasar transport layer adalah menerima data dari session layer, memecah data menjadi bagian-bagian yang lebih kecil bila perlu, meneruskan data ke network layer, dan menjamin bahwa semua potongan data tersebut bisa tiba di sisi lainnya dengan benar. Selain itu, semua hal tersebut harus dilaksanakan secara efisien, dan bertujuan dapat melindungi layer-layer bagian atas dari perubahan teknologi hardware yang tidak dapat dihindari.
Dalam keadaan normal, transport layer membuat koneksi jaringan yang berbeda bagi setiap koneksi transport yang diperlukan oleh session layer. Bila koneksi transport memerlukan throughput yang tinggi, maka transport layer dapat membuat koneksi jaringan yang banyak. Transport layer membagi-bagi pengiriman data ke sejumlah jaringan untuk meningkatkan throughput. Di lain pihak, bila pembuatan atau pemeliharaan koneksi jaringan cukup mahal, transport layer dapat menggabungkan beberapa koneksi transport ke koneksi jaringan yang sama. Hal tersebut dilakukan untuk membuat penggabungan ini tidak terlihat oleh session layer.
Transport layer juga menentukan jenis layanan untuk session layer, dan pada gilirannya jenis layanan bagi para pengguna jaringan. Jenis transport layer yang paling populer adalah saluran error-free point to point yang meneruskan pesan atau byte sesuai dengan urutan pengirimannya. Akan tetapi, terdapat pula jenis layanan transport lainnya. Layanan tersebut adalah transport pesan terisolasi yang tidak menjamin urutan pengiriman, dan membroadcast pesan-pesan ke sejumlah tujuan. Jenis layanan ditentukan pada saat koneksi dimulai.
5. Lapisan sesi (session layer)
Session layer mengijinkan para pengguna untuk menetapkan session dengan pengguna lainnya. Sebuah session selain memungkinkan transport data biasa, seperti yang dilakukan oleh transport layer, juga menyediakan layanan yang istimewa untuk aplikasi-aplikasi tertentu. Sebuah session digunakan untuk memungkinkan seseorang pengguna log ke remote timesharing system atau untuk memindahkan file dari satu mesin kemesin lainnya.
Sebuah layanan session layer adalah untuk melaksanakan pengendalian dialog. Session dapat memungkinkan lalu lintas bergerak dalam bentuk dua arah pada suatu saat, atau hanya satu arah saja. Jika pada satu saat lalu lintas hanya satu arah saja (analog dengan rel kereta api tunggal), session layer membantu untuk menentukan giliran yang berhak menggunakan saluran pada suatu saat.Layanan session di atas disebut manajemen token. Untuk sebagian protokol, adalah penting untuk memastikan bahwa kedua pihak yang bersangkutan tidak melakukan operasi pada saat yang sama. Untuk mengatur aktivitas ini, session layer menyediakan token-token yang dapat digilirkan. Hanya pihak yang memegang token yang diijinkan melakukan operasi kritis.
Layanan session lainnya adalah sinkronisasi. Ambil contoh yang dapat terjadi ketika mencoba transfer file yang berdurasi 2 jam dari mesin yang satu ke mesin lainnya dengan kemungkinan mempunyai selang waktu 1 jam antara dua crash yang dapat terjadi. Setelah masing-masing transfer dibatalkan, seluruh transfer mungkin perlu diulangi lagi dari awal, dan mungkin saja mengalami kegagalan lain. Untuk mengurangi kemungkinan terjadinya masalah ini, session layer dapat menyisipkan tanda tertentu ke aliran data. Karena itu bila terjadi crash, hanya data yang berada sesudah tanda tersebut yang akan ditransfer ulang.
6. Lapisan presentasi (presentation layer)
Pressentation layer melakukan fungsi-fungsi tertentu yang diminta untuk menjamin penemuan sebuah penyelesaian umum bagi masalah tertentu. Pressentation Layer tidak mengijinkan pengguna untuk menyelesaikan sendiri suatu masalah. Tidak seperti layer-layer di bawahnya yang hanya melakukan pemindahan bit dari satu tempat ke tempat lainnya, presentation layer memperhatikan syntax dan semantik informasi yang dikirimkan. Satu contoh layanan pressentation adalah encoding data. Kebanyakan pengguna tidak memindahkan string bit biner yang random. Para pengguna saling bertukar data sperti nama orang, tanggal, jumlah uang, dan tagihan. Item-item tersebut dinyatakan dalam bentuk string karakter, bilangan interger, bilangan floating point, struktur data yang dibentuk dari beberapa item yang lebih sederhana. Terdapat perbedaan antara satu komputer dengan komputer lainnya dalam memberi kode untuk menyatakan string karakter (misalnya, ASCII dan Unicode), integer (misalnya komplemen satu dan komplemen dua), dan sebagainya. Untuk memungkinkan dua buah komputer yang memiliki presentation yang berbeda untuk dapat berkomunikasi, struktur data yang akan dipertukarkan dapat dinyatakan dengan cara abstrak, sesuai dengan encoding standard yang akan digunakan “pada saluran”. Presentation layer mengatur data-struktur abstrak ini dan mengkonversi dari representation yang digunakan pada sebuah komputer menjadi representation standard jaringan, dan sebaliknya.
7. Lapisan aplikasi (application layer)
Application layer terdiri dari bermacam-macam protokol. Misalnya terdapat ratusan jenis terminal yang tidak kompatibel di seluruh dunia. Ambil keadaan dimana editor layar penuh yang diharapkan bekerja pada jaringan dengan bermacam-macam terminal, yang masing-masing memiliki layout layar yang berlainan, mempunyai cara urutan penekanan tombol yang berbeda untuk penyisipan dan penghapusan teks, memindahkan sensor dan sebagainya.

TCP/IP (singkatan dari Transmission Control Protocol/Internet Protocol)
Adalah standar komunikasi data yang digunakan oleh komunitas internet dalam proses tukar-menukar data dari satu komputer ke komputer lain di dalam jaringan Internet. Protokol ini tidaklah dapat berdiri sendiri, karena memang protokol ini berupa kumpulan protokol (protocol suite). Protokol ini juga merupakan protokol yang paling banyak digunakan saat ini. Data tersebut diimplementasikan dalam bentuk perangkat lunak (software) di sistem operasi. Istilah yang diberikan kepada perangkat lunak ini adalah TCP/IP stack. Protokol TCP/IP dikembangkan pada akhir dekade 1970-an hingga awal 1980-an sebagai sebuah protokol standar untuk menghubungkan komputer-komputer dan jaringan untuk membentuk sebuah jaringan yang luas (WAN). TCP/IP merupakan sebuah standar jaringan terbuka yang bersifat independen terhadap mekanisme transport jaringan fisik yang digunakan, sehingga dapat digunakan di mana saja. Protokol ini menggunakan skema pengalamatan yang sederhana yang disebut sebagai alamat IP (IP Address) yang mengizinkan hingga beberapa ratus juta komputer untuk dapat saling berhubungan satu sama lainnya di Internet. Protokol ini juga bersifat routable yang berarti protokol ini cocok untuk menghubungkan sistem-sistem berbeda (seperti Microsoft Windows dan keluarga UNIX) untuk membentuk jaringan yang heterogen. Protokol TCP/IP selalu berevolusi seiring dengan waktu, mengingat semakin banyaknya kebutuhan terhadap jaringan komputer dan Internet. Pengembangan ini dilakukan oleh beberapa badan, seperti halnya Internet Society (ISOC), Internet Architecture Board (IAB), dan Internet Engineering Task Force (IETF). Macam-macam protokol yang berjalan di atas TCP/IP, skema pengalamatan, dan konsep TCP/IP didefinisikan dalam dokumen yang disebut sebagai Request for Comments (RFC) yang dikeluarkan oleh IETF.
A. Sebutkan dan jelaskan aplikasi-aplikasi yang bekerja di aplikasi layer dan protocol-protocol yang bekerja di aplikasi layer?
Penyelesaian
Aplikasi Layer merupakan interface antara jaringan dan software aplikasi.
Contoh: Aplikasi yang bekerja pada aplikasi layer
Mozilla Firefox, Internet Explorer, Opera, Yahoo Messenger, Comfrog..dll
Contoh: Protocol yang bekerja pada aplikasi layer
1. HTTP (Hyper Text Transfer Protocol ) Protokol yang dipergunakan untuk mentransfer dokumen dan web dalam sebuah web browser, melalui www. HTTP juga merupakan protokol yang meminta dan menjawab antar klien dan server.
2. FTP (File Transfer Protokol) Protokol internet yang berjalam dalam layer aplikasi yang merupakan standar untuk mentransfer file komputer antar mesin-mesin dalam sebuat jaringan internet.
3. NFS (Network File system) Jaringan protokol yang memungkinkan pengguna di klien komputer untuk menngakses file melalui jaringan dengan cara yang sama dengan bagaiman penyimpanan lokal yang diaksesnya.
4. DNS (Domain Name System) Protokol yang digunakkan untuk memberikan suatu nama domain pada sebuah alamat IP agar lebih mudah diingat.
5. POP3 (Post Office Protocol) Protokol yang digunakan untuk mengambil mail dari suatu mail transfer agent yang akhirnya mail tersebut akan di dowbload kedalam jaringan local.
6. MIME (Multipurpose Internet Mail Exension) Protokol yang digunakan untuk mengirim file binary dalam bentuk teks.
7. SMB (Server Messange Block) Protokol yang digunakan untuk mentransfer server-server file ke DOS dan Windows.
8. NNTP (Network News Transfer Protocol) Protokol yang digunakan untuk menerima dan mengirim newsgroup.
9. DHCP (Dynamic Configuration Protocol) Layanan yang memberikan no IP kepada komputer yang meminta nya secara otomatis.

B. Jelaskan secara detail prinsip kerja FTP dan HTTP????
Jawab :
FTP (singkatan dari File Transfer Protocol) adalah sebuah protokol Internet yang berjalan di dalam lapisan aplikasi yang merupakan standar untuk pentransferan berkas (file) komputer antar mesin-mesin dalam sebuah internetwork.
FTP merupakan salah satu protokol Internet yang paling awal dikembangkan, dan masih digunakan hingga saat ini untuk melakukan pengunduhan (download) dan penggugahan (upload) berkas-berkas komputer antara klien FTP dan server FTP. Sebuah Klien FTP merupakan aplikasi yang dapat mengeluarkan perintah-perintah FTP ke sebuah server FTP, sementara server FTP adalah sebuah Windows Service atau daemon yang berjalan di atas sebuah komputer yang merespons perintah-perintah dari sebuah klien FTP. Perintah-perintah FTP dapat digunakan untuk mengubah direktori, mengubah modus transfer antara biner dan ASCII, menggugah berkas komputer ke server FTP, serta mengunduh berkas dari server FTP.
Sebuah server FTP diakses dengan menggunakan Universal Resource Identifier (URI) dengan menggunakan format ftp://namaserver. Klien FTP dapat menghubungi server FTP dengan membuka URI tersebut.
FTP menggunakan protokol Transmission Control Protocol (TCP) untuk komunikasi data antara klien dan server, sehingga di antara kedua komponen tersebut akan dibuatlah sebuah sesi komunikasi sebelum transfer data dimulai. Sebelum membuat koneksi, port TCP nomor 21 di sisi server akan "mendengarkan" percobaan koneksi dari sebuah klien FTP dan kemudian akan digunakan sebagai port pengatur (control port) untuk (1) membuat sebuah koneksi antara klien dan server, (2) untuk mengizinkan klien untuk mengirimkan sebuah perintah FTP kepada server dan juga (3) mengembalikan respons server ke perintah tersebut. Sekali koneksi kontrol telah dibuat, maka server akan mulai membuka port TCP nomor 20 untuk membentuk sebuah koneksi baru dengan klien untuk mentransfer data aktual yang sedang dipertukarkan saat melakukan pengunduhan dan penggugahan.
FTP hanya menggunakan metode autentikasi standar, yakni menggunakan username dan passwordenkripsi. Pengguna terdaftar dapat menggunakan username dan password-nya untuk mengakses, men-download, dan meng-upload berkas-berkas yang ia kehendaki. Umumnya, para pengguna terdaftar memiliki akses penuh terhadap beberapa direktori, sehingga mereka dapat membuat berkas, membuat direktori, dan bahkan menghapus berkas. Pengguna yang belum terdaftar dapat juga menggunakan metode anonymous login, yakni dengan menggunakan nama pengguna anonymous dan password yang diisi dengan menggunakan alamat e-mail. yang dikirim dalam bentuk tidak ter
HTTP (Hypertext Transfer Protocol, lebih sering terlihat sebagai http) adalah protokol yang dipergunakan untuk mentransfer dokumen dalam World Wide Web (WWW). Protokol ini adalah protokol ringan, tidak berstatus dan generik yang dapat dipergunakan berbagai macam tipe dokumen.
Pengembangan HTTP dikoordinasi oleh Konsorsium World Wide Web (W3C) dan grup bekerja Internet Engineering Task Force (IETF), bekerja dalam publikasi satu seri RFC, yang paling terkenal RFC 2616, yang menjelaskan HTTP/1.1, versi HTTP yang digunakan umum sekarang ini.
HTTP adalah sebuah protokol meminta/menjawab antara client dan server. Sebuh client HTTP seperti web browser, biasanya memulai permintaan dengan membuat hubungan TCP/IP ke port tertentu di tuan rumah yang jauh (biasanya port 80). Sebuah server HTTP yang mendengarkan di port tersebut menunggu client mengirim kode permintaan (request), seperti "GET / HTTP/1.1" (yang akan meminta halaman yang sudah ditentukan), diikuti dengan pesan MIME yang memiliki beberapa informasi kode kepala yang menjelaskan aspek dari permintaan tersebut, diikut dengan badan dari data tertentu. Beberapa kepala (header) juga bebas ditulis atau tidak, sementara lainnya (seperti tuan rumah) diperlukan oleh protokol HTTP/1.1. Begitu menerima kode permintaan (dan pesan, bila ada), server200 OK", dan sebuah pesan yang diminta, atau sebuah pesan error atau pesan lainnya. mengirim kembali kode jawaban, seperti "
C. Jelaskan secara detail prinsip kerja dari MUA, MTA, MDA????
Jawab:
MUA (Mail User Agent) menurut FOLDOC adalah sebuah program atau aplikasi yang digunakan oleh seorang pengguna komputer untuk menulis atau membuat suatu email serta digunakan untuk membacanya. MUA merupakan penghubung antara pengguna dan MTA. Sebetulnya ada banyak macam MUA yang bisa digunakan, diantaranya : Microsoft Outlook, Microsoft Outlook Express, Qualcomm Eudora, Netscape Messenger. Menurut FOLDOC (Free Online Dictionary of Computing) definisi dari
MTA (MessageTransfer Agent) adalah suatu program yang bertanggung jawab dalam hal pengiriman sebuah email ke suatu tujuan alamat. Program ini biasanya akan menjadi sebuah daemon dan membuka koneksi pada port 25 (smtp) yang digunakan sebagai penghubung antar MTA. Dalam beberapa hal, MTA juga merupakan kependekan dari Mail Transfer Agent. Sebenarnya ada banyak macam MTA yang bisa dijumpai di internet, di antaranya : sendmail, Qmail, Mercury, Microsoft Exchange Server dan Mdaemon.
MDA (Mail Delivery Agent) merupakan Local delivery pada user agent yang melakukan hubungan transfer data dengan Transfer Agent. bekerja sama dengan MTA untuk menangani pesan - pesan email yang datang untuk diletakkan sesuai pada mailbox user masing - masing.

D. Jelaskan secara detail DHCP-discover, DHCP-offer, DHCP-request, DHCP-acknowledge????
Jawab:
DHCP (Dynamic Host Configuration Protocol) merupakan protocol yang dipakai untuk memberikan IP secara dinamis kepada client yang tidak mempunyai nomor IP dan juga sebagai pengendali parameter bagi computer client, sehingga admin tidak perlu konfigurasi tiap computer. Format paket DHCP adalah ide dasar memberikan IP ke client, server harus ingat IP tersebut dan parameternya, yang dikirim bukan Cuma IP tapi juga parameter-parameter, jika client booting sedapatkan mungkin diberi IP yang sama.

E. Apa yang dimaksud dengan POINT TO POINT PROTOCOL????
Jawab:
Point-to-Point Protocol (sering disingkat menjadi PPP) adalah sebuah protokol enkapsulasi paket jaringan yang banyak digunakan pada wide area network (WAN). Protokol ini merupakan standar industri yang berjalan pada lapisan data-link dan dikembangkan pada awal tahun 1990-an sebagai respons terhadap masalah-masalah yang terjadi pada protokol Serial Line Internet Protocol (SLIP), yang hanya mendukungpengalamatan IP statis kepada para kliennya. Dibandingkan dengan pendahulunya (SLIP), PPP jauh lebih baik, mengingat kerja protokol ini lebih cepat, menawarkan koreksi kesalahan, dan negosiasi sesi secara dinamis tanpa adanya intervensi dari pengguna. Selain itu, protokol ini juga mendukung banyak protokol-protokol jaringan secara simultan. PPP didefinisikan pada RFC 1661 dan RFC 1662.
F. Apa yang dimaksud dengan GNUTELLA PROTOCOL ?
Jawab:
Gnutella Protocol merupakan sebuah protocol file sharing, dan popular pada tahu tahun sebelum 2007, yang digunakan file sharing sebanyak 40 %. Gnutella Protocol menggunakan lima paket data yang berbeda pada jaringan.
1. Ping : digunakan untuk menemukan host pada jaringan.
2. Pong : tanggapan dari ping, mencakup alamat layanan gnutella yang terhubung.
3. Query : mencari file.
4. Query Hint : membalas permintaan file.
5. Push : download permintaan dari servent firewall.

Karakteristik TCP dan UDP

2010-04-20T22:11:00.011+07:00

Kali ini kita akan membahas tentang TCP dan UDP. Pada bagian ini, kita akan membahas tentang karakteristik masing-masing dari TCP dan UDP. Dengan mengenal TCP dan UDP, kita dapat tahu kapan kita akan menempatkan suatu protokol yang tepat dalam implementasi jaringan.

1.Kapan menggunakan TCP dan UDP??

DNS menggunakan TCP dan UDP di port komputer 53 untuk melayani permintaan DNS. Nyaris semua permintaan DNS berisi permintaan UDP tunggal dari klien yang diikuti oleh jawaban UDP tunggal dari server. Dan pada saat kapan protocol TCP digunakan? Umumnya TCP dipergunakanhanya ketika ukuran data jawaban melebihi 512 byte, atau untuk pertukaran zona DNS zone transfer. DNS zone transfer adalah sebuah mekanisme untukmereplikasi DNS data dari satu DNS ke DNS server lain. Zone transfer digunakan pada saat kita ingin mereplikasi DNS data pada DNS server kita dalam upaya menghemat bandwidth, untuk meningkatkankecepatan terhadap suatu permintaaan atau untuk membuat DNS data selalu tersedia pada saat DNS server pada internet terputus.

TCP (Transmission Control Processor) Merupakan suatu protokol yang berada pada layer transport dalam model OSI/ Model DARPA. Yang berorientasi dapat diandalkan (reliable).

KARAKTERISTIK TCP :

Berorintasi sambung, yaitu sebelum ada komunikasi 2 host, 2 proses yang berada pada layer aplikasi harus negosiasi terlebih dahulu untuk membuat sesi koneksi.
Full-duplex: Untuk setiap host TCP, koneksi yang terjadi antara dua host terdiri atas dua buah jalur, yakni jalur keluar dan jalur masuk. Dengan menggunakan teknologi lapisan yang lebih rendah yang mendukung full-duplex, maka data pun dapat secara simultan diterima dan dikirim. Header TCP berisi nomor urut (TCP sequence number) dari data yang ditransmisikan dan sebuah acknowledgment dari data yang masuk.
Dapat diandalkan (reliable): Data yang dikirimkan ke sebuah koneksi TCP akan diurutkan dengan sebuah nomor urut paket dan akan mengharapkan paket positive acknowledgment dari penerima. Jika tidak ada paket Acknowledgment dari penerima, maka segmen TCP (protocol data unit dalam protokol TCP) akan ditransmisikan ulang. Pada pihak penerima, segmen-segmen duplikat akan diabaikan dan segmen-segmen yang datang tidak sesuai dengan urutannya akan diletakkan di belakang untuk mengurutkan segmen- segmen TCP. Untuk menjamin integritas setiap segmen TCP, TCP mengimplementasikan penghitungan TCP Checksum.
Byte stream: TCP melihat data yang dikirimkan dan diterima melalui dua jalur masuk dan jalur keluar TCP sebagai sebuah byte stream yang berdekatan (kontigu). Nomor urut TCP dan nomor acknowlegment dalam setiap header TCP didefinisikan juga dalam bentuk byte. Meski demikian, TCP tidak mengetahui batasan pesan-pesan di dalam byte stream TCP tersebut. Untuk melakukannya, hal ini diserahkan kepada protokol lapisan aplikasi (dalam DARPA Reference Model), yang harus menerjemahkan byte stream TCP ke dalam "bahasa" yang ia pahami.
Memiliki layanan flow control: Untuk mencegah data terlalu banyak dikirimkan pada satu waktu, yang akhirnya membuat "macet" jaringan internetwork IP, TCP mengimplementasikan layanan flow control yang dimiliki oleh pihak pengirim yang secara terus menerus memantau dan membatasi jumlah data yang dikirimkan pada satu waktu. Untuk mencegah pihak penerima untuk memperoleh data yang tidak dapat disangganya (buffer), TCP juga mengimplementasikan flow control dalam pihak penerima, yang mengindikasikan jumlah buffer yang masih tersedia dalam pihak penerima.
Melakukan segmentasi terhadap data yang datang dari lapisan aplikasi (dalam DARPA Reference Model) dan mengirimkan paket secara "one-to-one": hal ini karena memang TCP harus membuat sebuah sirkuit logis antara dua buah protokol lapisan aplikasi agar saling dapat berkomunikasi. TCP tidak menyediakan layanan pengiriman data secara one-to-many.

· Port TCP
Port TCP mampu mengindikasikan sebuah lokasi tertentu untuk menyampaikan segmen-segmen TCP yang dikirimkan yang diidentifikasi dengan TCP Port Number. Nomor-nomor di bawah angka 1024 merupakan port yang umum digunakan dan ditetapkan oleh IANA (Internet Assigned Number Authority). Tabel berikut ini menyebutkan beberapa port TCP yang telah umum digunakan.

UDP (User Diagram Protocol) ialah protokol lapisan transprot yang mendukung komunikasi tidak handal tanpa koneksi.

KARAKTERISTIK UDP :

Connectionless (tanpa koneksi): Pesan-pesan UDP akan dikirimkan tanpa harus dilakukan proses negosiasi koneksi antara dua host yang hendak berukar informasi.
Unreliable (tidak andal): Pesan-pesan UDP akan dikirimkan sebagai datagram tanpa adanya nomor urut atau pesan acknowledgment. Protokol lapisan aplikasi yang berjalan di atas UDP harus melakukan pemulihan terhadap pesan-pesan yang hilang selama transmisi. Umumnya, protokol lapisan aplikasi yang berjalan di atas UDP mengimplementasikan layanan keandalan mereka masing-masing, atau mengirim pesan secara periodik atau dengan menggunakan waktu yang telah didefinisikan.
UDP menyediakan mekanisme untuk mengirim pesan-pesan ke sebuah protokol lapisan aplikasi atau proses tertentu di dalam sebuah host dalam jaringan yang menggunakan TCP/IP. Header UDP berisi field Source Process Identification dan Destination Process Identification.
UDP menyediakan penghitungan checksum berukuran 16-bit terhadap keseluruhan pesan UDP.

UDP tidak menyediakan layanan-layanan antar-host berikut:

UDP tidak menyediakan mekanisme penyanggaan (buffering) dari data yang masuk ataupun data yang keluar. Tugas buffering merupakan tugas yang harus diimplementasikan oleh protokol lapisan aplikasi yang berjalan di atas UDP.
UDP tidak menyediakan mekanisme segmentasi data yang besar ke dalam segmen-segmen data, seperti yang terjadi dalam protokol TCP. Karena itulah, protokol lapisan aplikasi yang berjalan di atas UDP harus mengirimkan data yang berukuran kecil (tidak lebih besar dari nilai Maximum Transfer Unit/MTU) yang dimiliki oleh sebuah antarmuka di mana data tersebut dikirim. Karena, jika ukuran paket data yang dikirim lebih besar dibandingkan nilai MTU, paket data yang dikirimkan bisa saja terpecah menjadi beberapa fragmen yang akhirnya tidak jadi terkirim dengan benar.
UDP tidak menyediakan mekanisme flow-control, seperti yang dimiliki oleh TCP.

PENGGUNAAN UDP :
UDP sering digunakan dalam beberapa tugas berikut :

Protokol yang "ringan" (lightweight): Untuk menghemat sumber daya memori dan prosesor, beberapaprotokol lapisan aplikasi membutuhkan penggunaan protokol yang ringan yang dapat melakukan fungsi- fungsi spesifik dengan saling bertukar pesan. Contoh dari protokol yang ringan adalah fungsi query nama dalam protokol lapisan aplikasi Domain Name System.
Protokol lapisan aplikasi yang mengimplementasikan layanan keandalan: Jika protokol lapisan aplikasi menyediakan layanan transfer data yang andal, maka kebutuhan terhadap keandalan yang ditawarkan oleh TCP pun menjadi tidak ada. Contoh dari protokol seperti ini adalah Trivial File Transfer Protocol (TFTP) dan Network File System (NFS)
Protokol yang tidak membutuhkan keandalan. Contoh protokol ini adalah protokol Routing Information Protocol (RIP).
Transmisi broadcast: Karena UDP merupakan protokol yang tidak perlu membuat koneksi terlebih dahulu dengan sebuah host tertentu, maka transmisi broadcast pun dimungkinkan. Sebuah protokol lapisan aplikasi dapat mengirimkan paket data ke beberapa tujuan dengan menggunakan alamat multicast atau broadcast. Hal ini kontras dengan protokol TCP yang hanya dapat mengirimkan transmisi one-to-one. Contoh: query nama dalam protokol NetBIOS Name Service.

· PORT UDP

Seperti halnya TCP, UDP juga memiliki saluran untuk mengirimkan informasi antar host, yang disebut dengan UDP Port. Untuk menggunakan protokol UDP, sebuah aplikasi harus menyediakan alamat IP dan nomor UDP Port dari host yang dituju. Sebuah UDP port berfungsi sebagai sebuah multiplexed message queue, yang berarti bahwa UDP port tersebut dapat menerima beberapa pesan secara sekaligus. Setiap port diidentifikasi dengan nomor yang unik, seperti halnya TCP, tetapi meskipun begitu, UDP Port berbeda dengan TCP Port meskipun memiliki nomor port yang sama. Tabel di bawah ini mendaftarkan beberapa UDP port yang telah dikenal secara luas.

2. Jelaskan tentang IP v4 Header??
Internet Protocol version 4 (IPv4)

IPv4 adalah sebuah jenis pengalamatan jaringan yang digunakan di dalam protokol jaringan TCP/IP yang menggunakan protokol IP versi 4. Panjang totalnya adalah 32-bit, dan secara teoritis dapat mengalamati hingga 4 miliar host computer di seluruh dunia. Alamat IP versi 4 umumnya diekspresikan dalam notasi desimal bertitik (dotted-decimal notation), yang dibagi ke dalam empat buah oktet berukuran 8-bit. Karena setiap oktet berukuran 8-bit, maka nilainya berkisar antara 0 hingga 255 (meskipun begitu, terdapat beberapa pengecualian nilai). Contoh alamat IP versi 4 adalah 192.168.1.3

Format Pengalamatan IPv4 :

Dalam RFC 791, alamat IP versi 4 dibagi ke dalam beberapa kelas, dilihat dari oktet pertamanya, seperti terlihat pada tabel 2.1. Sebenarnya yang menjadi pembeda kelas IP versi 4 adalah pola biner yang terdapat dalam oktet pertama (utamanya adalah bit-bit awal / high-order bit), tapi untuk lebih mudah mengingatnya, akan lebih cepat diingat dengan menggunakan representasi desimal. Tabel di bawah ini Pengklasifikasian Alamat IPv4 Berdasarkan Oktet Pertama Setiap antarmuka jaringan yang menggunakan protokol TCP/IP harus diidentifikasikan dengan menggunakan sebuah alamat logis yang unik, yang disebut dengan alamat unicast (unicast address). Sebagai contoh, alamat unicast dapat ditetapkan ke sebuah host dengan antarmuka jaringan dengan teknologi Ethernet, yang memiliki alamat MAC sepanjang 48-bit. Alamat unicast inilah yang harus digunakan oleh semua host TCP/IP agar dapat saling terhubung. Komponen alamat ini terbagi menjadi dua jenis, yakni alamat host (host identifier) dan alamat jaringan (network identifier).

Alamat unicast menggunakan kelas A, B, dan C dari kelas-kelas alamat IP yang telah disebutkan sebelumnya Alamat IP Multicast (Multicast IP Address) adalah alamat yang digunakan untuk menyampaikan satu paket kepada banyak penerima. Dalam sebuah intranet yang memiliki alamat multicast IPv4, sebuah paket yang ditujukan ke sebuah alamat multicast akan diteruskan oleh router ke subjaringan di mana terdapat hosthost yang sedang berada dalam kondisi "listening" terhadap lalu lintas jaringan yang dikirimkan ke alamat multicast tersebut. Dengan cara ini, alamat multicast pun menjadi cara yang efisien untuk mengirimkan paket data dari satu sumber ke beberapa tujuan untuk beberapa jenis komunikasi. Alamat multicast didefinisikan dalam RFC 1112. Alamat-alamat multicast IPv4 didefinisikan dalam ruang alamat kelas D.

Format Paket IPv4 :

Paket-paket data dalam protokol IP dikirimkan dalam bentuk datagram. Sebuah datagram IP terdiri atas header IP dan muatan IP (payload). Header IP menyediakan dukungan untuk memetakan jaringan (routing), identifikasi muatan IP, ukuran header IP dan datagram IP, dukungan fragmentasi, dan juga IP Options. Sedangkan payload IP berisi informasi yang dikirimkan. Payload IP memiliki ukuran bervariasi, berkisar dari 8 byte hingga 65515 byte. Sebelum dikirimkan di dalam saluran jaringan, datagram IP akan "dibungkus" (encapsulation) dengan header protokol lapisan antarmuka jaringan dan trailer-nya, untuk membuat sebuah frame jaringan. Setiap datagram terdiri dari beberapa field yang memiliki fungsi tersendiri dan memiliki informasi yang berbeda – beda.

Header IP terdiri atas beberapa field sebagai berikut:

Version. Digunakan untuk mengindikasikan versi dari header IP yang digunakan
Internet Header Length. Digunakan untuk mengindikasikan ukuran header IP.
Type of Service. Field ini digunakan untuk menentukan kualitas transmisi dari sebuah datagram IP.
Total Length. Merupakan panjang total dari datagram IP, yang mencakup header IP dan muatannya.
Identification. Digunakan untuk mengidentifikasikan sebuah paket IP tertentu yang akan difragmentasi..
Flags. Berisi dua buah flag yang berisi apakah sebuah datagram IP mengalami fragmentasi atau tidak.

Bit 0 = reserved, diisi 0.
Bit 1 = bila 0 bisa difragmentasi, bila 1 tidak dapat difragmentasi.
Bit 1 = bila 0 fragmentasi berakhir, bila 1 ada fragmentasi lagi.

Fragment Offset. Digunakan untuk mengidentifikasikan offset di mana fragmen yang bersangkutan dimulai, dihitung dari permulaan muatan IP yang belum dipecah.
Time to Live. Digunakan untuk mengidentifikasikan berapa banyak saluran jaringan di mana sebuah datagram IP dapat berjalan-jalan sebelum sebuah router mengabaikan datagram tersebut.
Protocol. Digunakan untuk mengidentifikasikan jenis protokol lapisan yang lebih tinggi yang dikandung oleh muatan IP.
Header Checksum. Field ini berguna hanya untuk melakukan pengecekan
integritas terhadap header IP.
Source IP Address. Mengandung alamat IP dari sumber host yang mengirimkan datagram IP tersebut.
Destination IP Address. Mengandung alamat IP tujuan ke mana datagram IP tersebut akan disampaikan.

3. Jelaskan Protokol ARP??

Address Resolution Protocol disingkat ARP adalah sebuah protokol dalam TCP/IP Protocol Suite yang bertanggungjawab dalam melakukan resolusi alamat IP ke dalam alamat Media Access Control (MAC Address). ARP didefinisikan di dalam RFC 826.

Ketika sebuah aplikasi yang mendukung teknologi protokol jaringan TCP/IP mencoba untuk mengakses sebuah host TCP/IP dengan menggunakan alamat IP, maka alamat IP yang dimiliki oleh host yang dituju harus diterjemahkan terlebih dahulu ke dalam MAC Address agar frame-frame data dapat diteruskan ke tujuan dan diletakkan di atas media transmisi (kabel, radio, atau cahaya), setelah diproses terlebih dahulu oleh Network Interface Card (NIC). Hal ini dikarenakan NIC beroperasi dalam lapisan fisik dan lapisan data-link pada tujuh lapis model referensi OSI dan menggunakan alamat fisik daripada menggunakan alamat logis (seperti halnya alamat IP atau nama NetBIOS) untuk melakukan komunikasi data dalam jaringan, Jika memang alamat yang dituju berada di luar jaringan lokal, maka ARP akan mencoba untuk mendapatkan MAC address dari antarmuka router lokal yang menghubungkan jaringan lokal ke luar jaringan (di mana komputer yang dituju berada).

Database Clustering, High Availability, dan Load Balancing.

2010-01-15T13:44:00.000+07:00

High Availability didefinisikan sebagai kemampuan mempertahankan sekumpulan aplikasi bisnis, tersedia bagi user sepanjang waktu. Hal ini meliputi dari antisipasi / persiapan saat aliran listrik padam sampai kondisi bencana seperti kebakaran atau gempa bumi. Setiap critical system punya satu atau lebih redundant backup system. Konsep fault tolerance berhubungan dengan high availability pada aplikasi bisnis.

Clustering adalah penggunaan dua atau lebih komputer / node / server untuk sejumlah fungsi-fungsi yang sama. Jadi jika satu komputer mati, maka komputer yang lainnya dapat mengambil alih tugas komputer tersebut. Ide clustering mendukung konsep fault tolerance. Cluster juga dapat meningkatkan kemampuan kalkulasi/komputing/performance/dari sistem komputer sehingga mendukung konsep scalability. Dengan mengimplementasikan ide clustering, kita juga dapat sekaligus mengimplementasikan konsep high availability serta meningkatkan processing power.

Toleransi terhadap failure bergantung kepada dua hal;
1. Lokasi kegagalan; Dari dalam cluster atau dari luar.
2. Kemampuan aplikasinya sendiri dalam mengatasi kesalahan.

MySQL cluster adalah sistem database terdistribusi yang terdiri dari 3 komponen utama ;
1. MySQL server ( SQL node atau API node atau mysqld)
Untuk mendukung MySQL Cluster, MySQL harus dikonfigurasikan untuk menggunakan NDB storage engine. Hal ini bisa dilakukan dengan (pada saat build dari source) menggunakan parameter "--with-ndbcluster" pada script configure. Untuk bisa menggunakan engine tersebut, harus dipastikan sedikitnya satu "MGM" node sudah berjalan. Secara default, MySQL Server yang dikonfigurasi menggunakan engine NDB akan mencari MGM node pada localhost. Dan jika berada pada host lain perlu dispesifikasikan pada "my.cnf" atau command line.
2. Management Server (management node atau MGM node atau ndb_mgmd)
Istilah lainnya adalah cluster management server, dll.
3. Data node (NDB node atau ndbd)
Jika SQL node dijalankan pada host dimana terdapat data node, maka MySQL Server yang bersangkutan harus meng-enable "NDBCLUSTER: storage engine. Selanjutnya setiap proses seperti "create table" atau "alter table" oleh MySQL harus dijalankan setelah cluster dijalankan dan menggunakan engine ndbcluster atau ndb (Misalnya; "create table session (...) engine=ndbcluster;"), selain itu table-table juga harus mempunyai primary key.
4. Data access program (MySQL client, dll).

Untuk 3 komponen pertama, masing-masing daemon yang berjalan adalah:
- "mysqld" (misalnya dijalankan dengan "mysqld --ndbcluster --ndb-connectionstring),
- "ndb_mgmd" (Management server daemon), dan
- "ndbd" (node daemon).

Database yang menggunakan engine ndbcluster juga bisa mengimport data file dari database yang menggunakan engine lain seperti "myisam", misalnya ;
"mysqldump --add-drop-table "name table" > "nama_backup_file".sql
lalu tinggal substitute semua "engine/type=myisam" dengan "engine=ndbcluster".

Untuk setiap daemon terdapat program client yang terinstall secara default yaitu "mysql", "ndb_mgm" (management console)

Contoh:
=====================================================
[root@local bin]pwd

/root/mysqlcluster-63-master/install/mysql/bin

[root@local bin]# ./ndb_mgm -c "192.168.0.126:1186" -e "all status"

Connected to Management Server at: 192.168.0.126:1186

Node 2: started (mysql-5.1.30 ndb-6.3.20)

Node 3: started (mysql-5.1.30 ndb-6.3.20)

=====================================================

Konfigurasi SQL Node dan data Node dispesifikasikan pada "my.cnf" dan management node pada "config.ini".
Dari cluster management server di "dbase-LBal1", berikut ini spesifikasi ketiga node yang terhubung ke management server tersebut misalnya ;
1. "NDB" node: id=3 @dbase-1, id=4 @dbase-2 (not connected, terima koneksi dari dbase-2)
2. "MGM" node: id=1 @dbase-LBal1, id=2 @dbase-LBal2
3, "API" node: id=5 @dbase-1, id=6 @dbase-2, id=7 (not connected)

Untuk mengaktifkan "NDB" node pada "dbase-1" atau "dbase-2"

"service ndbd start"

Sedangkan untuk "API" node,

"service mysql start"

Konfigurasi "my.cnf" pada "dbase-1" dan "dbase-2"

/etc/my.cnf @dbase-1
+++++++++++++++++++++++++++++++++++++++++++++++++++++
[mysqld]
ndbcluster
# IP Address of the cluster management node
ndb-connectionstring=192.168.0.119, 192.168.0.120
[mysql_cluster]
ndb-connectstring=192.168.0.119, 192.168.0.120
+++++++++++++++++++++++++++++++++++++++++++++++++++++

/etc/my.cnf @dbase-2
+++++++++++++++++++++++++++++++++++++++++++++++++++++
[mysqld]
ndbcluster
# IP Address of the cluster management node
ndb-connectionstring=192.168.0.119, 192.168.0.120
[mysql_cluster]
ndb-connectstring=192.168.0.119, 192.168.0.120
+++++++++++++++++++++++++++++++++++++++++++++++++++++

Konfigurasi "config.ini" pada "dbase-LBal1" dan "dbase-LBal2"

"/var/lib/mysql-cluster/config.ini @dbase-LBal1"

Proses :

"/usr/sbin/ndb_mgmd -c localhost:1186 -f /var/lib/mysql-cluster/config.ini"
+++++++++++++++++++++++++++++++++++++++++++++++++++++
[NDBD DEFAULT]
NoOfReplicas=2
DataMemory=4000M
IndexMemory=500M
MaxNoOfOrderedIndexes=2048
MaxNoOfAttributes = 3000
[MYSQLD DEFAULT]
[NDB_MGMD DEFAULT]
[TCP DEFAULT]
# Sectionfor the cluster management node
[NDB_MGMD]
# IP Address of the management node (this system)
HostName=192.168.0.119
[NDB_MGMD]
# IP Address of the management node (this system)
HostName=192.168.0.120
# Section for the storage nodes
[NDBD]
# IP Address of the first storage node
HostName=192.168.0.121
[NDBD]
# IP Address of the second storage node
HostName=192.168.0.122
DataDir=/var/lib/mysql-cluster
# one [MYSQLD] per storage node
[MYSQLD]
[MYSQLD]
# one for restore process
[MYSQLD]
+++++++++++++++++++++++++++++++++++++++++++++++++++++

"/var/lib/mysql-cluster/config.ini @dbase-LBal2

Proses:

"/usr/sbin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini"
+++++++++++++++++++++++++++++++++++++++++++++++++++++
[NDBD DEFAULT]
NoOfReplicas=2
DataMemory=4000M
IndexMemory=500M
MaxNoOfOrderedIndexes=2048
MaxNoOfAttributes = 3000
[MYSQLD DEFAULT]
[NDB_MGMD DEFAULT]
[TCP DEFAULT]
# Sectionfor the cluster management node
[NDB_MGMD]
# IP Address of the management node (this system)
HostName=192.168.0.119
[NDB_MGMD]
# IP Address of the management node (this system)
HostName=192.168.0.120
# Section for the storage nodes
[NDBD]
# IP Address of the first storage node
HostName=192.168.0.121
[NDBD]
# IP Address of the second storage node
HostName=192.168.0.122
DataDir=/var/lib/mysql-cluster
# one [MYSQLD] per storage node
[MYSQLD]
[MYSQLD]
# one for restore process
[MYSQLD]
+++++++++++++++++++++++++++++++++++++++++++++++++++++

Proses backup harian dilakukan dari "dbase-LBal1"
=====================================================

[root@dbase-LBal1 ~]# crontab -l
0 0 * * * /root/automate/automate.sh

=====================================================

=====================================================
[root@dbase-LBal1 ~]# more /root/automate/automate.sh

+++++++++++++++++++++++++++++++++++++++++++++++++++++
#!/bin/sh
tgl='date'
echo "------------------------- [ $tgl ] ---------------------------" >>
root/automate.output.automate.log
/usr/bin/ndb_mgm << EOF >> /root/automate/output.automate.log 2>&1
show
start backup
show
quit
EOF
+++++++++++++++++++++++++++++++++++++++++++++++++++++

Hasil backup bisa disimpan di "/var/lib/mysql-cluster/BACKUP @dbase-1. Hal ini dikarenakan output dari management console menyatakan bahwa NDB id=4 (pada dbase-2) tidak terkoneksi, sehingga proses backup hanya dilakukan pada node 3 (db-1).
+++++++++++++++++++++++++++++++++++++++++++++++++++++

+++++++++++++++++++++++++++++++++++++++++++++++++++++

What is SSL ?

2010-01-02T23:18:00.001+07:00

SSL (Secure Sockets Layer) is the standard security technology for establishing an encrypted link between a web server and a browser. This link ensures that all data passed between the web server and browsers remain private and integral. SSL is an industry standard and is used by millions of websites in the protection of their online transactions with their customers.

To be able to create an SSL connection a web server requires an SSL Certificate. When you choose to activate SSL on your web server you will be prompted to complete a number of questions about the identity of your website and your company. Your web server then creates two cryptographic keys - a Private Key and a Public Key.

The Public Key does not need to be secret and is placed into a Certificate Signing Request (CSR) - a data file also containing your details. You should then submit the CSR. During the SSL Certificate application process, the Certification Authority will validate your details and issue an SSL Certificate containing your details and allowing you to use SSL. Your web server will match your issued SSL Certificate to your Private Key. Your web server will then be able to establish an encrypted link between the website and your customer's web browser.

The complexities of the SSL protocol remain invisible to your customers. Instead their browsers provide them with a key indicator to let them know they are currently protected by an SSL encrypted session - the lock icon in the lower right-hand corner, clicking on the lock icon displays your SSL Certificate and the details about it. All SSL Certificates are issued to either companies or legally accountable individuals.

Typically an SSL Certificate will contain your domain name, your company name, your address, your city, your state and your country. It will also contain the expiration date of the Certificate and details of the Certification Authority responsible for the issuance of the Certificate. When a browser connects to a secure site it will retrieve the site's SSL Certificate and check that it has not expired, it has been issued by a Certification Authority the browser trusts, and that it is being used by the website for which it has been issued. If it fails on any one of these checks the browser will display a warning to the end user letting them know that the site is not secured by SSL.

2010-01-02T23:15:00.000+07:00

"i-Video", Indosat Video. Adalah merupakan suatu layanan berbasis video untuk semua pelanggan dari Indosat Provider. Indosat adalah salah satu provider besar yang ada di Indonesia. Dengan layanan ini, memungkinkan pelanggan dapat melakukan interaksi dengan menggunakan video lewat media 3G.

Layanan i-video ini memiliki kekurangan dan kelebihan. Untuk kekurangannya, seperti ;
1. Masalah utamanya adalah belum meratanya coverage area yang mencakup tersedianya sinyal 3G. Saat ini, sinyal 3G
masih jauh lebih banyak dikuasai oleh provider
dari Telkomsel. Tentunya pelanggan tidak semua dapat menggunakan layanan ini. Misalnya, di daerah-daerah yang
bukan termasuk kota besar.
2. Saat ini, semua provider dari telekomunikasi masih membutuhkan register manual untuk dapat menggunakan 3G.

Semoga, provider-provider di indonesia dapat memperbaiki akan hal ini. Sehingga pelanggan yang awam, dapat secara langsung menggunakan layanan ini secara langsung. Tanpa harus perlu melakukan register 3G, dll.

Sedangkan bila dilihat kelebihannya ;
1. Layanan ini menggunakan aplikasi yang interaktif. Sehingga user dapat menggunakan layanan ini dengan mengikuti
petunjuk yang disampaikan oleh, host i-video.
2. Layanan i-video ini merupakan layanan pertama yang ada di Indonesia untuk soal menu interaktif.
3. Content yang ditawarkan sangat menyenangkan. Di isi dengan templates kartun yang lucu, dan cerita yang lucu. Untuk
greeting, kita dapat mengirimkan ucapan kepada teman, keluarga, rekan, dan pasangan dengan waktu yang dapat
ditentukan untuk jam dan tanggal. Misalnya, kita ingin mengirimkan video pribadi untuk ucapan selamat ulang tahun
kepada pasangan yang akan diberikan notifikasi lewat sms tepat pada jam 12 malam. Padahal, kita merekam video
pribadi tersebut mungkin pada saat siang.
4. GRATIS, Tentu siapa yang tidak ingin dengan kata gratis tersebut. Tetapi gratis disini adalah, gratis bagi penerima video
ucapan, dll untuk dapat melihat video yang dikirimkan kepadanya gratis untuk dilihat sebanyak 1 kali. Selebihnya,
menggunakan pulsa dengan tarif normal dari Indosat.
5. Untuk melakukan panggilan "video call" ke layanan tersebut, dikenakan tarif normal.

Menggunakan layanan ini sangat mudah. Kita hanya cukup melakukan panggilan video ("Video Call") ke nomer 636. Dan untuk melihat video yang dikirimkan kepada kita, kita dapat melakukan video call ke 637 untuk gratis 1 kali.

i-Video adalah suatu produk dari PT. Mantenboshi Creative Indonesia. Perusahaan tersebut bekerja sama dengan provider Indosat untuk dapat membuat suatu layanan yang dapat memberikan interaktif dengan cara baru di dunia 3G. Seperti kita tahu, indosat selalu mengembangkan inovasinya untuk dapat memberikan layanan yang dapat mengikuti kemajuan telekomunikasi dan kepuasaan pelanggannya. System dari i-Video tersebut dirancang oleh Maltech,inc. Merupakan salah satu perusahaan Jepang yang turut berperan besar, dalam pembuatan system i-Video tersebut. Kita tahu, Jepang adalah merupakan salah satu negara penemu dari teknologi 3G.

Bila melihat dari kualitas layanan ini, kita harapkan semua provider telekomunikasi di Indonesia dapat juga mengikuti trend seperti yang disediakan oleh Indosat.
Sehingga, manfaat adanya 3G dapat benar-benar kita gunakan setiap saat.
Bagaimana pun, kepuasaan pelanggan adalah hal yang terpenting dari yang penting..

HOWTO: Securing A Website With Client SSL Certificates

2010-01-02T23:14:00.000+07:00

Let's assume that you have an Apache webserver and a website that you want VERY finite access controls on. You could do it a number of ways, right?

You could craft a clever login page and use cookies, session IDs, etc.

You could use a simple authentication method like .htaccess.

Or, you could create a custom SSL certificate and give that certificate to very specific users that should have access to your site. In a perfect world, only these users could communicate with your site AND the connection would be secured via the magic of SSL.

I know what you're thinking.

"But Chief, what if someone STEALS your certificate?"

Hey, what if someone steals your car keys? :-)

I have always wanted a good how-to document on doing this, and reader 'Null' (who I must also point out is a heck of a nice guy, and a fun sort to hang out at Def Con with) came through big time.

Without further ado, here is Null's write-up on the subject. Enjoy! ~ Chief

Reader 'Null' writes:

Someone has been bugging me to write this up since I figured it out and figuring it out has been a thorn in my side for a couple years.

About a week ago, things just clicked and I figured it out.

This isn't authentication in the classical sense; you are just saying which SSL certificates (that you have signed) you would like to be able to access a particular site.

This is in no way a new thing; there is just little to no usable documentation on how to accomplish this. The impetus for finally tackling this problem was setting up an internal wiki for use at $work that we can control who will be able to see it since our department is privy to info that shouldn't be available to all.

The interesting thing here is that a few of us are road warriors and need access to everything from anywhere meaning IP based ACL's are out and plain authentication is easy to grab on the wire (well not really but it is safer to assume it is by default). The best of both worlds would be to use some sort of decent encryption combined with a filtering mechanism which will allow us to say who we like versus who we don't.

The solution is signed certificates under SSL (in this case Apache's mod_ssl) as the distinguished name of an SSL certificate is perfect for filtering and the SSL handshake is about as secure as you are going to get on the wild wild web (assuming the server and client keys are trusted and not self signed but more on that later).

I first tried this using FreeBSD for this though getting and installing packages for PHP+Apache+MySQL+Mediawiki was far too much inconsistency for me to handle. There were too many package based (too lazy to compile source in the ports tree) inconsistencies so I just gave up and went to my old faithful OpenBSD. This should also work on any other OS with mod_ssl but considering I wanted to setup a Mediawiki I had significant overhead.

There are a few steps needed to get this going.
They are:
1) Setup openssl for use in being a certificate authority.
2) Create a root certificate authority key.
3) Create a web server key signed by your certificate authority's key.
4) Setup apache.
5) Create client certificates.
6) Install client certificates on hosts.
7) Profit.

1)
This was pretty much hit and miss and I took info from all over the Internet. Unfortunately no one place gave me enough information to hang myself so I stole bits and pieces from each one until it worked. Get yourself a nice large caffeinated beverage... if you make mistakes you'll need the concentration and tenacity to work it out.

The very first thing to do here is to setup your openssl.cnf file (in OpenBSD /etc/ssl/openssl.cnf). Setup your root common name, organization and all that jazz. Don't skip this or use defaults since the distinguished name is our filtering mechanism.

Now we setup openssl to recognize us as the default certificate authority.

[ ca ]
default_ca = foo

Openssl will now look for a section called foo with the various knobs needed.
[ foo ]
dir = /etc/ssl/private
database = $dir/index.txt
serial = $dir/serial
private_key = $dir/ca.key
certificate = $dir/ca.crt
default_days = 3650
default_md = md5
new_certs_dir = $dir
policy = policy_match

After you've set the defaults and tuned the various other knobs to your liking you need to define the policy (specifically 'policy_match').
[ policy_match ]
countryName = match
stateOrProvinceName = match
organizationName = match
organizationalUnitName = match
commonName = supplied
emailAddress = optional

This just says that the country, state, organization and unit names must match if the certificate is valid. The commonName is supplied in the certificate you receive and email address on the certificate is optional. For my purposes here, this is enough as I'm going to allow anyone issued a key for my department access to the department wiki.

Because I'm lazy I chose 10 years as the default key validity period. You can choose this to be anything you want with the caveat is the longer the period the less work for you (and the less secure your keys are).

2)
Now OpenSSL knows about our CA (even though the keys haven't been generated or signed yet) so now we move on to creating the root Certificate Authority key.

new_ca.sh:
#!/bin/sh
# Generate the key.
openssl genrsa -out private/ca.key
# Generate a certificate request.
openssl req -new -key private/ca.key -out private/ca.csr
# Self signing key is bad... this could work with a third party signed key... registeryfly has them on for $16 but I'm too cheap lazy to get one on a lark.
# I'm also not 100% sure if any old certificate will work or if you have to buy a special one that you can sign with. I could investigate further but since this
# service will never see the light of an unencrypted Internet see the cheap and lazy remark.
# So self sign our root key.
openssl x509 -req -days 3650 -in private/ca.csr -signkey private/ca.key -out private/ca.crt
# Setup the first serial number for our keys... can be any 4 digit hex string... not sure if there are broader bounds but everything I've seen uses 4 digits.
echo FACE > private/serial
# Create the CA's key database.
touch private/index.txt
# Create a Certificate Revocation list for removing 'user certificates.'
openssl ca -gencrl -out /etc/ssl/private/ca.crl -crldays 7

This is your root certificate authority key. I would suggest giving it a nice strong password and not storing it on the webserver or network the webserver it is on (of course 99% of us will not heed that warning but hell for completion's sake it is healthy to mention).

3)
All this effort is useless if we don't have a web server so let's create a key and sign it with our CA's key.

new_server.sh:
# Create us a key. Don't bother putting a password on it since you will need it to start apache. If you have a better work around I'd love to hear it.
openssl genrsa -out private/apache.key
# Take our key and create a Certificate Signing Request for it.
openssl req -new -key apache.key -out apache.csr
# Sign this bastard key with our bastard CA key.
openssl ca -in private/apache.csr -cert private/ca.crt -keyfile private/ca.key -out private/apache.crt

4) Now we've got our CA and web server's key let's setup apache to deal with it, so let's get over the Apache SSL boiler plate.

< IfDefine SSL >
AddType application/x-x509-ca-cert .crt
AddType application/x-pkcs7-crl .crl
< /IfDefine>

< IfModule mod_ssl.c >
SSLPassPhraseDialog builtin
SSLSessionCache dbm:logs/ssl_scache
SSLSessionCacheTimeout 300
SSLMutex sem
SSLRandomSeed startup builtin
SSLRandomSeed connect builtin
SSLRandomSeed startup file:/dev/arandom 512
SSLLog logs/ssl_engine_log
SSLLogLevel info
< /IfModule >

Blah, ugly ugly stuff but once you understand it is not so bad.
Now let's setup the rest.

# Mon deus, I'm a lazy bastard.

< VirtualHost _default_:443 >
DocumentRoot /var/www/htdocs.ssl/
# ServerName must be the same as the CommonName given for the web server certificate.
ServerName foo.foo.net
ServerAdmin root@foo.net
ErrorLog logs/error_log
TransferLog logs/access_log
SSLEngine on
# Remember the apache certificate we created? Well let apache know we can use it.
SSLCertificateFile /etc/ssl/private/apache.crt
# Only necessary if the key is not supplied in ther certificate.
SSLCertificateKeyFile /etc/ssl/private/apache.key
# CA Validation!
# Remember only certificate is needed not the KEY.
SSLCACertificateFile /etc/ssl/private/ca.crt

# REQUIRE valid certificates from clients.
SSLVerifyClient require
# FakeBasicAuth... if cert is good, auth is granted.
SSLOptions +FakeBasicAuth +ExportCertData +CompatEnvVars
CustomLog logs/ssl_request_log \
"%t %h %{SSL_PROTOCOL}x %{SSL_CIPHER}x \"%r\" %b"

# Depth is 1 because our root is a self signed cert, increase for the number of certs in the chain (ie. >2 for purchased certificated that were not self signed).
SSLVerifyDepth 1

# Note we can change the rules for any Location, Directory, URL we wish.
# This is very flexible as we can allow some types of certificates in one place
# but not in others.
<Location /wiki>
# Let's also provide a list of the certificates we want to purposely deny.
SSLCARevocationFile /etc/ssl/private/ca.crl

# Time for the Authentication filtering mojo...
SSLRequire ( %{SSL_CIPHER} !~ m/^(EXP|NULL)-/ and %{SSL_CLIENT_S_DN_O} eq "Foo Net" and %{SSL_CLIENT_S_DN_OU } in {"Department of Department Creation"} )

This is kind of weird here so I'll break each of these down.
%{SSL_CIPHER} !~ m/^(EXP|NULL)-/ <--- Certificate must not be empty or expired.
%{SSL_CLIENT_S_DN_O} eq "Foo Net" <--- The organization string in the signed certificate's distinguished name must be "Foo Net"
%{SSL_CLIENT_S_DN_OU} in {"Department of Department Creation"} <-- The organizational unit string in the signed certificate's distinguished name must bee "Department of Department Creation"

The SSLRequire line states that this statement must evaluate to true if access will be granted. Note this is a chained and meaning all or nothing and since I'm only validating two parts of the certificate (because I'm lazy) we let OpenSSL deal with policy matches. This is terrible for the Internet so you should be checking the common names (ie. names of people you assigned certs to and setup a revocation list for then they are no longer welcome).

Start up apache (make sure to set httpd_flags="-DSSL" in /etc/rc.conf for OpenBSD) via apachectl startssl.
Check for errors and make sure the damned thing is running. You won't have access to https://server/wiki because the SSL conversation won't work (since you haven't a corresponding valid certificate in your browser yet).

5)
Now let's create some certificates for our clients/users/losers/friends/random folks...

new_user.sh:
#!/bin/sh
# The base of where our SSL stuff lives.
base="/etc/ssl/private"
# Were we would like to store keys... in this case we take the username given to us and store everything there.
mkdir -p $base/users/$1/

# Let's create us a key for this user... yeah not sure why people want to use DES3 but at least let's make us a nice big key.
openssl genrsa -des3 -out $base/users/$1/$1.key 1024
# Create a Certificate Signing Request for said key.
openssl req -new -key $base/users/$1/$1.key -out $base/users/$1/$1.csr
# Sign the key with our CA's key and cert and create the user's certificate out of it.
openssl ca -in $base/users/$1/$1.csr -cert $base/ca.crt -keyfile $base/ca.key -out $base/users/$1/$1.crt

# This is the tricky bit... convert the certificate into a form that most browsers will understand PKCS12 to be specific.
# The export password is the password used for the browser to extract the bits it needs and insert the key into the user's keychain.
# Take the same precaution with the export password that would take with any other password based authentication scheme.
openssl pkcs12 -export -clcerts -in $base/users/$1/$1.crt -inkey $base/users/$1/$1.key -out $base/users/$1/$1.p12

Wow now you have signed certificates whose distinguished names will match your CA and Web's keys.
Now you have to get these things to your clients to use them. As well keep in mind that the .p12 file for each user contains both the public and private keys so if your user doesn't keep that key safe and use a decent export password then this certificate is about as good as writing an all access password with a sharpie on a post-it for display in a public place.

On the inverse when you need to remove a certificate's access you can prematurely expire the certificate by adding it to the Certificate Revocation List

remove_user.sh
#!/bin/sh
# Revoke a certificate and update the CRL.
base=/etc/ssl/private
# Revoke a particular user's certificate.
openssl -revoke $base/$1/$1.pem
# Update the CRL with the new info from the database (ie. index.txt)
openssl ca -gencrl -out $base/ca.crl -crldays 7

6)
Send the username.p12 to clients. Don't bother sending the other bits. They are more useful to you should the user lose the thing.

FireFox Setup For Clients:
Go into preferences.
Advanced.
View Certificates.
Import.
Enter master password for FireFox (if you don't have one set one here otherwise stolen laptop = easy access).
Enter in the export password given to you by the dude who created your cert.
Hit OK like a mad man.

Go to site and it will ask you if you want to send the certificate in question (look at the distinguished name to make sure it matches what you expect it to).

Now you have access!

Safari Setup For Clients.
Open a shell.
open username.p12
Keychain access will open up and ask you what chain to import into... choose 'login' and enter export password.
Now safari should work!

7)
Now go talk and wiki with your encrypted cohorts in an encrypted fashion to all your hearts content.

I didn't go through each of the SSL user input steps since I figured this audience can figure it out. If not let me know and I'll be even more verbose on the topic.

It would be really nice to get this working with valid third party signed keys thereby making this safe for the Internet at large and thereby open to a setting up a private wiki/forum/whatever for a small group of friends (ie. SSLVerifyDepth >1). Self signed keys are bad; really bad; since they can be spoofed easily (ie generate a new self signed certificate and MITM the hell out of the site since one invalid certificate is as good as any other). Until someone has figured out of a nice paid certificate will work then please don't use this on the Internet at large... yeah cheap certs are still largely 'unsafe' but are leagues safer than free self signed ones.

On second thought I don't think this will be possible without an inordinate amount of money as I just realized most CA's would dissalow keys to sign others as then you wouldn't need to pay them after the first key.

If you need to know how to check to see if your key can sign others:
openssl x509 -in third_party_issued_key.pem -noout -text
Look for this:
X509v3 Basic Constraints: critical
CA:FALSE

CA:FALSE means no deal. We will have to live with our insecure self signed keys. So be wary and not use this stuff on the Internet at large (or at least for anything you truely care about).

With that given, my future work will have be to figure out a way to make this easier and less of a hackish mess. As well some time should be spent to make the SSLRequire statement check more of the fields in the distinguished name. More fields checked makes for slightly increased certainty.

You can make it even better by using htaccess info and the keys for a cheap/crappy two factor authentication. The biggest benefit on the Internet at large would be for corporate Intranet sites that restrict what users can see on the web server in question without having to give them new tokens, passwords, etc. Pretty flexible if you ask me.

2009-12-18T12:08:00.000+07:00

Did you ever got this error message, "Could not start the "application" Service service on Local Computer.

Error 1069 : The Service did not start due to a logon failure.”

I ever got this message when i try to start an application on windows server 2003 or NT.

I try to retype the password in "services" menu. But, it still did not work.

Now, i check the permission on file that refer to path that show in "services". And i set it to full access for everyone.

And then, i back to the "services" menu again, and starting this.

And it's working now.

This issue show, it cannot to access the file on windows services. It needs to make sure that the files is able to execute.

So if you got this message, try to register in Control Panel > Administrative > Services. And Type the password and start it after you put your password.