DNX Group

Sending file through UDP Socket

2011-12-01T14:50:00.001+08:00

Introduction

User Datagram Protocol or UDP is a simple protocol. This protocol is unreliable - when a data packet is sent, it cannot be not known if it will reach its destination or not. There is no acknowledgement, retransmission, or timeout. When multiple data is sent at once, the order which they arrive cannot be predicted. They might be out of order. The data that is sent with sequence 1,2,3 might be recieved as 2,3,1. So, sending files through UDP socket is a bit difficult.

Normally in a realtime game such as FPS, UDP protocol is used to send player location and behaviour. This data will be send continuously to provide a realtime player action to other player. But when the data is not arrived, the data will be skipped without retransmission so that the gameplay will be realtime, and not delayed. When sending files, a new protocol must be constructed as the file data must be sent completely. It cannot be skipped as it will corrupt the file.

About This Project
This is a simple project to demonstrate sending a file through UDP Socket. The code here might not perfect and may contains several flaws and bugs which might prevent the file from being sent perfectly.

Download Project file + Demo

UDP
To start this project, a simple UDP socket class must be constructed to assists sending and receiving data packet through UDP socket. This class will be named CSockUDP and will contain this method:

class CSockUDP
{
public:
 static int InitWinsock();
 static void DestroyWinsock();

 void SetCallback(cbDataRecieved fnRecieved);
 int CreateSocket(int nPort = 31313);

 void StartListen();
 void StopListen();

 bool SetServerAddress(char* szServer, int nPort);
 int SendData(LPVOID lpData, int nSize);
 int ResendData();
}

InitWinsock() and DestroyWinsock() is a call to WinsockAPI to initiates and stop the use of Winsock Dll. It must be called on very early when the program is started and on the very end before the program terminated.

A call to CreateSocket() will create a new UDP socket and assign it with a port number. Then, SetCallback() is called to set receive event function. StartListen() will create a new thread which will executes a loop code and listen for any incoming data. Other method is self explanation.

----

To send files through UDP socket, firstly a protocol must be constructed. Every data packet that is sent must have some sort of acknowledgement and identification so the receiver can understand what is it and what should it do. We can start by creating a data header followed by the data itself.

struct TUDPHeader
{
 char szID[3]; // 'IKH' - unique id
 DWORD dwCRC32; // Checksum of Data
 char type;  // eDataType
 int nLength; // Data length

 // Data (TUDPFileHeader/TUDPFileReply/TUDPFileTransfer)
};

Inside this header, szID is an identification. It will contain unique data, "IKH" in this case and send it to the receiver. When the receiver read the data and found that the first 3 bytes is equal to "IKH", it will continue read the packet but when it different, the packet will simply be skipped as it might come from other software that is also sending a data to the same port.

dwCRC32 will contain a data checksum (not including TUDPHeader). The sender will calculate the data checksum and fill dwCRC32 with it. When it arrives at destination, the receiver will calculate the data checksum again and compare it with dwCRC32. If the checksum calculated by receiver differ from what is sent by sender, it will indicates that the data is corrupted or altered before its reach its destination. If this happen, the receiver will request that the data must be sent back again.

type explains to the receiver what must it do with the data.

enum eDataType
{
 eDataTypeConnect,   // ping
 eDataTypeConnected,   // Reply if server got connect message
 eDataTypeResend,   // Corrupted data, request for resend
 eDataTypeQuit,    // Exit the program, client and server

 eDataTypeFileHeader,  // TUDPFileHeader
 eDataTypeFileTransfer,  // TUDPFileTransfer

 eDataTypeFileReplyAccept, // Accept the file send request
 eDataTypeFileReplyReject, // Denied the file send request
 eDataTypeFileReplyOK,  // Proceed to next stream
 eDataTypeFileReplyFinish // Finished transfer
};

Lastly inside this header (TUDPHeader), is nLength. nLength will tell how big is the data sent by sender. Without it, the receiver does not know when the data end.

----

When a file is being sent, a packet is constructed from TUDPHeader followed by TUDPFileHeader. It will send a file name followed by size of the file in bytes.

struct TUDPFileHeader
{
 char szFileName[128];
 int nFileSize;
};

After that, receiver will reply either to accept the file or reject it like we can see in eDataType, eDataTypeFileReplyAccept/eDataTypeFileReplyReject. If the file is accepted, the receiver will create a new file and the sender will immediately send the file data using TUDPFileTransfer which contain file offset, data size and the file data itself.

struct TUDPFileTransfer
{
 int nFileOffset;
 int nLength;
 char szData[2048];
};

The receiver then writes the newly created file with the data its received in TUDPFileTransfer until the file completed.

Example of sending data packet with TUDPHeader + TUDPFileHeader

Artikel ini juga boleh didapati dalam Bahasa Melayu: Klik disini

Menghantar file menggunakan Soket UDP

2011-11-27T07:34:00.001+08:00

Pengenalan

User Datagram Protocol atau UDP merupakan protokol yang ringkas. Protokol ini tidak boleh dipercayai - Apabila data dihantar, ia tidak dapat dipastikan sama ada data yang dihantar itu tadi sampai ataupun tidak. Pada protokol ini, tiada konsep pengakuan(acknowledgement), penghantaran semula(retransmission) ataupun masa tamat(timeout). Apabila data dihantar, kemungkinan data yang sampai tidak tersusun. Data dalam susunan 1,2,3 dihantar kemungkinan diterima dalam susunan 2,3,1. Oleh itu, penghantaran fail menggunakan protokol UDP adalah sedikit susah.

Biasanya dalam permainan komputer FPS, protokol UDP digunakan untuk menghantar lokasi dan aksi si pemain. Data-data ini akan dihantar berterusan kepada pemain lain. Namun, apabila data yang dihantar tidak sampai, ia akan dibiarkan tanpa dihantar semula agar permainan itu tidak kelihatan lewat atau lambat. Lain pula apabila menghantar fail, protokol baru perlu dibina diatas UDP bagi memastikan data yang dihantar lengkap dan mencukupi.

Tentang Projek Ini
Ini adalah satu projek ringkas untuk menunjukkan penghantaran fail melalui UDP. Kemungkinan kod-kod yang dipaparkan disini mempunyai ralat dan mungkin tidak dapat untuk menghantar fail dengan sempurna.

Download Fail Projek + Demo

UDP
Bagi memulakan projek ini, satu kelas ringkas bagi soket UDP perlu dihasilkan. Kelas ini dinamakan CSockUDP dan mempunyai method-method berikut:

class CSockUDP
{
public:
 static int InitWinsock();
 static void DestroyWinsock();

 void SetCallback(cbDataRecieved fnRecieved);
 int CreateSocket(int nPort = 31313);

 void StartListen();
 void StopListen();

 bool SetServerAddress(char* szServer, int nPort);
 int SendData(LPVOID lpData, int nSize);
 int ResendData();
}

Metod InitWinsock() dan DestroyWinsock() adalah panggilan ke WinsockAPI untuk memulakan penggunaan Winsock DLL dan menghentikannya. Ia perlu dipanggil awal semasa program baru berjalan dan juga sebelum program berakhir.

Panggilan kepada CreateSocket() akan membuat satu soket UDP dengan port yang ditetapkan. Selepas itu, metod SetCallback() perlu dipanggil untuk penerimaan data. StartListen() akan membina satu bebenang baru bagi melaksanakan satu fungsi gelung untuk memeriksa jika ada data masuk. Metod-metod yang lain jelas maksudnya dan rasanya tidak memerlukan penerangan.

----

Untuk menghantar fail melalui UDP, pertama sekali protokol untuk penghantaran fail perlu dibina. Setiap data yang dihantar mestilah mempunyai pengenalan supaya penerima faham apakah yang baru diterimanya itu dan apa yang perlu dibuat pada data yang baru diterimanya itu. Untuk itu kita akan membuat satu struktur bagi data header dengan disusuli oleh data yang hendak dihantar.

struct TUDPHeader
{
 char szID[3]; // 'IKH' - unique id
 DWORD dwCRC32; // Checksum of Data
 char type;  // eDataType
 int nLength; // Data length

 // Data (TUDPFileHeader/TUDPFileReply/TUDPFileTransfer)
};

Didalam header ini ada satu pengenalan, szID yang akan mempunyai data "IKH" untuk pengenalan kepada penerima. Jika paket yang diterimanya lain daripada "IKH" tadi, paket data tersebut akan terus diabaikan tanpa dibaca kerana kemungkinan ianya datang daripada software yang lain.

dwCRC32 akan diisi dengan checksum bagi keseluruhan data (tidak termasuk TUDPHeader). Penghantar akan mengira checksum bagi data-data yang akan dihantar dan dimasukkan kedalam dwCRC32. Penerima, setelah menerima paket akan mengira semula checksum bagi data dan membandingkan dengan dwCRC32 yang dihantar. Jika terdapat perbezaan, kemungkinan data yang dihantar korup atau rosak ataupun telah diubah. Penerima akan meminta data tersebut dihantar semula.

type fungsinya menjelaskan kepada penerima jenis data apakah yang dihantar.

enum eDataType
{
 eDataTypeConnect,   // ping
 eDataTypeConnected,   // Reply if server got connect message
 eDataTypeResend,   // Corrupted data, request for resend
 eDataTypeQuit,    // Exit the program, client and server

 eDataTypeFileHeader,  // TUDPFileHeader
 eDataTypeFileTransfer,  // TUDPFileTransfer

 eDataTypeFileReplyAccept, // Accept the file send request
 eDataTypeFileReplyReject, // Denied the file send request
 eDataTypeFileReplyOK,  // Proceed to next stream
 eDataTypeFileReplyFinish // Finished transfer
};

Kemudian, akhir sekali pada Header adalah nLength, yang akan memberitahu penerima berapa besar saiz data yang dihantar agar penerima tahu dimanakah data tersebut tamat.

----

Sewaktu fail hendak dihantar, satu paket data akan dibina menggunakan TUDPHeader diikuti dengan TUDPFileHeader. Ia akan menghantar nama fail diikuti dengan panjang fail tersebut dalam unit bytes.

struct TUDPFileHeader
{
 char szFileName[128];
 int nFileSize;
};

Setelah itu, penerima akan membalas sama ada untuk menerimanya atau tidak seperti yang boleh dilihat di eDataType, eDataTypeFileReplyAccept/eDataTypeFileReplyReject. Jika diterima, penerima akan membina satu fail dan penghantar akan terus menghantar fail tersebut menggunakan TUDPFileTransfer yang mengandungi offset, saiz data, dan data fail itu sendiri.

struct TUDPFileTransfer
{
 int nFileOffset;
 int nLength;
 char szData[2048];
};

Penerima pula akan menulis fail yang dibinanya tadi dengan data yang dibekalkan sehingga lengkap.

Contoh menghantar TUDPHeader + TUDPFileHeader

This article also available in English: Click Here

Sing with Songsmith

2011-11-17T23:40:00.001+08:00

Even sing alone? Ever thought about writing your own music? Most people never get a chance to try. But, Microsoft Research with their partners: Garritan, Plogue and PGMusic developed a computer applications, called Songsmith to help you created a fresh song complete with musical instrument.

Songsmith is an application that can help you to create your own song by just only singing. You will only needed to open the Songsmith, choose music style and press Record button, then sing any song you like. After that, pressing the Stop button will not only stop the recording, but it will automatically generate musical accompaniment to match your voice. Not just that, your song and musical accompaniment can be saved as audio format and can be played back for someone beloved such as your mother or you can save it to your MP3 player. :)

Interesting? You can download the application here: http://research.microsoft.com/en-us/um/redmond/projects/songsmith/download.html
Note: The free trial version can be used only for 6 hours.

Songsmith requires a Windows based Operating System and Microsoft .NET Framework 3.0 (for Windows XP only). You will needed a microphone too.

If you are more interested in how the application works, you can go to MySong project to read the research paper there. It was a collaboration of Dan Morris and Sumit Basu from Microsoft Reasearch with Ian Simon, from University of Washington.

Homepage: http://research.microsoft.com/en-us/um/redmond/projects/songsmith/index.html
Download Link: http://research.microsoft.com/en-us/um/redmond/projects/songsmith/download.html

Artikel ini juga terdapat dalam Bahasa Melayu

Bernyanyi bersama Songsmith

2011-11-17T22:41:00.001+08:00

Pernahkah anda menyanyi atau bersenandung sendirian? Pernah terfikir untuk menulis seni lagu anda sendiri? Kebanyakan orang tidak berpeluang untuk mencubanya. Namun, Microsoft Research dengan usahasama Garritan, Plogue serta PGMusic telah membangunkan applikasi komputer Songsmith bertujuan untuk anda mereka lagu lengkap dengan alatan muzik.

Songsmith adalah applikasi yang boleh membantu anda mencipta lagu dengan hanya merakam suara anda bernyanyi. Anda hanya perlu membuka applikasi Songsmith, pilih gaya muzik yang disukai dan klik butang rakam, kemudian nyanyilah apa-apa lagu yang anda suka. Selesai menyanyi, dengan hanya menekan butang Stop, Songsmith secara automatik akan mencipta iringan muzik serasi dengan suara nyanyian anda. Bukan setakat itu, nyanyian anda beserta iringan muzik yang baru dicipta boleh disimpan sebagai format audio dan boleh didendangkan kepada orang tersayang seperti ibu anda :)

Berminat? Anda boleh memuat turun percuma applikasi Songsmith di URL berikut: http://research.microsoft.com/en-us/um/redmond/projects/songsmith/download.html
Songsmith versi percuma hanya membenarkan penggunaan selama 6 jam.

Songsmith memerlukan sistem operasi Windows dan memerlukan Microsoft .NET Framework 3.0 (bagi Windows XP sahaja). Anda tidak memerlukan peranti tambahan selain daripada mikrofon.

Jika anda berminat untuk mengetahui bagaimana Songsmith berfungsi, anda boleh ke laman MySong project untuk membaca kertas penyelidikan hasil kerjasama Dan Morris dan Sumit Basu daripada Microsoft Reasearch serta Ian Simon, daripada University of Washington.

Homepage: http://research.microsoft.com/en-us/um/redmond/projects/songsmith/index.html
Download Link: http://research.microsoft.com/en-us/um/redmond/projects/songsmith/download.html

This article also available in English

Malaysia Creative Pitch

2011-11-17T11:15:00.000+08:00

Bersempena dengan Festival Filem Malaysia ke-24, Gabungan Persatuan Karyawan Filem Malaysia (Gafim dengan kerjasama Persatuan Penulis Skrin Malaysia (SWAM) buat pertama kalinya telah menganjurkan Malaysia Creative Pitch (MC Pitch) yang akan berlangsung di Kompleks Studio Merdeka, Perbadanan Kemajuan Filem Nasional (Finas), Hulu Klang, pada 17 November ini.

Program ini terbuka kepada sesiapa sahaja dan bertujuan untuk orang ramai memberi idea-idea kreatif dan bermutu kepada penerbit bagi tujuan untuk dikomersilkan. Dengan ini, secara tidak langsung akan membuka peluang kepada sesiapa sahaja untuk terlibat didalam bidang penerbitan.