banglaML

Feed-forward ANN - 4 (Encoder থেকে Decoder)

2020-05-14T19:49:00.002-07:00

আগের পোস্টের শেষে আমরা একটা ঝামেলায় পড়েছিলাম। আমাদের বানানো net1-কে initialize করতে গিয়ে দেখেছি, সেটা করা যায়নি। অথচ, NetTrain যে নেটটা বানিয়েছে, সেটা দিব্যি কাজ করছে। এর কারণ কি? Initialize করা যায় না, এমন নেটকে NetTrain train করালো কি করে? ব্যাপারটা বুঝতে গেলে net1 তৈরি করার সময় আমরা যে output টা পেয়েছি, তার সঙ্গে trained net, অর্থাৎ trnet1-এর output-এর পার্থক্য কি, দেখা দরকার।

দেখো, net1 এর input দেখাচ্ছে, ‘array’, আর trnet1-এর input, ‘vector (size: 4)’। আবার, net1 এর output, ‘vector (size: 3)’, আর trnet1-এর output, ‘class’। খুবই স্বাভাবিক! net1 তৈরি করার সময় তো আমরা input কি হবে তা নির্দেশ করিনি! Output যে একটা size – 3 vector হবে, সেটা SoftmaxLayer এর আগের layer-এর size দেখেই বোঝা যাচ্ছে। কিন্তু সেই সংখ্যাগুলো যে class নির্দেশ করবে, তা তো আমরা বলে দিইনি। সেটা না হয় আমরা করতে শিখবো একটু পরেই, কিন্তু NetTrain কি করে বুঝলো, যে input-টা একটা size – 4 vector হবে? বা, output হবে class? এর কারণ, তুমি যখন NetTrain কে training data দিয়ে train করতে বলেছো, তখনই data-র গঠন দেখে ও বুঝে নিয়েছে, input কি হবে, আর output-কেই বা কি করে পড়তে হবে। মোদ্দা কথা, Mathematica আমাদের মতো অন্যমনস্ক কাঁচা খেলোয়াড়দের ভুলগুলো নিজেই শুধরে নিয়েছে।

Tensor: যদি ঠিকভাবে একটা নেট তৈরি করার চেষ্টা করতে হয়, তবে তার আগে জানতে হবে, input আর output কিভাবে তৈরি করতে হয়। যেকোন artificial neural network, Tensor নিয়ে কাজ করে। Tensor কি না জানা থাকলে, Google করো। সামান্য ঝালাই করার দরকার থাকলে এই ভিডিওটা দেখে নাও:

বিভিন্ন রকম tensor-এর কিছু উদাহরণ:

Rank 0 Tensor (representation: scalar): 0.0
Rank 1 Tensor (representation: vector): {0.0, 1.0}
Rank 2 Tensor (representation: matrix): {{1., 2., 3.} , {3., 2., 1.}}
Rank $ n $ Tensor : {... {... {1., 2., 3.}...}...}

বিভিন্ন ধরণের input-কে আমরা নানাভাবে tensor-এর চেহারায় প্রকাশ করতে পারি। উদাহরণ? আমাদের নিজেদের উদাহরণেই, ফুলের 4 রকমের feature-এর একটা করে সমষ্টি রয়েছে, যাদের আমরা size-4 vector দিয়ে represent করতে পারি। যেকোন $ n $ dimension-এর coordinate system-এ কোন coordinate-কে প্রকাশ করা যেতে পারে একটা size-$ n $ vector দিয়ে।

যেকোন সাদা-কালো ছবিতে (gray-scale ছবি, black & white নয়; দ্বিতীয় ধরণের ছবিকে binary image বলে) প্রতি pixel এ রঙের পরিমাণ পুরোপুরি সাদা থেকে পুরোপুরি কালোর মধ্যে ঘোরাফেরা করে। ধবধবে সাদা বা কুচকুচে কালো, যেকোন একটাকে 1, আর অন্যটাকে 0 বললে বোঝাই যাচ্ছে যেকোন pixel-এর value 0 থেকে 1 কোন একটা real number হবে। এই পোস্টের একদম প্রথমে যে ছবিটা আছে, সেখানে দেখো একটা হাতে লেখা ইংরেজি 8 (অথবা বাংলা ৪)-এর ছবিতে সাদাকে 1 আর কালোকে 0 ধরে সব pixel এর একটা matrix বানানো হয়েছে। ব্যস্, এই representation-এ এই ছবিটা একটা Rank-2 tensor। নীচে আরও একটা উদাহরণ দেওয়া হলো:

আমরা আগের একটা পোস্টে জেনেছি, রঙিন ছবিকে নানারকম representation-এ প্রকাশ করা যায়, যেমন ‘RGB’ বা ‘HSV’। কম্পিউটারে যে পদ্ধতিতে কোন রঙিনকে প্রকাশ করে save করা হয়, তাকে তার color-space বলে (এই লেখার সময় অবধি, gray-scale-সহ Mathematica আট রকমের standard color-space চেনে আর প্রয়োজন পড়লে যেকোন user তার পছন্দমতো custom color-space বানিয়ে নিতে পারে)। উদাহরণ হিসেবে, ‘RGB’ color-space-এর একটা ছবিতে প্রতি pixel তৈরি হয় 3-টে সংখ্যা দিয়ে: $ \{ r, g, b\} $। নীচের উদাহরণে দেখো, আমরা এরকম বেশ কিছু color define করেছি এই তিনটে সংখ্যার নানা রকমফের দিয়ে, তারপর সেই রঙগুলো দিয়ে অনেকগুলো চাকতি তৈরি করেছি:

In[1]:= rgbcolors = {{1, 0, 0}, {0, 1, 0}, {0, 0, 1}, {1, 1, 0}, {0, 1, 1}, {1, 0, 1}, {0.1, 0.2, 0.1}};
In[2]:= Row[Graphics[{RGBColor@@#, Disk[ ]}] & /@ rgbcolors]
Out[2]:=

তাহলে বোঝা যাচ্ছে, একটা রঙিন ছবির RGB representation যেন আসলে তিনটে gray-scale ছবি, একটার ওপর একটা চাপানো। এদের একেকটাকে চলতি কথায় একেকটা color channel বলে। নীচের উদাহরণে একটা রঙিন ছবিকে প্রথমে তার তিনটে color channel-এ ভেঙে, তারপর তাদের order-টা নানারকমভাবে বদলে দিয়ে আবার মেশানো হয়েছে। ফলে আমরা অনেকরকম false-color ছবি তৈরি করতে পেরেছি:

In[3]:= labImage = Entity[ "DogBreed", "LabradorRetriever"][ EntityProperty[ "DogBreed", "Image"] ]
In[4]:= colsepLI = ColorSeparate[labImage]
In[5]:= MapThread[ImageMultiply, {colsepLI, {Red, Green, Blue}}]

In[6]:= Map[ColorCombine, Permutations[colsepLI]]

Out[3]:=

Out[4]:=

Out[5]:=

Out[6]:=

অতএব, একটা রঙিন ছবিকে আমরা একটা Rank-3 tensor হিসেবে প্রকাশ করতে পারি, যার প্রথম index-টা 1 থেকে 3 এর মধ্যে ঘোরাফেরা করে (RGB, HSV বা এমন কোন color-space, যাতে তিনটে অংশ আছে; “CMYK” (cyan, magenta, yellow, black) বা “RGBA” (red, green, blue, alpha) – এই ধরণের color-space-এর জন্যে প্রথম index-এর range হবে 1 থেকে 4)। সেটাই করা যাক তবে:

Mathematica-য় কোন tensor-এর rank জানতে ArrayDepth function-টা ব্যবহার করতে হবে। বেশ, নানারকম রঙচঙে উদাহরণের সাহায্যে বোঝা গেলো, নানারকমের data-কে কি করে tensor form-এ প্রকাশ করা যায়। কিন্তু তা কি আমাদের হাতে করে করতে হবে প্রতিবার training এর আগে? নাকি data-কে save করে রাখার সময়েই tensor form-এ save করতে হবে? সে তুমি করতেই পারো, কিন্তু তার থেকে অনেক সহজ উপায় আছে। আর NetTrain তোমার অজান্তে সেইরকমই একটা কাজ করছিলো।

NetEncoder আর NetDecoder: নেট বানানোর সময় প্রথমেই যে দু’খানা layer অপরিহার্য, তারা হলো input আর output layer। মনে করে দেখো, Feed-Forward ANN-2 পোস্টে আমরা যখন প্রথম linear layer বানিয়েছিলাম, তখন তার weight matrix-এর $ W_{i,j} $ element-টা ছিলো $ i $-তম neuron-এর $ j $-তম input-এর weight। Input layer-এর dimension যদি আমরা নেটকে বলে না দিই, তবে ও $ W $-র dimension জানবেই বা কি করে, আর তাকে initialize-ই বা করবে কি করে? ঠিক এই কারণে, আমাদের তৈরি net1-কে আমরা initialize করতে পারিনি। Output-এর ক্ষেত্রেও তা-ই। যদি বলে দিতাম, দেখো ভায়া, তোমায় আমি 4-টে সংখ্যা দেবো, তুমি তাদের একটা size-4 vector হিসেবে দেখো, আর label হিসেবে থাকবে 3-খানা class (ওই যে, setosa, versicolor আর virginica), যাদের একসাথে তুমি একটা size-3 vector হিসেবে দেখো (ঠিক ওই RGB vector-এর মতো: যে label-এ versicolor থাকবে, সেটা হবে {0., 1., 0.}, আবার যেখানে virginica থাকবে, সেটা হবে {0., 0., 1.} – এইরকম…), তাহলে প্রথম থেকেই আমাদের নেট জানতো, যে input-এ 3-টে সংখ্যা, আর output-এ একটা class থাকবে। যে function দিয়ে আমরা এই input/output $ \to $ tensor রূপান্তরটা করে ফেলতে পারি, তাদের বলে NetEncoder আর NetDecoder।

NetEncoder-এর কাজ হলো আমাদের ঠিক করে দেওয়া কোন এক বিশেষ ধরণের input নিয়ে তাকে উপযুক্ত কোন এক ধরণের tensor-এ বদলে ফেলা। এরা সাধারণ Mathematica function-এর মতোই কাজ করে, কিন্তু এদের বিশেষত্ব হলো, কোন net-এর “Input” option-এ এদের একজনকে বসিয়ে দিলে, training data-কে সেইমতো automatically বদলে ফেলে, যাতে সেই network নির্দ্বিধায় training শেষ করতে পারে। একটা উদাহরণ দেখো:

In[7]:= enc = NetEncoder[{"Image", {32, 32}, ColorSpace -> "RGB"}]
Out[7]:=

এখানে আমরা একটা encoder বানিয়েছি, যা কোন রঙিন ছবি পেলে, তাকে RGB color-space-এ ($ 32\times 32 $) মাপের 3-টে channel-এ ভেঙে ফেলে, ফলে, তৈরি হয় একটা Rank-3 tensor, যার dimension ($ 3\times 32\times 32 $)।

In[8]:= i = Entity[ "Species", "Species:FelisCatus" ] [ EntityProperty[ "Species", "Image" ] ]
In[9]:= ImageDimensions[ i ]
In[10]:= Dimensions[ enc[ i ] ]
In[11]:= ArrayPlot /@ enc[ i ]

Out[8]:=

Out[9]:= {150, 100}
Out[10]:= {3, 32, 32}
Out[11]:=

খেয়াল করো, আমরা আসল ছবির থেকে অনেক ছোট মাপের একটা tensor বানিয়েছি। এর ফলে যা যা compression করা দরকার, তা NetEncoder নিজেই করে নিয়েছে, আমাদের আর মাথাব্যাথা নেই।

Input থেকে tensor-এ encode যদি করা যায়, তবে tensor থেকে output decode-ও করতে পারা সম্ভব। সেটাই করে NetDecoder। মাঝে কোন net-এরও প্রয়োজন নেই, NetEncoder দিয়ে encode করা tensor-কে যদি সঠিকভাবে তৈরি করা NetDecoder-এর ওপর চাপিয়ে দাও, আগের ছবিই ফিরে পাবে (যদি না আগের উদাহরণের মতো compress করে থাকো, সেক্ষেত্রে compressed ছবিই পাবে)। এইরকম একটা উদাহারণ আজকের notebook-এর 3-নম্বর উদাহরণে দেওয়া আছে। এমন encoder-decoder-এর যুগলবন্দী আমরা আবার দেখবো AutoEncoder শেখার সময়।

কিন্তু আমাদের কাজে এই মুহূর্তে NetDecoder-এর যে বিশেষত্বটা সবথেকে বেশি প্রয়োজন, তা হলো output tensor-কে class-এর combination হিসেবে ভাবতে পারা। নীচের উদাহরণে দেখো, আমরা দু’রকম label দিয়ে দু’টো class তৈরি করে সেটা দিয়ে একটা decoder বানিয়েছি। এবার ওকে যেকোন একটা size-2 vector-এর ওপর চাপালেই ও ভাববে, এ তো দেখছি একটা vector, যার মাপ ঠিক আমার কাছে থাকা class-এর লিস্টের মাপের সমান, তাহলে বোধহয় এর এক একটা element (যদি numeric value হয়, তবেই) এক একটা class-এর probability বোঝাচ্ছে। সঙ্গে সঙ্গে ও যত নম্বর element-টা maximum, তত নম্বর class-টা output-এ বসিয়ে দেবে। শুধু তা-ই নয়, ওর কাছে চাইলে কোন class-এর কত probability, তাও চাইলে জিজ্ঞেস করে জেনে নেওয়া সম্ভব।

In[12]:= dec = NetDecoder[{"Class", {"dog", "cat"}}]
In[13]:= dec[{0.1, 0.9}]
In[14]:= dec[{0.1, 0.9}, "Probabilities"]

Out[12]:=

Out[13]:= cat
Out[14]:= <|"dog" -> 0.1, "cat" -> 0.9|>

বেশ, এই সমস্ত তথ্যসমৃদ্ধ হয়ে আমরা কি বুঝলাম? বুঝলাম, যে আমাদের তৈরি net1-এর সঙ্গে একটা করে encoder আর decoder যোগ করতে হত। তাহলেই, এই training নামক অদ্ভুত ঘটনার ওপর আমাদের কিছু নিয়ন্ত্রণ থাকতো, আর net-টাকে প্রথম থেকেই initialize করে আমরা তার ওপর নানা পরীক্ষা-নিরীক্ষা করতে পারতাম:

In[15]:= net2 = NetChain[{10, LogisticSigmoid, 3, SoftmaxLayer[ ]}, "Input" -> Length[{"Sepal Length", "Sepal Width", "Petal Length", "Petal Width"}], "Output" -> NetDecoder[{"Class", {"setosa", "versicolor", "virginica"}}]]
In[16]:= (NetInitialize@net2)[dataTest[[-1, 1]]]

Out[15]:=

Out[16]:= setosa

আজ এই পর্যন্তই। পরদিন আমরা জানবো training-এর হাল-হকিকৎ। অন্যান্য দিনের মতোই, সঙ্গের notebook-এ আরও নানারকম উদাহরণ করে দেখানো আছে, কিছু coding-tips-ও আছে। Aloha!

Feed-forward ANN - 3 (Data থেকে Training)

2020-05-10T12:39:00.001-07:00

আগের পোস্টে আমরা শিখেছি, কি করে একটা Artificial Neuron (AN) জুড়ে জুড়ে একটা fully connected বা linear layer বানানো যায়। তারপর তার ওপর চাপানো যায় activation function (AF), যা আমরা Mathematicaয় করি element-wise layer দিয়ে। এই ধরনের layer এর পর layer জুড়ে জুড়ে তৈরি করা যায় একটা fully connected artificial neural network, যেটা কিনা একটা feed-forward network ও বটে। এই নেটওয়ার্ক-এর একদিকে input দিলে, আর যেকোন random weight আর bias (bias সাধারণত 0 থাকে) দিয়ে নেটটা initialize করলে, আমরা একটা output পাই নেটের অন্যদিকে। আমরা এটাও ঠিক করেছি, যে একটা classification-এর কাজ করাবো একটা ANN বানিয়ে। তার জন্যে আমাদের দরকার একটা curated data সেট। আমাদের প্রথম প্র্যাক্টিসের জন্যে আমরা ব্যবহার করবো ‘Fisher’s Iris Data-set’।

অন্য কথা:

1920-র দশকের ব্রিটেনের এক বিকেল। লন্ডনের কিছু উত্তরে Rothamsted-এর এক কৃষিবিজ্ঞান গবেষণাগারে এক অঙ্কবিদ তাঁর জীববিজ্ঞানী বান্ধবীকে এক কাপ চা বানিয়ে এগিয়ে দিলেন। মহিলা নাক কুঁচকে সরাসরি প্রত্যাখ্যান করলেন সেই চায়ের কাপ। কারণ? চা-টা বানানোর সময় কাপে আগে চা ঢালা হয়েছিলো, পরে দুধ। সেটা ঠিক নিয়ম নয়। আগে দুধ দিয়ে পরে চা ঢালাই দস্তুর। মহিলা তাই ও-জিনিস খাবেন না। হতভম্ব mathematician পরিষ্কার বললেন, দুই-ই এক। স্বাদে কিছুই টের পাওয়া যায় না। শুরু হলো তর্ক। যোগ দিলেন রসায়নশাস্ত্রবিদ (যিনি আবার মহিলার ভবিষ্যত স্বামী)। তিনজনেই সিদ্ধান্তে উপনীত হলেন যে, পরীক্ষা প্রার্থনীয়। আট কাপ চা করে আনা হলো, চার কাপে দুধ আগে, চা পরে। অন্য চার কাপে তার উলটো। ততক্ষণে কিছু উৎসাহী দর্শকও জোগাড় হয়ে গেছে। সবার সামনে অঙ্কবিদকে হতবাক করে বান্ধবী প্রতিটি চায়ের কাপের সঠিক ক্রম বলে দিলেন ম্যাজিকের মতো।

ব্যাপার এখানেই শেষ হতে পারতো, কিন্তু লজ্জিত অঙ্কবিদের মাথা থেকে কিছুতেই বেরোচ্ছিলো না এই সম্ভাবনা – পুরোটাই যদি নেহাত কাকতালীয় ব্যাপার হয়? হিসেব নিকেশ শুরু হলো, আর কি কি ভাবে গোটা পরীক্ষাটা তৈরি করা যেতে পারতো, যাতে দৈবাৎ ঠিক উত্তর পাওয়ার সম্ভাবনা কমানো যায়? দিবারাত্রি এই একই বিষয়ের উপর গবেষণা চলতে লাগলো। যত ভাবলেন, জট ছাড়লো, আর পরিষ্কার হলো ধারণা। পুরো গবেষণার ফলাফল প্রকাশ করতে লাগলো দু’টো পুরো বই: Statistical Methods for Research Workers আর The Design of Experiments (দ্বিতীয় বইটার কিছু অংশ এখানে পাওয়া যাবে)। আজকের জগতের Frequentist statistical analysis-এর প্রায় সমস্ত গুরুত্বপূর্ণ ধারণার উৎস ওই বই। ভদ্রলোকের নাম Sir Ronald A. Fisher। আধুনিক statistics-এর জনক। আমাদের কাজের জন্যে প্রয়োজনীয় Iris dataset-এর প্রণেতা।

আজ আমরা জানি যে চা আর দুধের ক্রম আলাদা হলে আলাদা রাসায়নিক বিক্রিয়া হয় আর স্বাদে বেশ পার্থক্য হয়। অতএব, Muriel Bristol প্রতিবারই হয়তো ঠিক বলতে পারতেন। কিন্তু ওই বাজি যদি কেউ জিতে থাকে, তা মানবসভ্যতা। তবু, সতর্কবাণী - সকলেই ভুলে ভরা মানুষ আর সকলেই তার সময়ের সন্তান। এহেন মেধাবী মানুষটিও সারাজীবন Eugenics-এর মতো ফালতু ধারণার হয়ে লড়াই করেছেন। কিন্তু আজ থাক সে কথা। সঙ্গের গল্প আর তার আনুষঙ্গিক ঘটনাবলীর বিবরণ পাওয়া যাবে Royal Statistical Society-র এই পেপারে, আর এই মিষ্টি ব্লগ-পোস্টে।

Fisher’s Iris Data-set: স্কুলে জীবনবিজ্ঞানের ক্লাসে ‘ফুলের বিভিন্ন অংশ’ পড়ার সময় কখনো মনে হয়েছিলো, যে biology না পড়লেও এইসব জ্ঞান কখনো আবার কাজে লাগবে? আমার তো হয়নি। সে যাক গে, সঙ্গের ছবিগুলো থেকে ঝালিয়ে নাও, ফুলের sepal আর petal কারে কয়। তা, আমাদের এই data-set-এ Iris গোত্রের তিন প্রজাতির (Setosa, Versicolor, আর Virginica) ফুলের sepal আর petal-এর দৈর্ঘ্য আর প্রস্থ দেওয়া আছে। প্রতি প্রজাতির থেকে 50টা করে উদাহরণ আছে। বোঝাই যাচ্ছে, একই প্রজাতির নানা রকম ফুলেরও এই মাপগুলো সমান নয়। আমাদের প্রশ্ন, কোন একটা নতুন Iris ফুলের এই চাররকমের মাপ পেলে, ফুলটা কোন প্রজাতির, সেটা বোঝা কি আমাদের পক্ষে সম্ভব?

Interactive Version:--->

Mathematicaর যেকোন installation-এ আমাদের ব্যবহার করার জন্যে বেশকিছু data, সাজিয়ে-গুছিয়ে রাখা আছে। সেগুলো নানা বিষয়ের, নানা কাজের হতে পারে। সাধারণত, ExampleData functionটা ব্যবহার করে সেগুলো ব্যবহার করতে হয়। এ ছাড়াও, অনেক ধরনের data, যা মেশিনে লোড করা নেই, তা সরাসরি internet থেকে ডাউনলোড করা যায়। একবার ডাউনলোড করলেই সেটা মেশিনের Mathematica installation-এ থেকে যাবে। এটা করা হয় ResourceObject ব্যবহার করে (আশ্চর্য ব্যাপার হলো, পোস্ট লেখার সময়, Wolfram Data Repository তে, অর্থাৎ ResourceObject যেখান থেকে data নামায়, Iris dataয় একটা ভয়ানক ভুল আছে। 4 রকমের input: PetalLength, PetalWidth, SepalWidth, আর SepalLength এর মধ্যে PetalWidthটা বেমালুম নেই। Feedback দিয়েছি। ঠিক করেছে দেখতে পেলে পোস্টে কমেন্ট কোরো। সেক্ষেত্রে এই অংশের লেখাটা সরিয়ে দেব)। আমাদের data শুরু থেকেই যেহেতু মেশিনে আছে, তাই এইভাবে সেটা ডাকবো:

In[1]:= obj = ExampleData[{"MachineLearning", "FisherIris"}]
Out[1]:= Fisher's iris data.

সঙ্গের notebook-এ এই dataset নিয়ে নেড়েঘেঁটে দেখা আর ব্যবহার করার সবিস্তার উদাহরণ দেওয়া আছে। Stratified sampling করে পুরো data-কে 70% - 30% এ ভাগ করা হয়েছে আর তাদের যথাক্রমে Training আর Test Data বলা হয়েছে। কিছু উপরের gif –এ দেখো, বিভিন্ন feature এর scatter-plot দেওয়া আছে, সব species এর জন্যে। তার পরের ছবিতে সেই feature গুলোর mean দেওয়া আছে, তুলনামূলক চার্টে। এই data কেমন দেখতে, তা জানার জন্যে, Training Data থেকে 5 sample randomly তুলে আনা যাক:

In[2]:= dataE = ExampleData[{"MachineLearning", "FisherIris"}, "TrainingData"];
In[3]:= RandomSample[dataE, 5]
Out[3]:= {{6.3, 2.8, 5.1, 1.5} -> virginica, {6.4, 3.1, 5.5, 1.8} -> virginica, {6.3, 2.3, 4.4, 1.3} -> versicolor, {5.5, 2.5, 4., 1.3} -> versicolor, {4.4, 3.2, 1.3, 0.2} -> setosa}

তাহলে বোঝা গেলো, প্রতিটি data-point আসলে একটা 4-length Vector, আর তার label (যা ব্যবহার করে training হবে) হলো একটা string, যা species-এর নাম বোঝায়। বেশ, তবে আগের জ্ঞান কাজে লাগিয়ে একটা ANN বানিয়ে ফেলা যাক? ছোট্ট dataset, features আর class-এর সংখ্যাও বেশি না – একটা খুব ছোট নেটওয়ার্কই এর জন্যে যথেষ্ট (network বানানোর বিশদ – পরে আলোচনা হবে) – প্রথমে একটা 10-neuron এর linear layer, একটা activation layer (আপাতত একটা Sigmoid), তারপর একটা 3-neuron এর layer, প্রতি species-এর জন্যে একটা:

In[4]:= net1 = NetChain[{10, LogisticSigmoid, 3, SoftmaxLayer[]}]
Out[4]:=

কিন্তু দাঁড়াও! সবার শেষে ওই SoftmaxLayer-টা আবার কোথা থেকে এলো? মাথায় রাখা দরকার, আমরা classify করতে বসেছি, আর LinearLayer-এর output হবে কতগুলো সংখ্যা, যাদের value, $ W $ আর $ B $ এর ওপর নির্ভর করে যা ইচ্ছে হতে পারে। এই সংখ্যাটা যে ক্লাসের সবচেয়ে বেশি হবে, আমাদের input-এর সেই ক্লাসে থাকার probability সবচেয়ে বেশি, তাই না? তার জন্যে সংখ্যাগুলোর মধ্যে যেটা সবথেকে বেশি, সেটা বাছলেই হলো। কিন্তু না, আমাদের দরকার ওই সংখ্যাগুলোকে probability-র চেহারা দেওয়া, যাতে একেকটা output দেখে আমরা জানতে পারি, বসানো input-এর কোন class-এ (এক্ষেত্রে species) থাকার probability কত। Softmax function, যাকে normalized exponential function-ও বলা হয়, কি করে? যেকোন $ K $ সংখ্যক input $ x_i $ পেলে (তারা $ < 0 $, $ > 1 $ – যা ইচ্ছে হতে পারে, আর তাদের যোগফল 1 না-ও হতে পারে, যেমন কিনা probability হলে হওয়ার কথা) তাদের দিয়ে একটা probability distribution বানায়, যাতে প্রত্যেক output, 0 থেকে 1 এর মধ্যে থাকে, আর তাদের যোগফল ঠিক 1 হয়। এইভাবে:

\[ S(\vec{x})_i = \frac{e^{x_i}}{\sum_{i=1}^K e^{x_i}} ~~~\forall x_i \in \mathbb{R}^K \]

এইরকম নামের কারণ আর কিছুই না। যে computer function দিয়ে কোন একটা mathematical function কোথায় maximum তা খুঁজে বের করা হয়, তার নাম argmax, আর এটা, তার ‘soft’, probabilistic ভার্সন। বোঝা গেলো, এবার তবে আর টালবাহানা না করে training করানো যাক। এটা করে NetTrain। আপাতত এটুকু জানলেই চলবে, যে training করতে NetTrain-এর লাগবে একটা training dataset আর একটা নেটওয়ার্ক। দুই-ই আছে আমাদের কাছে:

In[5]:= trnet1 = NetTrain[net1, dataE]
Out[5]:=

Output-এর প্রথম gif-টা হলো তুমি training চালালে যা দেখতে পাবে। Operating System (OS), CPU speed, Mathematica Version – এ সবের ওপর নির্ভর করে এগুলো বেশ আলাদা হতে পারে, কিন্তু একটা Windows-X মেশিনে Mathematica 12.1 চালালে কমবেশি এটাই দেখতে পাওয়ার কথা। অনেক ঘটনা ঘটছে আর অনেক অজানা নাম দেখে ভয় পাওয়ার কারণ নেই – এ সবই আমরা ধীরে ধীরে বুঝবো। পরের ছবিটা হলো training শেষ হওয়ার পর তুমি যা দেখতে পাবে। এটা তোমার নেটওয়ার্কটার-ই চেহারা, কিন্তু এখন trnet1 একটা ‘trained’ network, যাকে যেকোন Iris ফুলের 4 রকম feature দিয়ে দিলে উত্তরে তার species এর নামটা বেরিয়ে আসার কথা। dataE-এর থেকে যেকোন একটা উদাহরণ নিয়ে তার ওপর চালিয়ে দেখো, তোমার জানা উত্তরের সঙ্গে নেটের output মিলছে কি না…

কখনো কখনো না-ও মিলতে পারে – আমরা তো জানি-ই, যে মেশিনের accuracy 100% নয়। কিন্তু, তা-ও, যে data দিয়ে train করলাম, তার ওপরেই চালিয়ে দেখবো? কেমন গঙ্গাজলে গঙ্গাপুজো হয়ে যাচ্ছে না? তার-ও সমাধান আছে। ওই যে, dataset-এর মধ্যে test data একটা সেট জমা করা আছে, সেটা তো training data-র থেকে আলাদা, আর তোমার নেটও সে-সব আগে দেখেনি। তাহলে তার থেকেই কিছু নিয়ে চালিয়ে দেখো। মজা বাকি আছে। আগের পোস্টের শেষে ‘কেমন?’ অংশে আমরা জেনেছিলাম না, মেশিন classification-এর পরীক্ষায় কত ভালভাবে পাশ করলো, জানা দরকার? তার জন্যে অঢেল পরীক্ষার একসঙ্গে ব্যবস্থা করা আছে ClassifierMeasurements নামের একটা function-এ। এ নিয়ে আমাদের পরে অনেক তলিয়ে জানতে হবে, কিন্তু আপাতত আমরা শুধু জানতে চাই, আমাদের নেটের accuracy কত – অর্থাৎ, শতকরা কতগুলো উদাহরণকে ও ঠিকভাবে classify করতে পারে। সে জন্যে ClassifierMeasurements কে পুরো test dataset-এর ওপর একেবারে চালিয়ে নেওয়া যাক:

In[6]:= dataTest = ExampleData[{"MachineLearning", "FisherIris"}, "TestData"];
In[7]:= ClassifierMeasurements[trnet1, dataTest, "Accuracy"]
Out[7]:= 0.977778

এই শেষ বারের মতো বলছি, আর বলবো না – এই উত্তরটা আমার নিজের মেশিনের। এ সব ক্ষেত্রে তোমার উত্তর আলাদা আসতেই পারে, ঘাবড়ানোর কিছু নেই। তাহলে আমাদের নেটের accuracy দাঁড়ালো ~ 97.78%। বেশ ভাল! আরও মজার কথা, Mathematica-র নিজের automated classification-এর জন্যে যে ‘Classify’ function-টা আছে, এই dataset-এ তার accuracy-ও এটাই!

‘net1’ আমাদের untrained net, আর ‘trnet1’ হলো তার training এর পরের চেহারা। আমরা আগেই জেনেছি, fully-connected বা linear layer বানানোর পরে, তাকে initialize করা যায়। net1-এর ওপর NetInitialize চাপিয়ে দেখো, output আসবে - ‘$Failed’। সঙ্গে error message –

In[6]:= NetInitialize@net1

NetInitialize::nninit: Cannot initialize net: unspecified or partially specified shape for array "Weights" of first layer.

Out[8]:= $Failed

কি হলো ব্যাপারটা? Initialize-ই যদি না হবে, NetTrain তবে training করালো কি করে? আরও আছে – আমাদের নেটের output যে একটা probabilistic number distribution, সে তো আমরা দেখতেই পেয়েছি। কিন্তু তারা তো label (যাতে species-এর নাম আছে) নয়! তাহলে, trnet1 কোন 4-length vector এর ওপর চাপালে label string-এ উত্তর আসছে কি করে? তাছাড়া, network-এর width (layer-এ neuron-এর সংখ্যা) আর depth (layer-এর সংখ্যা) বদলালে accuracy কিভাবে বদলায়? সেটা ঠিকই বা করবো কি করে? আর সব্বার থেকে বড় প্রশ্ন, এই অদ্ভুতুড়ে ‘training’-এর সময় ঠিক হচ্ছেটা কি?

আমরা আসলে সবে frozen pizza গরম করে খেতে শিখেছি। Pizza কি করে বানাতে হয়, এবার তা শিখতে হবে। ক্রমশ…

Feed-forward ANN - 2 (Artificial Neuron থেকে Fully Connected Network)

2020-05-03T07:30:00.004-07:00

আজকের পোস্টের সঙ্গে যে notebookটা আছে, তার কিছু অংশের অনুপ্রেরণা Sebastian Bodenstein এর October 2015 এর talk আর Tuseeta Banerjeeর নিউরাল নেটওয়ার্ক নিয়ে notebook।
আগের পোস্টে আমরা শিখেছি, কি করে একটা Artificial Neuron (AN) বানানো যায়। আমরা ভাবতেই পারি, যে AN এর তিনটে অংশ: Inputs, Output, আর Activation Function (AF)। Input যদিও অনেকরকম হতে পারে, কিন্তু আমরা এখনো অবধি যেকোন vector $ \{x_1, x_2, x_3, \ldots\} $ কে input হিসেবে ব্যবহার করতে শিখেছি। এরপর ভাবতে পারি, AN এর output হলো: $ \vec{w}\cdot\vec{x} + b $। AF এর কাজ হলো এর ওপর একটা function চাপিয়ে দেওয়া, যাতে output টা বদলে গিয়ে হয়: $ f_0\left( \vec{w}\cdot\vec{x} + b \right) $।

AF কে আপাতত যদি সরিয়ে রাখি, তাহলে আমাদের AN কে নির্দেশ করার জন্যে শুধু $ \vec{w} $ আর $ b $-ই যথেষ্ট, তাই না? বেশ। আমরা এর আগে অল্প কথায় জেনেছি, যে একা এই ব্যাটার পক্ষে একটা XOR gate-ও বানানো সম্ভব নয়। বেশ, তবে একে একটু শক্তিশালী করতে এদের কয়েকটাকে আমরা একসাথে জুড়ে দিতে পারি। এরা সবাই একই input নেবে, কিন্তু এদের প্রত্যেকের $ \vec{w} $ আর $ b $ হবে আলাদা। ফলে, প্রত্যেকের output আলাদা হবে। এদের একসঙ্গে আমরা একটা Layer বলবো। আরেকটু নির্দিষ্ট করে বললে একে একটা Linear Layer বলবো। এই গোটা জিনিসটা তবে উপরের ছবির মতো দেখতে হবে।

এই layerটাকে আমরা একটা function হিসেবে ভাবতে পারি। প্রতিটা AN এর $ \vec{w} $ আর $ b $ যেহেতু আলাদা, তাই এখন, গোটা layerএর জন্যে আমরা একটা weight matrix $ W $ পাবো, যার row গুলো হবে একেকটা AN এর $ \vec{w} $। অর্থাৎ, $ W_{ij} $ হবে $ i $-তম AN এর weight vector এর $ j $-তম element। তেমনি, layerএর একটা bias vector $ \vec{B} $ থাকবে, যেখানে $ B_i $ হবে $ i $-তম AN এর bias। উপরের ছবির layer এর তবে একখান $ (5 \times 3)~W $ আছে। তাহলে আমাদের layerএর functionটা দাঁড়ালো: $ \vec{x} \rightarrow W~\vec{x} +\vec{B} $। এই functionটা আমরা Mathematicaয় কি করে তৈরি করতে পারি? এইভাবে:

linear[data_, weight_, bias_] := Dot[weight, data] + bias

অন্য কথা:

Linear Layer যেটা করে, তাকে বলে Affine Transformation। কোন সোজা লাইনের ওপর এই ধরনের transform প্রয়োগ করলে, transformation এর পরেও লাইনের ওপর থাকা সমস্ত পয়েন্টের transformed পয়েন্টও একই লাইনের ওপর থাকে, আর সমস্ত আপেক্ষিক দূরত্বও সমান থাকে। যেমন, লাইনের ঠিক মাঝখানের পয়েন্ট, transformএর পরেও, লাইনের মধ্যবিন্দুই থাকবে। চলতি কথায় অনেকসময় affine transformation কে ‘Linear Transformation’ও বলা হয়। সঙ্গের ছবিতে, একটা বৃত্তকে বারবার affine transformation করে অন্য ছবিগুলো বানিয়ে জুড়ে দেওয়া হয়েছে। বোঝার সুবিধের জন্যে প্রতি transform এ রঙের গাঢ়ত্ব আর পরিধির প্রস্থ একটু করে কমিয়ে দেওয়া হয়েছে।

কিন্তু এই layerটা তো ঠিক AN এর layer নয়, তার জন্যে প্রতিটা output এর ওপর AF লাগাতে হবে। আমাদের Linear Layer এর প্রতিটা output, প্রতিটি input এর সঙ্গে যুক্ত, মানে, প্রতিটি input এর ওপর নির্ভর করে। তাই একে অনেকসময়েই Fully Connected Layerও বলা হয়। আমরা একটু অন্যরকম একটা layerএর কথাও ভাবতে পারি, যার কাজ হলো অন্য layerএর সব outputএর ওপর একই function চাপানো। এটাই আমাদের AFএর layer হবে তাহলে। কোন layerএর প্রতিটি elementএর ওপর একই function চাপায় বলে, একে আমরা Elementwise Layer বলবো। Mathematicaয় এই layer বানানোর কাজটা খুব সহজ করে দেওয়া আছে। নীচের উদাহরণে দেখো, আমরা একটা linear layer (unilayer) বানিয়েছি, যার মধ্যে 2 খানা neuron আছে, আর যার input (data) হলো একটা 3-dimensional vector, মানে ওতে তিনখানা element আছে:

In[1]:= data = {2, 10, 3};
In[2]:= unilayer = LinearLayer[2, "Input" -> 3]
Out[2]:=

বানিয়ে তো ফেললাম, কিন্তু এই layer এর $ W $ আর $ B $ তো আমরা Mathematicaকে সাপ্লাই করিনি। দেখো, সেই জন্যেই উপরের উদাহরণে ওগুলো লাল হয়ে আছে। Mathematica একটা linear layer এর খাঁচা তৈরি করেছে, কিন্তু খাঁচাটা ফাঁকা। আপাতত আমরা দেখতে চাই, কিছু random value দিয়ে যদি $ W $ কে ভরে দেওয়া যায়, তবে এটাকে dataর ওপর চাপানো যাবে। সে জন্যে function হলো NetInitialize। এর কাজ, যে সমস্ত layer এর ভেতর training এর উপযুক্ত parameter থাকে, তাদের কিছু initial value বসিয়ে দেওয়া, যাতে সেই layerকে নিয়ে কিছু পরীক্ষা-নিরীক্ষা করা যায় (মনে রেখো, এই weight আর bias গুলোকেই কিন্তু আমরা training এর মাধ্যমে বদলাবো)। Default ফর্মে NetInitialize bias গুলোকে 0 বসায়। বেশ, তবে unilayerকে initialize করে layer বানানো যাক, আর সেই layerকে চাপানো যাক dataর ঘাড়ে:

In[3]:= layer = NetInitialize@unilayer
In[4]:= layer[data]
Out[3]:=

Out[4]:= {1.61596, -1.9618}

দু’টো ব্যাপার খেয়াল করো, প্রথমত, layerএর ভেতরে এখন আর লাল কোন লেখা নেই, দ্বিতীয়ত, layerএর ভেতরে 2 টো Neuron আছে, তার প্রতিটার জন্যে একটা করে output পেয়েছি বলে, layer[data]র output একটা 2-dimensional vector। কি কি $ W $ আর $ B $ ব্যবহার করেছে NetInitialize? জানতে NetExtract ব্যবহার করতে হবে:

In[5]:= Normal@NetExtract[layer, "Weights"] // MatrixForm
In[6]:= Normal@NetExtract[layer, "Biases"]
Out[5]:=

Out[6]:= {0., 0.}

এবার এগুলো ব্যবহার করে যদি আমরা আমাদের বানানো affine transformation function linear কে dataর ওপর বসাই, তবে একদম এক output পাওয়া উচিত। ঠিক তা-ই পাবো:

In[7]:= Normal@linear[data,NetExtract[layer,"Weights"],NetExtract[layer, "Biases"]]
Out[7]:= {1.61596, -1.9618}

আমরা linear layer তৈরি করতে শিখে গেছি। যদি তোমার কাছে একটু পুরনো Mathematica থাকে, তবে DotPlusLayer দিয়ে খোঁজো, নামটা আগে আলাদা ছিলো। একইরকম ভাবে আমরা বানাতে পারি, ElementwiseLayer (সব উদাহরণ পোস্টের সঙ্গের notebookএ আছে)। এই দু’টো layer কে তাহলে পর পর বসিয়ে দিলেই একটা পুরো Artificial Neural Layer তৈরি হয়ে যাবে! কিন্তু, পরপর বসানো মানে? এগুলো তো ঠিক function নয়, একধরনের খাঁচা, যার মধ্যে নানারকম parameter বসানোর সুযোগ আছে। এই পরপর বসানোর কাজটা করে NetChain। উদাহরণ:

In[1]:= net = NetChain[{LinearLayer[5], ElementwiseLayer[LogisticSigmoid], LinearLayer[1]}, "Input" -> "Scalar", "Output" -> "Scalar"];
In[2]:= inet = NetInitialize[net, Method -> {"Random", "Biases" -> 2}];
In[3]:= Plot[inet[x], {x, -5, 5}]
Out[3]:=

উপরের উদাহরণে আমরা তিনখানা layer ব্যবহার করেছি, আর তাদের দু’পাশে আছে input আর output। এর ফলে যে নেটওয়ার্কটা তৈরি হয়েছে, তার চেহারা এই রকম:

ব্যস্, আর কি, বানিয়ে ফেলেছি একটা Artificial Neural Network (ANN)। আগের পোস্টের শুরুতে যে ছবিটা ছিল, সেটাও একটা ANN। তাহলে বোঝা গেল, একটা নেটওয়ার্ক বানাতে আমাদের লাগবে পরপর বেশ কিছু layer। Input আর output layer বাদ দিলে ভেতরে যত layer থাকবে, তাদের আমরা বলবো Hidden Layer। প্রতিটা layerএ কতগুলো করে neuron রাখবো, আর ঠিক কতগুলো hidden layer জুড়ে নেটওয়ার্ক বানাবো, এর পুরোটাই আমাদের হাতে। কিন্তু সে সম্পর্কে বিস্তারিত আমরা পরে শিখবো।

আমাদের আগের দিনের নিয়মে যদি ভাবি, তবে একেকটা linear layer আর activation (elementwise) layer মিলে একটা ‘neural’ layer তৈরি হয়। Perceptronএর সঙ্গে এর বেশ মিল থাকায়, এইরকম layer জুড়ে তৈরি নেটওয়ার্ককে অনেকসময় Multilayer Perceptron (MLP)ও বলে। কিন্তু আমরা জানি, এরা perceptron নয়। তাই এই নামটা এড়িয়ে যাওয়াই ভাল। আরও একটা ব্যাপার দেখো, এখানে সবসময় আগের layer এর output পরের layerএর input হিসেবে ব্যবহার করা হচ্ছে, কখনোই উলটোটা নয়, অর্থাৎ, কোন একটা layerএর output কে কখনোই feedback হিসেবে আগের কোন networkএ ব্যবহার করা হচ্ছে না। কিন্তু সেরকম নেটওয়ার্কও আছে। সে সবের থেকে আলাদা করতে আমাদের জানা এই ধরনের networkকে Feed-forward network বলে। আশা করি, এবার পোস্টের নাম-মাহাত্ম্য বোঝা গেছে।

ভাল কথা, দোকান খুলে ফেলেছি, কিন্তু কি বিক্রি করবো? খদ্দেরই বা কোথায়? একটা ANN দিয়ে কোন সমস্যা সমাধান করতে গেলে আমাদের কয়েকটা জিনিস ঠিক করে তবেই মাঠে নামতে হবে:

কি?: আমরা ঠিক কি কি কাজ করতে পারি এই যন্তরটা দিয়ে? বোঝাই যাচ্ছে, অনে—ক কিছু, কিন্তু আপাতত (যেহেতু আমাদের লক্ষ্য হাতেকলমে একটা কাজ করে ব্যাপারটা সম্পর্কে একটা ধারণা পাওয়া), আমরা শুধু এক ধরনের কাজের কথা ভাববো: classification। অর্থাৎ, যদি আমাদের কাছে যদি কিছু জিনিস থাকে (সে numeric data, ছবি, লেখা – যা ইচ্ছে), আর যদি তাদের কিছু class-এ ভাগ করে ফেলা সম্ভব হয়, তবে জিনিসটা মেশিনকে দিলে সে সেই classificationটা কতটা ভাল করতে পারে, তা দেখা।

কিভাবে?: এই দুরূহ কাজটা করতে আমরা দু’ভাবে এগোতে পারি – 1) কিছুই না বলে মেশিনকে data ধরিয়ে দিয়ে জিজ্ঞেস করতে পারি – এদের মধ্যে থেকে কি কিছু classification করা সম্ভব? অথবা, 2) যদি আমাদের কাছে বেশ কিছু উদাহরণ থাকে, যেখানে বেশ কিছু dataকে ইতিমধ্যেই classify করে রাখা আছে, তবে আমরা পরপর মেশিনকে সেই data আর তার class দেখিয়ে ‘train’ করতে পারি, যাতে এরপর নতুন data পেলে সে নিজেই লব্ধ জ্ঞানের সাহায্যে তাকে সঠিক class এ বসিয়ে দিতে পারে। দ্বিতীয় রাস্তায় প্রথমেই training এর সময় যে তদারকির দরকার, তার কারণে একে বলে supervised learning। আমরা প্রথমে এটাই করতে শিখবো, নিজেদের বানানো একটা ANN দিয়ে। ANN আমরা অল্পস্বল্প বানাতে জানলেও, কি করে তা কাজ করে, এখনো জানিনা, অতএব সেটা আপাতত একটু হলেও জানতে হবে।

কাকে?: Training করতে হলে, আমাদের দরকার – data। যে সে data হলে হবে না। চাই এমন data, যার প্রতিটি উদাহরণকে সঠিকভাবে তার ‘class’ দিয়ে চিহ্নিত (label) করা আছে। একে আমরা বলবো ‘training data’। কপাল ভালো থাকলে, আমাদের কাছে এমন কিছু dataও থাকতে পারে, যা আমরা মেশিনকে না দেখিয়ে সরিয়ে রাখতে পারি, আর training এর পর মেশিনকে সেই data দেখিয়ে জিজ্ঞেস করতে পারি, তার class কি (অবশ্যই উত্তর না দেখিয়ে)। তারপর মেশিনের দেওয়া উত্তর মিলিয়ে দেখতে পারি, সে পাশ করেছে কি না। এই দ্বিতীয় ধরনের dataকে আমরা বলবো ‘test data’।

কেমন?: শুধু পরীক্ষা পাশ করলে তো হবেনা, মেশিন classification এ কত ভাল নম্বর পেলো, তা-ও দেখতে হবে। তার জন্যে জানতে হবে, classification ব্যাপারটার হাল-হকিকৎ, আর কতভাবে তার গুণগত মান ঠিক করা যায়।

পোস্টটা এখানেই শেষ করা যাক। পরের পোস্টগুলোয় দেখা যাক, আমরা এই প্রশ্নগুলোর উত্তর খুঁজে একটা networkকে train করাতে পারি কিনা…

Feed-forward ANN - 1 (Perceptron থেকে Neuron)

2020-05-01T07:22:00.000-07:00

আজকের পোস্ট শুরু করার আগে একটা ছোট্ট সতর্কবাণী: যখনই ইচ্ছে হবে neural networkএর কার্যপ্রণালীর সঙ্গে আমাদের মস্তিষ্কের তুলনা টানার, সাবধান। যেকোন সময় আমাদের উদাহরণগুলোকে তুমি চিন্তার একটা model হিসেবে ভাবতে পারো, কিন্তু ব্যস্, ওইপর্যন্তই। ওটা modelমাত্র, তাই ভুল হওয়ার সম্ভাবনা চোদ্দ-আনা। modelটা যদি তোমায় বুঝতে সাহায্য করে, বেশ, কিন্তু ভুল করেও ওদের সঙ্গে আমাদের অসম্ভব জটিল আর লক্ষ লক্ষ বছরের বিবর্তনের ফলাফল খুলিটাকে গুলিয়ে ফেলোনা।
আজকের লেখা মূলত Michael Nielsen এর বইয়ের প্রথম চ্যাপ্টারের ওপর নির্ভর করবে। নীচে কিছু animation দেখতে পাবে, যার ওপর ক্লিক করলে একটা interactive web-page খুলবে। সেখানে গিয়ে তোমার যত খুশি খেলতে পারো। যদি সেই উদাহরণ গুলো না চলে (সে server ঢিমে হওয়ার জন্যেই হোক, বা তোমার net-connection ধীর হওয়ার জন্যে), ভয়ের কারণ নেই: আজকের পোস্টে যত interactive উদাহরণ আর যে যে ধরনের function ব্যবহার করা হয়েছে, তার code, পোস্টের একদম নীচের ‘নোটবুক ডাউনলোড’ লিঙ্ক থেকে download করা notebookএ পাওয়া যাবে। নিজের কম্পিউটারে চালিয়ে দেখো।

আমরা কি করে কোন সিদ্ধান্ত নিই? বিশেষ করে যখন অনেকগুলো ঘটনার ওপর সেই সিদ্ধান্তটা নির্ভর করে? একটা উদাহরণ নিয়ে ভাবা যাক: ধরো, তুমি শহর থেকে দূরে হোস্টেলে থাকো, আর weekendএ শহরে গিয়ে অনেকদিন সামান্য পানাহার করা হয়নি। এদিকে সকাল থেকেই আকাশ মেঘলা, আর তোমার বন্ধুরাও তাই দেখে যেতে গড়িমসি করছে। মাসের শেষ, হাতে বেশি টাকাও নেই। যাওয়া কি উচিত? তোমার কথা জানিনা, আমি এ অবস্থায় পরপর কিছু কথা ভেবে তারপর সিদ্ধান্ত নিতাম। একা গিয়ে কোথাও মজা নেই। তাই বন্ধুরা না গেলে এককথায় যাবো না (ওদের ওপর অভিমান করাটা যদিও এক্ষেত্রে জন্মগত অধিকার)। বৃষ্টি পড়লে ফেরাটা মাটি হবে, যানবাহন পেতে বেজায় মুশকিল, অতএব যাওয়ার মানে নেই। টাকা? সে, যদি বন্ধুরা যায়, ব্যবস্থা হয়ে যাবে। মাসের শেষ, নাহয় পরের মাসের শুরুতেই শোধ দিয়ে দেওয়া যাবে’খন। এই অবস্থায়, দেখো দেখি, নিচের ছবি থেকে আমার সিদ্ধান্তগুলো পরিষ্কার হচ্ছে কিনা? ইচ্ছেমতো এক একবার ‘Friends’, ‘Money’ আর ‘Rain’ – এই optionগুলোর নানা combination টিক দিয়ে দেখো তো, আমার মনের অবস্থার একটা মোটামুটি ধারণা পাওয়া যায় কিনা?

ওই যে গোল্লাটা, ওটা এমন একটা function বোঝাচ্ছে, যেটা তিনরকমের আলাদা binary input থেকে একটাই binary output তৈরি করছে। Binary, কারণ প্রশ্ন বা উত্তর মাত্র দু’রকমের হতে পারে এক্ষেত্রে – হয় আমি যাবো, নয়, যাবো না; বৃষ্টি হয় হবে, নয় হবে না। ব্যস্। তৈরি হয়ে গেলো একটা Perceptron। আগের পোস্টে জেনেছিলাম না, 1960 এর কাছাকাছি Perceptron বলে একধরনের জিনিস তৈরি হয়েছিলো, যারা আজকের artificial neuronদের পূর্বসূরী? উপরের ওই গোল্লাটা তা-ই।

অন্য কথা:

Source

1960 সালের মাঝামাঝি computer science এর নানা conference এ কাঁচা পিএইচডি পড়ুয়ারা হাঁ করে দেখতো এক অদ্ভুত দৃশ্য। একই স্কুলের দুই ছাত্র, একজন আরেকজনের থেকে এক ক্লাস সিনিয়র, প্রবল তর্কে লিপ্ত। একজনের বক্তব্য, তাঁর তৈরি করা কম্পিউটার মডেলের পক্ষে একসময় ছবি দেখা বোঝা সম্ভব হবে ছবিটা কিসের। অন্যজন একই উৎসাহে প্রমাণ করার চেষ্টা করতেন, যে কেন এই মডেলের পক্ষে তেমন কিছুই করা সম্ভব না। কারুর কথাই ফেলনা নয়। 1958এ প্রথম জনের তৈরি কম্পিউটার নিয়ে New York Times খবরের শিরোনাম ছিল: “NEW NAVY DEVICE LEARNS BY DOING: Psychologist Shows Embryo of Computer Designed to Read and Grow Wiser”, New Yorker লিখেছিল: “Indeed, it strikes us as the first serious rival to the human brain ever devised.”

অন্যদিকে, দ্বিতীয় জন 1969 সালে প্রথমজনের সেই আবিষ্কার নিয়ে বই লিখে প্রমাণ করেছিলেন, যে তৎকালীন অবস্থায় মেশিনটির পক্ষে নিদেন একখানা XOR Gate ও বানানো সম্ভব নয়, universal classifier হওয়া তো দূর অস্ত। প্রথমজনের নাম Frank Rosenblatt, আর তাঁর বানানো মেশিনের নাম Perceptron। দ্বিতীয়জন Marvin Minsky (ভদ্রলোকের নাম এই নিয়ে তৃতীয়বার উচ্চারিত হলো এই ব্লগে, নেহাত ফেলনা লোক নন; প্রসঙ্গতঃ, উল্লিখিত বইটার নামও “Perceptrons”। বইটার প্রকাশের পরেই নিশ্চিতভাবে সমসাময়িক AI researchএর মৃত্যুঘন্টা বেজেছিলো।)। জগৎ প্রথমজনের প্রতি বিশেষ প্রসন্ন ছিলো না। Rosenblatt এর শেষ জীবন কেটেছিলো এক ইঁদুরের মগজ অন্য ইঁদুরের করোটিতে চালান করে। অন্যদিকে, বইটার প্রকাশের পরের বছর Minsky পান A.M. Turing Award – computing এর সেরা পুরষ্কার।

গলতি Rosenblatt এর ধারণায় ছিলো না, ছিলো Perceptronএর single layer ব্যবহারে, আর Minsky ও মোটেই দাবী করেননি যে multi-layer Perceptronএর পক্ষেও কিছু করা সম্ভব না। কিন্তু জনমানসে যে ধারণা একবার তৈরি হয়, তাকে ভাঙে কে? যাই হোক, ইতিহাসের খেলা বেজায় গোলমেলে; আজ যে তুমি এই ব্লগে এসে Perceptron নিয়ে পড়ছো, এতেই Rosenblatt এর ভূতের আনন্দে আইসক্রিম খেতে যাওয়া উচিত। এই দু’জনের লড়াই নিয়ে নানা রকম লেখার একটা collection তৈরি করে রাখা আছে এখানে।

কি করে কাজ করে এই Perceptron? ওই তিনধরনের inputকে ধরা যাক বললাম $ x_1,~x_2,~x_3 $। সমস্যা অনুযায়ী input এর চেয়ে বেশি বা কম হতেই পারে। এবার, কোনভাবে এই inputগুলোর গুরুত্বটা numerically প্রকাশ করতে হবে। Rosenblatt করলেন কি, প্রতি inputএর জন্যে একখানা করে সংখ্যা বসালেন, যাদের বলা হলো সেই inputএর weight। উপরের উদাহরণে দেখো, প্রতিটা inputএর জন্যে একখানা করে slider দেওয়া আছে, যাদের নড়ালে-চড়ালে output কখনো কখনো বদলে যায় (‘Weights & Bias’ লেখাটায় ক্লিক করলে ওগুলো দেখা যাবে)। এগুলো, সঙ্গের inputএর weight। উপরের উদাহরণে ওগুলো 1 থেকে 5 অবধি হতে পারে। যে inputএর weight যত বেশি, সিদ্ধান্ত নেওয়ার সময় তার গুরুত্ব ততটাই। এখন, আমাদের input যেহেতু binary, তাই 0 বা 1 হতে পারে। যেমন, ‘Friends?’ এর উত্তর 1 মানে বন্ধুরা সঙ্গে যাবে, 0 মানে যাবে না (‘Rain?’ এর উত্তর হ্যাঁ মানে কিন্তু input 0, কারণ বৃষ্টি হলে বেরবো না)। ‘Show Numbers’ checkboxটায় ক্লিক করে দেখো, নানা combination এর জন্যে outputও নানা রকমের।

Rosenblatt এর রেসিপি মেনে, আমরা inputগুলোর weighted sum বানিয়েছি। অর্থাৎ, weightগুলো যদি $ w_1,~w_2,~w_3 $ হয়, তবে আমরা বানিয়েছি $ \sum_j w_j x_j $, মানে, আমাদের উদাহরণে, $ w_1 x_1 + w_2 x_2 + w_3 x_3 $। আমার নিজের উদাহরণে কি কি weight ব্যবহার করছি, সেটা প্রতি slider এর ডানদিকের ‘+’ বাটনে ক্লিক করলেই দেখতে পাবে। এবার, আমার লক্ষ্য, outputকেও binary বানানো। আমার নেওয়া weight এর combination টার জন্যে আমি দেখেছি, বিভিন্ন inputএর বিভিন্ন combination এ আমার $ \sum_j w_j x_j $ 5 এর আশেপাশে ঘোরাফেরা করে। এই 5 কে যদি আমরা একটা threshold বলে চিহ্নিত করি, তবে এর চেয়ে কম বা বেশিকে 0 বা 1 বলাই যায়। বেশ, ‘জয়ত্তারা!’ বলে ঘোষণা করা যাক, যে আমাদের output হবে এই রকম:
\[ \text{output} = \begin{cases} 0 & \sum_j w_j x_j \leq \text{threshold} \\ 1 & \sum_j w_j x_j > \text{threshold} \\ \end{cases} \]
অথবা,
\[ \text{output} = \begin{cases} 0 & \sum_j w_j x_j + \text{bias} \leq 0 \\ 1 & \sum_j w_j x_j + \text{bias} > 0 \\ \end{cases} \]
যেখানে $ \text{bias} = - \text{threshold} $। যদি weight আর input গুলোকে vector হিসেবে ভাবি, তবে $ \sum_j w_j x_j $ বারবার না লিখে $ \vec{w} \cdot \vec{x} $ লেখাই যায়। তবে আমাদের Perceptron হয়ে দাঁড়ালো,
\[ \text{output} = \begin{cases} 0 & \vec{w} \cdot \vec{x} + b \leq 0 \\ 1 & \vec{w} \cdot \vec{x} + b > 0 \\ \end{cases} \]
পরিষ্কার বোঝা যাচ্ছে, আমাদের Perceptronএর output, আসলে একটা step function। Mathematicaয় এটা লেখা হয় HeavisideTheta[z] দিয়ে। ব্যস্। এতক্ষণ যে sliderটার কথা বেমালুম চেপে রেখেছিলাম, এইবার তাকে দরকার। ‘Bias’ এর sliderটা নিয়ে খেলাধুলো করলে পরিষ্কার দেখতে পাবে, $ \vec{w} $ আর $ b $ এর নানা combination দিয়ে শুধু যে কোন একজনের সিদ্ধান্ত নেওয়ার modelই নয়, এই সমস্যায় থাকা যে কোন লোকের সিদ্ধান্তে পৌঁছনো সম্ভব। আমার উদাহরণে বন্ধুরা থাকলেই output $ > 0 $ হবে। চেষ্টা করে দেখো তো, এমন কোন $ \vec{w} $ আর $ b $ এর কম্বিনেশন পাও কিনা, যার ফলে শুধু ‘Money’ 1 হলেই output $ > 0 $ হবে, কিন্তু ‘Rain?’ উত্তর ‘Yes’ হলে output $ \leq 0 $ হবে সবসময়?

দু’একটা জিনিস ঝালিয়ে নিয়ে এগোনো যাক। আমরা দেখেছি, Perceptronএর ক্ষেত্রে weights আর bias অল্প বদলালেই output বদলে যেতে পারে। $ \vec{w} $ আর $ b $ এর value সামান্য বদলে দিলে (ধরো এই বদলের পরিমাণ $ \Delta \vec{w} $ আর $ \Delta b $) যদি উত্তর দুম করে পুরো outputটাকে উলটে দেয় (মানে ধরো 0 র জায়গায় 1), তবে সেটা বাকি networkকে প্রভাবিত করবে, আর সেটা learningএর পক্ষে খুব খারাপ ব্যাপার। একটা network learning তখনই সম্ভব, যদি weights আর bias এর $ \Delta \vec{w} $ আর $ \Delta b $ পরিবর্তনের ফলে outputএরও $ \Delta $output পরিবর্তন হয়। তা যদি সত্যি হয়, তবে Perceptronদের learning যে কি করে সম্ভব, এটা বোঝা কঠিন হয়ে দাঁড়াচ্ছে।

Perceptronএর গুরুত্ব আর খামতি (আর তার সমাধানের ইতিহাস, পদ্ধতি, আর অঙ্ক) নিয়ে একটা গোটা পোস্ট লিখে ফেলা যায়। পরে সময় হ’লে ভাবা যাবে, কিন্তু আজ আমরা আরেকটু এগিয়ে জানবো Artificial Neuron (AN) দের কথা। AN রা একেবারেই Perceptron এর মতো, একই রকম $ \vec{w} $ আর $ b $ নিয়ে তৈরি, শুধু একটাই পার্থক্য: input, 0 আর 1 এর বদলে যে কোন real number হতে পারে। তাহলে output? সেটা হবে $ f_a\left( \vec{w} \cdot \vec{x} + b \right) $, এখানে $ f_a $ হলো Activation Function (AF)। এর কাজ কি? সেটা বোঝার জন্যে একটা বিশেষ AF এর উদাহরণ নিয়ে দেখা যাক। ধরা যাক, $ f_a = \sigma $, যেখানে $ \sigma $ হলো একটা Sigmoid Function:
\[ \sigma(z) = \frac{ 1 }{ 1+ e^{-z} } \]
Mathematicaয় এই function টা লেখা হয় LogisticSigmoid[z] দিয়ে। এই ধরনের AN কে আমরা বলবো Sigmoid Neuron (SN)। কেন এইধরনের AF এর ব্যবহার? এর কারণ বোঝার জন্যে $ \sigma $র সঙ্গে একটা step function এর পার্থক্য আর মিলটা বুঝতে হবে। সঙ্গের ছবিটা দেখলে আশা করি বোঝা যাচ্ছে, $ \sigma(z) $ যেন একটা নরম প্রকৃতির step function, যার ফলে, $ z = \vec{w} \cdot \vec{x} + b $ এর বেশ বড়ো অথবা ছোট valueর জন্যে $ e^{-(+)|z|} \approx 0~(\infty) $, আর তার ফলে, $ \sigma(z) \approx 1~(0) \Rightarrow \theta(z) $। তার মানে, $ |z| $এর একটা মোটামুটি বড় valueর জন্যে SN আর Perceptron এর মধ্যে বিশেষ কোন ফারাক নেই। যা কিছু পার্থক্য, তা হলো ওই মাঝের ছোট $ |z| $এর জন্যে। SN এর এই নরম স্বভাবের কারণে weight আর bias এর ছোট্ট বদল ($ \Delta w_j $ আর $ \Delta b $) হলে outputএর ও একটা ছোট্ট বদল ($ \Delta $output) হবে। Calculus আমাদের এক্ষেত্রে জানায়,
\[ \Delta\text{output} \approx \sum_j \frac{\partial\text{output}}{\partial w_j} \Delta w_j + \frac{\partial\text{output}}{\partial b} \Delta b \,, \]
যেখানে $ \partial\text{output} / \partial x $ হলো $ x $ এর সাপেক্ষে outputএর partial derivative। কিন্তু এসবের ফলে, output তো আর binary থাকলো না, 0 থেকে 1 এর মধ্যে একটা real number হয়ে গেলো। এটা অনেকক্ষেত্রে সুবিধেজনক হলেও, যখন আমাদের একটা binary output দরকার, তখন আমরা কি করবো? সেক্ষেত্রে একটা সহজ উপায় হলো, 0 থেকে 1 এর মধ্যে আবার একটা threshold ঠিক করা (সাধারণত 0.5 ধরা হয়), যার থেকে বেশি হলে outputকে আমরা 1 ধরবো, কম হলে 0। নীচের উদাহরণে খেলাধুলো করে দেখো, আমাদের আগের perceptronটাকে SN বানালে ঠিক কি রকম পরিবর্তন হয়।

আজকের পোস্টে যত interactive উদাহরণ আর যে যে ধরনের function ব্যবহার করা হয়েছে, তার code, নীচের লিঙ্ক থেকে download করা notebookএ পাওয়া যাবে। নেড়ে-ঘেঁটে দেখো, যদি বুঝতে অসুবিধে হয়, উপরের ‘যোগাযোগ (Contact)’ পাতায় লেখো, সময়-সুযোগ পেলে অবশ্যই উত্তর দেওয়ার চেষ্টা করবো। আজ এই পর্যন্তই থাক, পরের দিন আমরা জানবো, কি করে এই Artificial Neuron দের দিয়ে একটা network বানিয়ে তারপর তাদের train করা যায়।

একটু গল্পগাছা - 2

2020-04-26T08:11:00.001-07:00

আমরা আগের পোস্টে অল্প বুঝেছি, যে মেশিন-লার্নিং কি করে। আজ প্রথমে আরেকটু তলিয়ে ব্যাপারটা বোঝা যাক। আমরা আগেই দেখেছি, Data আর label বা result (উত্তর) দিয়ে দেওয়া হ’লে শিক্ষিত (learned) মেশিন সেই rule গুলো খুঁজে বের করতে পারে, যা data পেলে সঠিক label দিতে পারে। তাহ’লে একটা ঠিকঠাক মেশিন-লার্নিং করাতে আমাদের কি কি দরকার?

Input Data: বোঝা সহজ – ছবি, শব্দ, ধ্বনি, সংখ্যা – input data যা ইচ্ছে হতে পারে। (আমাদের এই data কে সামান্য পরিবর্তন করে tensor বানিয়ে নিতে হবে, কিন্তু সে নিয়ে আলোচনা পরে।)
Expected Output: লক্ষ্য যদি হয় ছবি দেখে বোঝা, যে ছবিটা কিসের, তবে ছবিটাকে সঠিক label দিতে হবে, যেমন কুকুরের ছবির label হবে ‘কুকুর’।
Measurement of Performance: মেশিনের কর্মক্ষমতা, অর্থাৎ মেশিন ঠিক শিখেছে কিনা, অর্থাৎ output যা হওয়া উচিত ছিলো, আর মেশিন যা predict করছে, তার পার্থক্য কতটা। এই পার্থক্যের একটা মাপ যদি আমরা বের করতে পারি, তবে সেটা ব্যবহার করে মেশিন তার algorithm সেইমতো বদলে ফেলতে পারে, যাতে মোট পার্থক্যটা কমে আসে।

যে কোন মেশিন-লার্নিং algorithm এর এই কর্মক্ষমতা নির্ভর করে input এর representation এর উপরে। representation কি? ভাবা যেতে পারে, এ হলো data কে নানারকম ভাবে দেখার রাস্তা। কম্পিউটারে রঙিন ছবিকে দু’রকম ভাবে দেখা যেতে পারে। একটা হলো RGB format (Red-Green-Blue; যে কোন রঙকে এই তিন রঙের মিশ্রণ হিসেবে দেখা), অন্যটা হলো HSV format (hue-saturation-value; analog যুগে monochrome ছবির ওপর রঙের পরিমাণ মাপতে এই format এর উদ্ভব)। যে কোন রঙিন ছবিকে যদিও এই দুই formatএই প্রকাশ করা সম্ভব, কিন্তু বিভিন্ন প্রশ্নের উত্তরে এদের কোন একজন বেশি ভাল perform করে। “ছবির সমস্ত red pixel সরিয়ে দাও” নির্দেশের উত্তরে যেমন নির্ঘাৎ RGB বেশি ভাল কাজ করবে, তেমনি, “ছবির saturation কমিয়ে দাও” নির্দেশে HSV এককথায় জয়ী।

HSV format (Wikipedia)

আমাদের লক্ষ্য যদি input data থেকে কোন মেশিনকে সহজে বিশেষ কোন একধরনের কাজ শেখানো হয়, তবে অনেক সময়েই এই representation টা কি হবে সেটাই মোদ্দা প্রশ্ন হয়ে দাঁড়ায়। Goodfellowর বইয়ের একখান উদাহরণ ধার করা যাক। Logistic Regression হলো একধরনের shallow (মানেটা একটু পরেই পরিষ্কার হবে) মেশিন-লার্নিং algorithm এর নাম। কোন গর্ভবতীর cesarean delivery প্রয়োজন কিনা জানতে আমরা সোজাসুজি রোগিণীকে মেশিনের সামনে দাঁড় করিয়ে দিই না। ডাক্তারবাবু প্রথমে কিছু বিশেষ তথ্য মেশিনকে দেন, যেমন, গর্ভাশয়ে কোন ক্ষতস্থান (scar) আছে কিনা। এই প্রতিটি প্রয়োজনীয় তথ্যের টুকরো, যারা একসাথে মিলে একটা representation তৈরি করে, এদের বলে একেকটা feature। লার্নিং-এর সময় logistic regression শেখে কিভাবে এইসব feature, প্রয়োজনীয় output এর সঙ্গে সম্পর্কিত, আর তার ফলে সঠিক feature এর সমষ্টি দেখতে পেলেই ও নির্দেশ করতে পারে যে মহিলার cesarean প্রয়োজন কিনা। আবার, কানের গোড়ায় বন্দুক ধরলেও ওর পক্ষে কিন্তু ওইসব feature মহিলার MRI scan এর ছবি দেখে বের করে আনা সম্ভব না।

Cartesian

Polar

বাস্তব জগতের প্রায় সবকিছুই representation এর ওপর বিচ্ছিরিরকম নির্ভরশীল। সঙ্গের প্রথম ছবিতে দেখো, Cartesian coordinate এ একটা scatter-plot এ দু’রকমের data দেওয়া আছে। একখানা সোজা লাইন টেনে এদের দুই ধরনকে আলাদা করা – অসম্ভব। কিন্তু সেই একই dataকে এবার polar coordinate এ প্রকাশ করা হ’লে, একখান খাড়া সোজা লাইন টেনেই আলাদা করে ফেলা সম্ভব। একইভাবে, পোস্টের প্রথমেই যে তিনখানা ছবি দেওয়া আছে, তাদের দেখে এবার বোঝা যাবে, কি করে একটা সাধারণ rotation এর সাহায্যে আমরা দিয়ে দেওয়া dataset এর একটা অত্যন্ত সহজ representation (x < a বা x > a) বের করে ফেলতে পারি, যার থেকে তাদের classification জলবৎ তরল হয়ে যায়।

অনেকসময়েই, data থেকে কি কি feature বের করে আনা উচিত, এই প্রশ্নের উত্তর দেওয়া মোটেই সহজ হয় না। আমাদের চেনা ImageIdentify এর কথাই ধরা যাক। কি কি feature দেখে একটা কুকুরের ছবি থেকে চেনা সম্ভব সেটা কুকুর কিনা? পাশ ফিরে থাকা (profile) ছবি আর সোজা সামনাসামনি ছবির feature নিশ্চয়ই এক নয়। দৌড়নোর আগের মুহূর্তের আর শুয়ে থাকা কুকুরের ছবির feature ই বা এক কি করে হয়? তাহলে, representation থেকে output বের করে আনার আগে আর একটা কাজ মেশিনকে দিয়ে করানো দরকার: data থেকে সঠিক representation বের করে আনা। এর নাম Representation Learning। এই দু’টো কাজ পরপর ঠিকভাবে করে ফেলতে পারলেই, মেশিন-লার্নিং-এর সময় মানুষের নাক গলানোর প্রয়োজন দুম করে অনেকটা কমে যায়।

কি করে মেশিনের পক্ষে ঠিক representation শেখা সম্ভব? আগে থেকে ঠিক করা প্রচুর ধরনের operation, যেমন coordinate transformation, linear projection, translation, non-linear operation –এই সবের অনেক combination, একসাথে যাদের আমরা বলবো hypothesis space, তার থেকে মেশিন খুঁজে বের করার চেষ্টা করে, dataর সবথেকে ভাল representation কি হতে পারে। এই রকমের representation learning এর নামকরা উদাহরণ হলো Autoencoder। এর সম্পর্কে আমরা পরে বিস্তারিত শিখবো। তাহলে বোঝা গেল, যে মেশিন-লার্নিংএর জন্যে হয় আমাদের নিজেদেরই data থেকে feature design করতে হবে, নইলে মেশিনকে দিয়েই সেই কাজটা করাতে হবে। এটা করার জন্যে আমাদের খুঁজে বের করতে হবে, কি কি ‘factor’ এর ওপর নির্ভর করে আমাদের data বদলে যেতে পারে। এই ফ্যাক্টরগুলো পার্থিব-অপার্থিব যা ইচ্ছে হতে পারে। একজন মানুষের audio recording শুনে তার স্বরূপ বোঝার চেষ্টা করার সময় বক্তার লিঙ্গ, বয়স, বলার ভাষা, সবই এই ধরনের ‘factor of variation’।
বেশ, factors of variation নির্ণয় করাই তবে আমাদের প্রধান উদ্দেশ্য, তাই না? উঁহু…, গোলমাল আছে। কখনো কখনো, এই factor গুলো স্থির করাটাই এত complex হয়ে দাঁড়ায়, যে আসল প্রবলেমটার সঙ্গে তার আর কোন পার্থক্য থাকেনা। ঠিক আগের উদাহরণের একটা খুব গুরুত্বপূর্ণ factor এর কথা ধরা যাক – বক্তার accent, অর্থাৎ, তিনি ঘটি না বাঙাল, আমেরিকান না ইংরেজ, বাঙাল হলে বরিশালী না ময়মনসিংহী ইত্যাদি। মানুষের কান জন্ম থেকে শিক্ষিত হতে হতে যেভাবে এসব আলাদা করতে পারে, মেশিনের পক্ষে তা করা তো শেষমেশ বক্তব্য বোঝার সমান কঠিনই হয়ে দাঁড়ালো, তাই না? তাহলে representation learning কিভাবে সাহায্য করবে এখানে আমাদের?

বাজারে এলেন Deep Learning, রক্ষাকর্তা সেজে। এসেই বললেন, “ও, representation বের করে আনা খুব কঠিন হয়ে গেছে বুঝি? এক কাজ করা যাক, খুব সহজ, ছোট ছোট representation এ ব্যাপারটা ভেঙে ফেলা যাক, তারপর তাদের combine করে আমরা আরেকটু কঠিন একগোছা representation বানাবো। তারপর তাদের জুড়ে জুড়ে আবার আরেকটু কঠিন, আরো একটু কঠিন representation… এইভাবে ততক্ষণ চালাবো, যতক্ষণ না কঠিনতম representationটাও, এমনকি যেমনটা মানুষে বোঝে, আমরা (মানে মেশিন) বুঝে ফেলতে পারি।” ঠিক কথা। boring, repetitive গুচ্ছের কাজ করা আমাদের পক্ষে ক্লান্তিকর হলেও, মেশিনের কাছে তো জলভাত! এই যে সহজ representation থেকে একটু কঠিন একটা representation বানানো, এটা algorithm এর যে অংশে হয়, তাকে যদি আমরা একটা layer বলি, তাহলে পরিষ্কার, যে আমরা layer এর পর layer জুড়ে জুড়ে এমন algorithm বানাতে পারি, যাতে কঠিন থেকে কঠিনতম সমস্যাও অনায়াসে সমাধান করা সম্ভব।

Deep Learning নামে যে ‘Deep’ শব্দটা আছে, তার উৎস হলো ওই layer। যে algorithm এ যত বেশি layer, তা ততই deep। যে সমস্ত classical machine learning algorithm এই রকম layer ভিত্তিক কাজ করেনা, তারা নিশ্চয়ই তবে shallow learning (এই কারণেই একেবারে শুরুতে logistic regression কে shallow বলা হয়েছিলো)। অতএব, মেশিন-লার্নিং এর জগত, আগের পোস্টের প্রথমে যে ছবিটা আমরা দেখেছিলাম, সেটা সামান্য বদলে গিয়ে দাঁড়ালো উপরের ছবির মতো।
আশা করা যায়, আমরা মোটামুটি বুঝেছি, যে এই learning ব্যাপারটা কিরকম। এইবার এগোতে চাইলে, আমাদের হাতে দু’টো রাস্তা আছে। 1) Classification এর সহজতম উদাহরণ Binary Classification ব্যাপারটা বোঝা, আর 2) Deep Learning সম্পর্কে একটা প্রাথমিক ধারণা তৈরি করা। আমি ব্যক্তিগত পছন্দ অনুসরণ করে দ্বিতীয় রাস্তাটা নেবো। পরের পোস্টগুলোয় আমরা প্রথমে Deep Learning আর তারপর Binary Classification সম্পর্কে ধারণা তৈরি করবো।
মনে আছে, প্রথম দিন প্রথম প্রশ্ন করেছিলাম, ‘ভবিষ্যতে AI কি সত্যিই আমাদের জীবনে ততটা গুরুত্বপূর্ণ হয়ে উঠবে, যেমনটা সর্বত্র বলা হচ্ছে?’ যেকোন সময় ভবিষ্যত সম্পর্কে জল্পনাধর্মী কোন বাক্যবিন্যাস করতে হলে সবথেকে বড় শিক্ষক হলো ইতিহাস। তাই আজ যেহেতু গল্পগাছার দ্বিতীয় দিন, একটু DL এর গোলমেলে ইতিহাসটা সামান্য ঘেঁটে দেখা যাক। সিরিয়াস বাচ্চারা সোজা পরের পোস্টে চলে যেতে পারো।

Deep Learning এর Timeline:

অতীত: এই ব্লগে এসে মেশিন-লার্নিং দেখছো মানে, নিশ্চিত DL সম্পর্কে জানার বেশিদিন হয়নি। আন্দাজ করা যায়, জানতে পেরেছো যে এ এক নতুনরকমের প্রযুক্তি, যা দিয়ে অত্যাশ্চর্য সাধন করা যায়। শুনলে অবাক হবে, এর ধারণা সেই 1940 এর দশকে তৈরি। 1940-1960 সালে একে বলা হতো cybernetics, 1980-1990 সালে connectionism, আর এই সহস্রাব্দের শুরুতে, 2006 নাগাদ, deep learning। তিন বিভিন্ন সময়ে একই ideaর এই প্রাদুর্ভাবকে 3 waves of deep learning বলা হয়। উপরের চার্টটা বানানো হয়েছে Google Books এর Ngram Viewer দিয়ে (2008 অবধি data আছে, তাই DL মাথাচাড়া দেয়নি এখনো)। উলটোদিকে, সাম্প্রতিককালের Google Search Trend অনুসরণ করলে পরিষ্কার, যে 2013র পর থেকে DL নিয়ে মানুষের উৎসাহ তীব্রবেগে বেড়েছে (চার্ট নিচে)।

একদম শুরুতে (চল্লিশের দশকে) মানব-মস্তিষ্কের biological learning এর একটা কম্পিউটার মডেল তৈরি করার চেষ্টা করা হয়েছিল। গপ্পোটা ছিল: ‘আমাদের চেনা intelligence তো এই আমাদের হাতের কাছেই আছে – human intelligence, অতএব একে মডেল করে ফেলতে পারলেই এক ঢিলে দুই পাখি মারা যাবে – মস্তিষ্কের কার্যপ্রণালীর একটা ধারণা পাওয়া যাবে, আবার তাকে মেশিনে কপিও করা যাবে।’ এই লক্ষ্যে প্রথম linear model তৈরি হয় 1943 সালে। হাতে করে বানানো কিছু weight আর input দিয়ে দিলে এরা দুই ধরনের input আলাদা করে ফেলতে পারতো।

1960 এর কাছাকাছি, Perceptron বলে এক ধরনের linear নেটওয়ার্ক তৈরি করা হয়, যাদের প্রথম training করানো সম্ভব হয়। এরাই আধুনিক Artificial Neural Network (ANN) এর পূর্বসূরী। বেশ চলছিলো, বাদ সাধলেন Minsky আর Papert (হ্যাঁ, সেই Minsky, যিনি এর বদলে symbolic AI নিয়ে গলা ফাটানো শুরু করেন)। Linear model এর নানারকম সীমাবদ্ধতার দিকে আঙুল দেখিয়ে ওঁরা যা বলেন, তার মূল কথা, “ও রাস্তায় লাভ নেই।” ব্যস, হয়ে গেলো, একদিকে বিশেষজ্ঞদের মতামত, AI কিছুদিনের মধ্যেই দুনিয়া জয় করবে, অন্যদিকে neural network তেমন কাজ করেনা – এই দুইয়ের মাঝে গোটা বিষয়টাই তার জনপ্রিয়তা হারালো, আর ANN এর ওপর রিসার্চ ঝিমিয়ে পড়লো।
1980র দশকে ‘আবার সে আসিল ফিরিয়া’, এবং সেই একই অজুহাতে। এবার তার নাম connectionism, আর যে সাবজেক্টের প্রয়োজনে তার প্রাদুর্ভাব, তার নাম cognitive science। এই যুগে হওয়া রিসার্চ থেকে আমরা যা শিখেছি, তা সত্যিই অনেক। তার একটার নাম distributed representation (সুযোগ অনুযায়ী পরে আলোচনা হবে), আর একটা, ANN training এর জন্যে backpropagation এর ব্যবহার (একে নিয়ে আলোচনা হবেই)। আজও এদের গুরুত্ব কমেনি। 1989এ Yann LeCun পুরনো convolutional neural network (CNN) এর ধারণা ব্যবহার করে তৈরি করলেন ‘LeNet’, আর তা USAর ডাকবিভাগ ব্যবহার করা শুরু করলো চিঠির খামের ZIP কোড (আমাদের দেশের PIN কোডের ভায়রাভাই) মেশিন দিয়ে পড়ানোর কাজে।

কিন্তু এই হইহইয়ের বাজারে এমন একটা ঘটনাও ঘটে, যার ফলাফল থেকে আজ আমাদের শিক্ষা নেওয়া উচিত। 1990র দশকের মাঝ অবধি চলে ANN এর রমরমা। এতটাই, যে নানা ANN-ভিত্তিক প্রোজেক্ট আর কোম্পানি দাবী করতে থাকে যে কিছু সময় আর কিছু টাকা পেলেই তারা অসাধ্যসাধন করে ফেলতে পারবে নানাবিধ সমস্যা সমাধান করে। একই সময়ে, গোটা পৃথিবী বিশ্বাস করতো AI এই এলো বলে। 1985 নাগাদ বছরে আনুমানিক 1 Billion $ খরচা হতো AI research খাতে। 1990 এর মাঝামাঝি, কোন প্রতিশ্রুতিই যখন পূর্ণ হলো না, যথারীতি কিশোরের সঙ্গে গলা মিলিয়ে, আশাও রইলো না, (AI এর প্রতি) ভালবাসাও রইলো না। শুরু হলো দ্বিতীয় AI Winter।

বর্তমান: 2010 সাল নাগাদ, মোটামুটি গোটা দুনিয়া যখন neural network শুনলেই নাক কুঁচকোয়, প্রায় সবধরনের মেশিন-লার্নিং সমস্যার যখন সমাধান হচ্ছে, হয় Kernel Method (উদাহরণ, support vector machine (SVM)) বা graphical method (উদাহরণ random forest আর gradient boosted decision tree (BDT)) দিয়ে, তখনো ANN নিয়ে উৎসাহ আর রিসার্চের কাজ জিইয়ে রেখেছিলো Canadian Institute for Advanced Research (CIFAR)। এদের উদ্যোগে University of Torontoর Geoﬀrey Hintonএর দল, University of Montrealএর Yoshua Bengio, আর New York Universityর Yann LeCun (LeNet-খ্যাত) এর সম্মিলিত চেষ্টায় তখনো computer vision এ ANN এর ব্যবহার নিয়ে অনবরত রিসার্চ চলছিলো। এদের বিরুদ্ধে একটাই অভিযোগ তখনো বলবৎ: এই পদ্ধতি অবলম্বন করতে হলে প্রচুর computation ক্ষমতা প্রয়োজন হয়।

অন্য কথা:

Photo: Philip Montgomery (Source)

মেশিন-লার্নিংএর জন্যে সবথেকে বেশি দরকার সাজানো-গোছানো, দরকারে label দেওয়া, curated data। তেমন data না বানিয়ে algorithm তৈরি করতে থাকা আর ঢাল-তলোয়ার ছাড়া নিধিরাম সর্দারের যুদ্ধ করতে যাওয়া একই ব্যাপার। উলটোদিকে, সাজানো, জটিল dataset থাকলে তা ব্যবহার করা সম্ভব algorithmদের তুলনামূলক পর্যালোচনায়। দরকারে প্রতিযোগিতার আয়োজনও করা সম্ভব, যেখানে সেরা algorithm জিতবে তার কর্মক্ষমতার ভিত্তিতে। 2006 সালে University of Illinois Urbana-Champaign এর নব্য অধ্যাপিকা Fei-Fei Li (অধুনা Google Cloud এর Chief Scientist) এই সত্যটাই অনুধাবন করে বানাতে শুরু করলেন একখান অশ্রুতপূর্ব visual object recognition dataset, যার নাম ImageNet। 2009 সালে প্রথম তার ঘোষণা হলো একটি পেপারের মাধ্যমে, কিন্তু এতই জনপ্রিয় হলো একবছরের মধ্যে, যে 2010 থেকে বার্ষিক প্রতিযোগিতা চলে ImageNet dataset নিয়ে, যুযুধান algorithmদের মধ্যে। তা, কেমন এই dataset? 14 million এর ওপর হাতে করে label করা ছবি, 20000এর ওপর category, অন্তত 1 million ছবিতে objectএর চারপাশে bounding-box দিয়ে আলাদা করা। এককথায়, dataর ডাল-ভাতের জগতে বিরিয়ানির আবির্ভাব। ImageNet নিয়ে খাসা একখানা লেখা পড়তে চাইলে এইখানে চলে যাও।

Add caption

ImageNet এর প্রথম দু’বছরের (2010) প্রতিযোগিতায় সব অংশগ্রহণকারীই অন্তত 25% data ভুলভাবে চিহ্নিত করেছিল (সঙ্গের চার্ট)। 2011র সেরা প্রতিযোগীর top-five accuracy ছিল 74.3%, আর সবাই ব্যবহার করছিলো classical machine learning algorithm। তদুপরি, এ সব মডেল ব্যবহার করার আগে প্রবল চাপ নিয়ে feature learning করতে হতো HOG, SIFT এর মত algorithm এর সাহায্য নিয়ে। 2012 সালে Alex Krizhevsky আর Geoﬀrey Hinton এর দল প্রথম CNN ব্যবহার করে accuracy বাড়িয়ে করলেন 83.6% - পাশা উলটে গেলো। Computer Vision AI কোম্পানি Clarifaiএর CEO Matthew Zeiler এর ভাষায়:

This Imagenet 2012 event was definitely what triggered the big explosion of AI today. There were definitely some very promising results in speech recognition shortly before this (again many of them sparked by Toronto), but they didn't take off publicly as much as that ImageNet win did in 2012 and the following years.

DL এর বিরুদ্ধে প্রধান যে অভিযোগ, computationally expensive হওয়া, তাও মিলিয়ে গেল এই সময়েই: Graphical Processing Unit (GPU) ব্যবহার করে একধাক্কায় CPU এর ওপর চাপ কমে গেলো, আর সময়ও কমে গেলো অনেকটাই। 2015র মধ্যে ImageNet বিজেতা 96.4% accuracy অর্জন করলেন। High Energy Physics এর experiment এর বর্তমান পীঠস্থান, European Organization for Nuclear Research, CERN এর সব particle detectorই এতদিন ব্যবহার করতো BDT, তারাও deep ANN ব্যবহার শুরু করে দিল পুরোদমে। Image classification, speech recognition, handwriting transcription, autonomous driving – সব বিষয়েই DL প্রায় মানুষের সমান কর্মক্ষমতা অর্জন করলো। ঢাক-ঢোল পিটিয়ে শুরু হলো DL এর তৃতীয় যুগ।

অন্য কথা:

একটা যুগ ছিলো, যখন Google এর Translate নিয়ে আমরা সবাই হাসাহাসি করতাম। শুধু খারাপ না, শিশুসুলভও নয়, translate ভিনগ্রহীর মতো অনুবাদ করতো। আর আমরা করুণাপরবশ হয়ে বলতাম, “আহা, বেচারা, মানুষ তো নয়…”। তারপর Google Translate 2016 সালে neural net ব্যবহার করা শুরু করলো। এরপর কি হলো জানতে NY Times এই খাসা লেখাটা থেকে একটা উদ্ধৃতিই যথেষ্ট:

As dawn broke over Tokyo, Google Translate was the No. 1 trend on Japanese Twitter, just above some cult anime series and the long-awaited new single from a girl-idol supergroup. Everybody wondered: How had Google Translate become so uncannily artful?

সামান্য সাবধান-বাণীর সময় এসেছে। আর কিছু না হোক, DL এর ওঠাপড়ার ইতিহাস অন্তত আমাদের এইটুকু শিখিয়েছে, এই নয়া প্রযুক্তির সাহায্যে কি করা সম্ভব, আর কি সম্ভব নয়, তা ঠাণ্ডা মাথায় না ভেবে দুম করে উত্তেজিত হলে বিপদ আছে। DL এমন অনেক কিছু করতে পারে, যা আপাতদৃষ্টিতে ম্যাজিক। কিন্তু তার মানে এই নয়, যে এই রাস্তায় হেঁটেই মানুষ বা মানুষের থেকে উন্নত AI আমরা তৈরি করে ফেলতে পারি। সে দিল্লি ‘দূর অস্ত’। এমনও নয় যে DL এর এই তুবড়ির মতো ছড়িয়ে পড়া চলতেই থাকবে। তাই অল্প সময়ের মধ্যে কিছু অবিমৃশ্যকারী ভবিষ্যদবাণী না করাই ভাল। তবে তার সঙ্গে এও ঠিক, যে এটা খুবই গুরুত্বপূর্ণ এক প্রযুক্তি, যার ধরণধারণ সময়ের সঙ্গে বদলে গেলেও, গোটা ব্যাপারটা লম্বা রেসের ঘোড়া।
আজ এ পর্যন্তই, পরের দিন থেকে গল্প কম, কাজ বেশি হবে…

একটু গল্পগাছা - 1

2020-04-17T18:02:00.002-07:00

এই পোস্টে আমরা একটু গল্পগাছা করবো। জানার চেষ্টা করবো, কৃত্রিম বুদ্ধিমত্তা (Artificial Intelligence) বা AI, Machine Learning (ML), আর Deep Learning (DL) কি? এদের মধ্যে সম্পর্ক, পার্থক্য আর শুরুর কিছু গল্প করে একটা ধারণা তৈরী করার চেষ্টা করবো, যার ওপর ভিত্তি করে দ্রুত এদের কাজে লাগানো শুরু করা যায়। সম্ভব হলে, আমরা আরো কতগুলো প্রশ্নের ছোট করে উত্তর জানার চেষ্টা করবো: ১) ভবিষ্যতে AI কি সত্যিই আমাদের জীবনে ততটা গুরুত্বপূর্ণ হয়ে উঠবে, যেমনটা সর্বত্র বলা হচ্ছে? ২) যা রটে, তার কতটুকু বটে? ৩) যে সব অজস্র নতুন নতুন শব্দ শোনা যায় ML প্রসঙ্গে, তাদের মানে কি? ৪) আর সবথেকে গুরুত্বপূর্ণ প্রশ্ন, এ-সব আমার কোন কাজে লাগবে? … যদি ঝিমুনি আসে, তবে স্বচ্ছন্দে পরের পোস্টে চলে যেতে পারো, তবে এ সব ব্যাপারে একদম কাঁচা হলে, এই পোস্টটা পড়ে ফেলাই বুদ্ধিমানের কাজ হবে। বাজার-চলতি সবচেয়ে নামকরা DL framework গুলোর মধ্যে একটা হলো Keras, আর এর স্রষ্টা হলেন François Chollet। ভদ্রলোক এই পোস্ট লেখার সময়ে Google এর চাকুরে, আর DL এর ওপর একখানা অতি ঝকঝকে বইয়ের লেখক। এই পোস্টে প্রধানত বইটার প্রথম চ্যাপ্টারটাই অনুসরণ করা হবে, যদিও মাঝেমধ্যে আমরা একটু এদিক-ওদিক ঘুরে আসবো।

সঙ্গের ছবিতে দেখানোর চেষ্টা করা হয়েছে AI, ML, আর DL এর পারস্পরিক সম্পর্ক (ছবি scale মেনে আঁকা নয়)। কিন্তু এরা আসলে কি?

AI : Artificial Intelligence শুনলেই যদিও আমাদের সিনেমা-দেখা মাথায় প্রথমেই আসে রোবটদের কথা, এর মানে রোবট নয়। এর আসল মানে এমন একটা computer program, যা তার চারপাশের জগৎটা অনুভব করতে পারে (পঞ্চেন্দ্রিয়ের বদলে পাঁচশো ইন্দ্রিয়ও থাকতে পারে), তা নিয়ে চিন্তা করতে পারে logically, সেই চিন্তার ওপর ভিত্তি করে একটা কর্তব্য স্থির করতে পারে, সেই কাজটা শুরু করতে পারে, এবং, সর্বোপরি, অবস্থা বদলালে, বা সমস্যা তৈরি হলে কাজের ধরণ বদলে ফেলতে পারে। মানে, এককথায়, আমরা একে অন্যের থেকে (অন্য Homo Sapiens) সবচেয়ে কম যতটুকু দাবী করে থাকি, সেইটুকুই। লিস্টি করে ফেলতে চাইলে, এর মোদ্দা লক্ষ্য হলো: reasoning, knowledge representation, planning, learning, natural language processing (NLP), perception, আর, the ability to move and manipulate objects।

তা, প্রশ্ন উঠতে পারে, এই রকম একটা মেশিন, যা কিনা আমাদের intelligence কে এতটাই ভাল নকল করতে পারে, তা আমরা তৈরি করতে চাইবো কেন? 7 billion মানুষের পৃথিবীতে কর্মীর কি কিছু অভাব পড়িয়াছে? উত্তর যদি হয়, যে মেশিন অন্যরকমের কাজ ভালো করে করতে পারে, repetitive, labor intensive কাজের জন্যে আমরা মেশিন ব্যবহার করতে পারি, অর্থাৎ, automation of reasoning, তাতে প্রশ্ন উঠবে, “ও, আচ্ছা, তাহলে এই AI আসলে ঠিক human intelligence এর কার্বন-কপি নয়! কি করে স্থির করলাম, যে এই ‘অন্যরকম বুদ্ধি’ আমাদের থেকে অনেকটা এগিয়ে গিয়ে, আমাদেরকেই আর তোয়াক্কা করবে না?” অন্য দিকে, আরেকরকমের প্রশ্নও উঠে আসে, যদি এই বুদ্ধির সঙ্গে আমাদের বুদ্ধির পার্থক্য না-ই করা যায়, তবে সেই বুদ্ধিমান মেশিনেরও কি মানবাধিকারের মতো ‘মেশিনাধিকার’ থাকা উচিত নয়? হতেই পারে, যখন আমরা তাকে দিয়ে কাজ করাতে চাই, তার তখন ‘ইচ্ছে’ হলো ছবি আঁকার। তাকে ‘বাধ্য’ করা আর দাসপ্রথা সমর্থন করা কি সমার্থক হয়ে দাঁড়াবে না? এই প্রবল দার্শনিক কচকচি বিরক্তিকর মনে হলেও, খুব দরকারি, কিন্তু এই মুহূর্তে আমাদের কোন কাজে লাগবে না।

অবান্তর:
এমন ভাবার কোন কারণ নেই, যে এই কৃত্রিম বুদ্ধিমত্তা বা রোবট নিয়ে মানুষের কল্পনা, চিন্তা সব আধুনিক যুগে শুরু হয়েছে। গ্রীক পৌরাণিক গল্পের Talos সম্ভবত প্রথম বুদ্ধিমান রোবট। Talosএর গল্প, মানুষের হয়ে তার কাজ করা, আর শেষে মানুষের প্রবঞ্চনাতেই তার ‘জীবন’-অবসান, ওই দার্শনিক চিন্তারই আরেকরকম ছবি। Talos এর গল্প নিয়ে একটা মিষ্টি animation আছে এখানে।

দর্শন যা-ই হোক, 1955 সাল নাগাদ থেকেই, কম্পিউটার সায়েন্স এর দিকপালেরা ভাবতে শুরু করেছেন, যে কোনো সময় আমরা AI বানিয়ে ফেলতে পারি। এই ‘যে কোনো সময়’টা, অবশ্যই মানুষের সময়-সূচী মেনে চলেনা। কিন্তু optimism bias এ ভোগা মানব-মস্তিষ্ক ভেবে বসেছিলো, যে মেশিনের সে দিন আসন্ন। উদাহরণ? MIT র AI lab এর প্রতিষ্ঠাতা Marvin Minsky সেই 1967 সালে বলে বসলেন, “within a generation ... the problem of creating 'artificial intelligence' will substantially be solved.”

অবান্তর:
এখানে Minsky কে নিয়ে আলোচনা হবে।

ভদ্রলোক একা নন, মুষ্টিমেয় কিছু মানুষ ছাড়া সকলেই ভেবেছিলো যে AI এর দিন আসলো বলে। এর কারণ আছে। আশির দশকে expert systems নামের একধরনের program (যার ভিত্তি আরও আগেকার symbolic AI) প্রবল জনপ্রিয় হয়েছিলো। এদের মধ্যে কিছু, দিয়ে দেওয়া বেশ কিছু rule এর ভিত্তি করে প্রশ্নের উত্তর দেওয়ার চেষ্টা করতো (inference engine), আর কিছু, লোড করা প্রচুর তথ্যের database এর ভিত্তি করে একই কাজ করার চেষ্টা করতো (knowledge base)। এরা এমন অনেককিছু করতে পেরেছিলো, যা মানুষ আগে ভাবেনি, তার মধ্যে logical problem solve করা যেমন আছে, তেমন ছিলো দাবা খেলা।

অবান্তর:

IBM এর দাবা খেলার মেশিন Deep Blue 1996 সালে তৎকালীন দুনিয়ার সেরা দাবাড়ু Gary Kasparov কে হারিয়েছিলো একটা game এ, যদিও match টা Kasparov ই জেতেন। সেই শেষ মুখরক্ষা, পরের বছরই Kasparov কে ম্যাচটিও খোয়াতে হয়। Deep Blue ছিলো এই ধরনের এক symbolic AI, এদের এখনকার দিনে আদর করে ‘GoodOld-Fashioned Artificial Intelligence’ (GOFAI) বলে ডাকা হয়। এদের অনেক উপরের স্তরের আধুনিক ভায়রাভাই আছে, যারা গোলমেলে কঠিন কাজকম্মো করতে সক্ষম। একটা উদাহরণ হলো Wolfram Alpha। তোমার কাছে Mathematica থাকলে তুমি তার ভেতর থেকেই Alpha ব্যবহার করতে পারো, কিন্তু না হলেও, web-version তো আছেই। ব্যবহার করার নিয়মকানুন নিয়ে পরে আলোচনা হবে।

আর একটা নামকরা inference engine এর নাম হলো Cyc, যার database তৈরি হয়েছিলো CycL languageএ। এই database ছিলো hard-coded, অর্থাৎ, কোন একজন মানুষ হাতে করে সেটা তৈরি করতো। গোলমেলে কাজ, তদুপরি, সত্যিকারের পৃথিবীর মতো যথেষ্ট জটিলতা তৈরি করতে গেলে আরো গোলমাল হতো। একটা উদাহরণ দেওয়া আছে Deep Learning এর এক নামকরা ব্যক্তিত্ব Ian Goodfellowর বইতে:

... Cyc failed to understand a story about a person named Fred shaving in the morning. Its inference engine detected an inconsistency in the story: it knew people do not have electrical parts, but because Fred was holding an electric razor, it believed the entity ‘FredWhileShaving’ contained electrical parts. It therefore asked whether Fred was still a person while shaving.

ভাল কথা, কিন্তু এমন অনেক ধরনের ‘ঘোলাটে’ কাজ আছে, যা দাবা খেলার মতো কঠিন নিয়ম মেনে চলে না, অথচ আমাদের দৈনন্দিন জীবনে আমরা হরবখত করে থাকি, আর সেগুলো খুব দরকারি কাজও বটে। উদাহরণ? অনুবাদ করা। গুচ্ছের লোক একই জিনিসকে হাজার রকম করে বলে চলেছে, আর তার কথার মধ্যে লুকিয়ে আছে তার মনের ভাব, অবস্থা, এমনকি dry রসিকতা অবধি। কি করে এই অস্পষ্ট নিয়মে বাঁধা ভাষাকে অন্য, একইরকম অস্বচ্ছ নিয়মে তৈরি অন্য একটা ভাষায় বদলে দেওয়া যায়? অথবা, মানুষের হাতের লেখা থেকে বোঝা, সে কি লিখতে চেয়েছিলো? এইসব কাজ আমরা প্রতিনিয়ত এত বেশি করি, আর মানব-মস্তিষ্ক এসব করতে এতটাই সক্ষম, যে আমরা ভুলে যাই, আসলে এদের codify করা আসলে কতটা কঠিন। এইসব আপাত অসম্ভব সমস্যার সমাধানে এক নতুন জিনিস এলো বাজারে, symbolic AI কে গদিচ্যূত করতে। তার নাম? Machine Learning।

ML : একটু ভাবার চেষ্টা করা যাক, programming বলতে আমরা আসলে ঠিক কি বুঝি? মেশিনকে আমরা সাধারণত কিছু input দিয়ে থাকি, যা নম্বর, শব্দ, ছবি যা কিছু হতে পারে। সঙ্গে আমরা আরো কিছু দিই মেশিনকে, যাদের rule বলা যেতে পারে, যেমন, “input 10 এর থেকে বেশি হলে তাকে 2 দিয়ে গুণ করো, না হলে 3 দিয়ে” – এইসব। বদলে মেশিন থেকে আমরা পাই উত্তর, ঠিক যেমনটা আমরা চাই; এমনকি আমরা আগে থেকেই জানি, যে ঠিক উত্তর কি হবে। সময় দিলে আমরাই সেই সব উত্তর বের করে আনতে পারি। একে classical programming বলা যেতে পারে।

কিন্তু, এ কি করে বুদ্ধিমত্তার পরিচয় হলো? intelligence এর মানে তো প্রায় সবসময়েই অজানা নিয়মকানুন খুঁজে বের করে আনা, তাই না? একজন 11 ক্লাসের ছাত্রীকে একখান arithmetic progression এর প্রথম পাঁচখানা সংখ্যা ধরিয়ে দিলে কিছুক্ষণের মধ্যেই সে বলে দেবে, যে পরের সংখ্যাটা কি হবে। কি করে বলতে পারলো? ওটা যে Fibonacci Series নয়, সে বিষয়ে কি করে নিশ্চিত হতে পারলো? উত্তর তার কাছে খুব সোজা: প্রথম দু’টো সংখ্যা দিয়ে শুরু করে ও প্রথমে বোঝার চেষ্টা করবে, তৃতীয় সংখ্যাটা কি করে আসে। একখানা সম্পর্ক খুঁজে বের করতে পারলে, সেটা আবার দ্বিতীয় আর তৃতীয়ের ওপর লাগিয়ে দেখার চেষ্টা করবে তার থেকে চতুর্থটা আসে কিনা। যেই উত্তর মিলে যাবে, আরো একবার শেষ দু’টোর ওপর বসিয়ে নিজের খুঁজে পাওয়া ‘নিয়ম’টা ঝালিয়ে নিয়ে তোমায় উত্তর বলে দেবে (অবশ্যই, সমান্তর প্রগতির অঙ্ক করে আসাটা তার উপকারে লাগবে এই সময়। Good, তার মানে পূর্ব-অভিজ্ঞতা কাজে লাগছে)।

মেয়েটা যা অনায়াসে করলো, সেটা আসলে কি? প্রথমেই ও ধরে নিলো, যে প্রথম দু’টো সংখ্যা ওর input, আর পরেরটা ওর ‘ঠিক’ উত্তর। এইভাবে দুই আর তিন নম্বর সংখ্যাগুলো input হ’লে, চার নম্বরেরটা উত্তর। এই নানা রকম input আর উত্তরের combination গুলো ঠিক কোন rule মেনে চলে, সেটাই ও খুঁজে বের করলো। আমরা আরও একবার নিশ্চিন্ত হলাম, যে ও ‘বুদ্ধি’মতী। বেশ, কিন্তু এ তো classical programming এর উলটো কথা! Classical programming মেনে চলা কম্পিউটার কি করে ‘বুদ্ধি’মান হবে?

অবান্তর:

First computer algorithm (Wikipedia)

Augusta Ada King, কবি Lord Byron এর একমাত্র বৈধ সন্তান, Lovelace Countyর মালকিন, ছিলেন ‘কম্পিউটারের জনক’ Charles Babbage এর সহকর্মী। সেই প্রস্তাবিত প্রথম কম্পিউটারের (mechanical computer, electronic chip এর বহুযুগ আগের কথা হচ্ছে, ঊনবিংশ শতকের তিরিশ-চল্লিশের দশক) প্রধান কাজ ছিলো mathematical calculation করা, আর সেই জন্যেই নাম দেওয়া হয়েছিল ‘Analytical Engine’।

Lady Ada Lovelace বুঝেছিলেন, এই যন্ত্র শুধু যে calculation করতে সক্ষম তা-ই নয়, একে দিয়ে অন্য অনেক কিছু করানো সম্ভব, শুধু সঠিক algorithm লেখার অপেক্ষা। মহিলা কাজটা নামিয়েও ফেলেছিলেন। জগতের প্রথম published algorithm এর স্রষ্টা প্রথম computer programmer দের একজনও বটে। তা, 1843 সালে এই নয়া আবিষ্কার সম্পর্কে ওঁর বক্তব্য ছিলো: “The Analytical Engine has no pretensions whatever to originate anything. It can do whatever we know how to order it to perform … Its province is to assist us in making available what we’re already acquainted with.” এই ধারণার মধ্যে বুদ্ধির নামগন্ধও আছে কি? নাহ্, কিন্তু এই ধারণার পরিবর্তন করতেই মাঠে নেমেছিলেন Turing, তাঁর Turing Test এর আইডিয়া নিয়ে।

ক্ষণজন্মা বিজ্ঞানী Alan Turing (নাম না জানা থাকলে Google করো, আর The Imitation Game সিনেমাটা দেখে ফেলো) তাঁর 1950 সালের বিখ্যাত পেপারে দেখিয়েছিলেন, যে তা সম্ভব। মেশিন-লার্নিং এই অসাধ্যটাই (ভাল-খারাপ, যেভাবেই হোক) সাধন করে দেখায়। আমরা মেশিনকে দিই input data আর তার সম্ভাব্য উত্তর, অনেক-অনেক গুলো। মেশিন তাদের দেখে programmed হয় না, trained হয়। Statistics আর calculus ব্যবহার করে তারপর ও খুঁজে বের করার চেষ্টা করে তাদের মধ্যে সম্পর্ক। অর্থাৎ, ও এবার জানে যে ওই ধরনের input থেকে ওই ধরনের ‘সঠিক’ উত্তর বের করে আনতে কি ধরনের rule apply করতে হবে।

Training যদি ভাল (এই ‘ভাল’-‘মন্দ’ ব্যাপারটা অত সহজ না, পরে বিশদে জানতে হবে আমাদের) হয়, তবে এর পরে ওকে যদি এমন কোনো input দেওয়া হয়, যা ও আগে দেখেনি, তখনও ওই খুঁজে বের করা rule গুলো লাগিয়ে ও আমাদের একটা সম্ভাব্য উত্তর বলে দিতে পারবে। কেমন একটা ‘বুদ্ধি’-‘বুদ্ধি’ গন্ধ আসছে না এবার? আগের পোস্টের উদাহরণের ImageIdentify যে ম্যাজিকের মতো বলে দিতে পারছিলো input এর ছবিটা কিসের, তার কারণ, ওকে তার আগে প্রবল training এর মধ্যে দিয়ে যেতে হয়েছে (একখানা গোটা project তৈরী করা হয়েছে শুধু ওই functionটার জন্যে। প্রোজেক্টটা সম্পর্কে Wolfram এর নিজের পোস্টটা সময় হলে পড়ে দেখতে পারো)। অথচ, এর মধ্যে কোন ম্যাজিকই নেই, আছে statistics, linear algebra আর calculus। তাহলে ML কি শুধু statistics এর একটা অংশমাত্র? না। ধারণা, ব্যবহার আর প্রস্তাবনার মধ্যে বেশ কিছু মিল থাকলেও, একটা প্রথাগত statistical analysis , যেমন Bayesian analysis আর ML এর মধ্যে কিছু মজ্জাগত পার্থক্য আছে। কিরকম? সেটা বোঝার আগে, আমাদের একটু জানতে হবে, এই উদ্ভট কাজটা ML করে কিভাবে? সে গল্প নাহয় চলুক পরের পোস্টে…

Mathematica আর Machine-Learning

2020-04-14T12:53:00.003-07:00

Mathematic (MA) / Wolfram Language (WL) এর সাধারণ ব্যবহার, ফ্রি-তে কিভাবে হাত পাকানো যায়, সহজে পারদর্শী হয়ে ওঠার হাজার টোটকা – এ সব নিয়ে হাজার লাইন লেখা যায়, সময়-সুযোগ অনুযায়ী অন্যত্র লেখা হবে। আপাতত লক্ষ্য হলো, এই মেশিন-লার্নিং বস্তুটি MA র সাথে কিভাবে যুক্ত, কি করে, এবং কেন এ সম্পর্কে জানতে আমি MA ব্যবহার করবো, তার সপক্ষে যুক্তি। নিজের কথা না বলে StackExchange এর এক ভদ্রলোকের উক্তি টুকে দেওয়া যাক:

Here, as in most disciplines, the “best” language depends upon what you seek to accomplish. In pattern recognition and machine learning, the early stages are ones of experimentation and exploration--trying different algorithms, feature pre-processing, and such, as well as integrating different functions and visualizing preliminary results. One of the many great benefits of Mathematica is its seamless integration between different functionality, so it is easy to use statistical learning with graph-theoretic methods, and pre-processing of images, sound, financial data, etc., without the need to load libraries of special-purpose functions. I really like Mathematica's symbolics for statistical analyses, Probability, and so on. I'm not aware of any other language that comes close to its power and ease in such tasks.

MA ব্যবহার করে শুধু যে machine-learning করা যায়, তা-ই নয়; মনে রাখা দরকার, এটা যেহেতু একটা functional language, তাই machine-learning ব্যবহার করেও এতে অনেক function তৈরি করে রাখা সম্ভব, যাদের learning আগে থেকেই করে রাখা আছে, আমাদের শুধু ব্যবহার করতে হবে। মাথায় রাখা দরকার, এই function গুলো মেশিন-লার্নিং ব্যবহার করে, তার মানে তোমার-আমার কম্পিউটারে প্রথম থেকে load করা নেই। প্রথমবার চালালে আগে তার প্রয়োজনীয় resource গুলো সব Wolfram Server থেকে লোড হবে, তারপর চলবে। তার ওপর, যত MA ভার্সন বদলাবে, সময়ের সঙ্গে এগুলো বেশি ভাল কাজ করবে, তাই বিভিন্ন সময়ে এর উত্তর আলাদা আসবে। অর্থাৎ, “তোর মেশিনে ঠিক উত্তর আসছে, আমার কেন আসছে না?”-এ প্রশ্ন এ প্রসঙ্গে অর্থহীন।

একটা ছবি দেখে বোঝা, যে ছবিটা কিসের, বা ছবিতে কি কি আছে। এই ধরনের সব ব্যবহারকে এক-কথায় Computer-Vision বলে। এখন, ছবিটা যদি কোন এক ধরনের জিনিসের হয়, (ধরা যাক একটা কুকুর) তবে উত্তর পাওয়া অপেক্ষাকৃত সহজ হওয়া উচিত। এর জন্যে ব্যবহার করা যায় ImageIdentify। এবার, যদি ছবিতে নানা রকমের জন্তু থাকে, তবে তাদের চারপাশে BoundingBox ব্যবহার করে তাদের আলাদা করতে হবে, তারপর তাদের চিনতে হবে। এই কাজটা একবারে করতে পারে ImageCases, ImageContents – এইসব function। এমনকি, ছবিতে বিশেষ কোন একধরনের জিনিস আছে কি না, তাও খতিয়ে দেখার জন্যে ImageContainsQ রয়েছে। এখনো অবধি এই ধরনের সব function এর লিস্ট পাওয়া যাবে এই লিঙ্কে।
ছাপা-অক্ষর, অর্থাৎ টেক্সট নিয়ে নানারকমের খেলাধুলো করার জন্যে, যেমন কোন ধরনের শব্দ, তাদের অর্থ কি, কোন শব্দ কতবার ব্যবহার হয়েছে, ব্যবহৃত শব্দের কোনটা কি ধরনের রাশি, এ সব বোঝার জন্যে রয়েছে TextStructure, TextCases, TextContents এর মতো function। নিচু ক্লাসে ইংরেজি পরীক্ষায় unseen passage দিয়ে প্রশ্ন করা হতো না, যার উত্তর থাকতো ওই প্যারাগ্রাফের মধ্যেই? সেরকম উত্তর মেশিন নিজে নিজেই যাতে খুঁজে বের করতে পারে, সেই function হলো FindTextualAnswer (এই দুই লিঙ্কে [ ১ , ২ ] আছে এ ধরনের সব)। এ তো তাও ভাল, টেক্সট পড়ে তার ভাষা কি, সেটা স্থির করে, তার অনুবাদ অবধি করে দিতে পারে MA, উদা: LanguageIdentify। ছবি থেকে লেখা পড়ে তার অর্থোদ্ধার (এমনকি বেশ খানিকটা অস্পষ্ট হলেও) করার জন্যে আছে TextRecognize।
ছবি বা টেক্সটের মতো, কম্পিউটারে আমরা আর যা input হিসেবে দিতে পারি, তা হলো শব্দ। মাইক্রোফোনে কথা রেকর্ড করে, সেই রেকর্ডিং থেকে শব্দ, বাক্য, মায় গোটা প্যারাগ্রাফ পর্যন্ত text এ বদলে দেওয়ার function হলো SpeechRecognize। অবশ্যই, গোটা ব্যাপারটা ইংরেজিতে হতে হবে, আর ‘উরুশ্চারণ’ বা রেকর্ডিঙের দোষে বেচারা কম্পিউটার আমাদের কথা বুঝে উঠতে না পারলে সে গুড়ে বালি। গোটা রেকর্ডিঙে কি কি ধরনের শব্দ রয়েছে, তার probability সমেত লিস্ট করার জন্যে রয়েছে AudioIdentify, সুর বা frequency বোঝার জন্যে PitchRecognize, এমন আরো গুচ্ছের function

এ সব খুবই আনন্দজনক হলেও, সিরিয়াস বাচ্চারা প্রশ্ন করবে, “কিন্তু কাজের কাজে কি এ সব লাগবে?” উত্তর: আলবৎ! আপাতত একটাই উদাহরণ দিই, বাকি ক্রমশঃ প্রকাশ্য। প্রায় সব ধরনের রিসার্চে প্রায়শই যে সমস্যাটার সম্মুখীন আমাদের হতে হয়, তা হলো, বেশ কিছু সংখ্যা (numeric data) হাতে আছে, তা সে 1-D, 2-D, যা-ই হোক না কেন, আমাদের খুঁজে বের করতে হয়, যে ওই dataর distribution খানা কেমন দেখতে। প্রথম কাজ হলো, dataকে bin করে ফেলা, অর্থাৎ histogram বানিয়ে ফেলা, সেটিকে normalize করা, এবং তারপর দেখা, যে এটা কোন distribution এর PDF (probability density function) এর থেকে আসতে পারে। যদি কেউ বলে দেয়, যে ওটা Normal বা Gaussian distribution ই হবে, তবে নানা উপায় আছে তার mean আর standard deviation বের করার। কিন্তু যদি না বলে দেয়? MA তে আছে FindDistribution, যা শুধু খুঁজে দেয় distribution তা-ই নয়, সংখ্যা বলে দিলে, আর model selection criteria বলে দিলে, সবচেয়ে বেশি সম্ভাব্য distribution এর একখান লিস্টিও ধরিয়ে দেয়।

আরো আছে। এইসব ফ্যাশনেবল inputএর বদলে অধিকাংশ সময়েই আমাদের দরকার হয় একগাদা String বা number কে সাজানো, বা এমন কিছু বানানো, যা কোন ধরনের input দিলে তাকে কোন একটা শ্রেণীতে সাজিয়ে দেবে। যেমন, High Energy Physics এ এক ধরনের বড় কাজ হলো, কোন একটা event (পার্টিকলরা নিজেদের মধ্যে গুঁতোগুঁতি করার সময় একটা ধাক্কার সব information) signal না background সেটা আলাদা করা। অথবা, টিউমারের স্ক্যানের ছবি দিয়ে বোঝা, সেটা malignant কিনা, এমন হাজারো ব্যবহার। কিন্তু এই বিষয়গুলো তো আর কুকুর বেড়ালের ছবি নয়, যে রাশিরাশি উদাহরণ internet ঘাঁটলেই পেয়ে যাবো - এর জন্যে আমাদের নিজেদের special curated dataset ব্যবহার করার প্রয়োজন। তা, এইরকম ডেটাসেট যদি বানিয়েও ফেলি, তার থেকে মেশিনকে train করাবো কি করে, যাতে সে আমার বিশেষ দরকারটা মেটাতে পারে? এর জন্যে এর পরে আমরা neural network বলে একধরনের জিনিস নিয়ে বহু ত্যানা পেঁচাবো, কিন্তু ঝট করে কিছু করে ফেলার জন্যে automated function MA-তেই রয়েছে, তার নাম Classify।

অন্য আরেক ধরনের সমস্যাও ঘনঘন আসে আমাদের সামনে। ধরা যাক, গত ১০ বছর ধরে ভারতের বিভিন্ন জেলায় যত অপরাধ সঙ্ঘটিত হয়েছে, তার ডেটা আছে আমাদের হাতে। সঙ্গে আছে সেই সব জেলার সাক্ষরতা, জনঘনত্ব, গড় বয়স, নারী-পুরুষের অনুপাত –মানে গোটা আদম-সুমারির খবর। এবার, এক বছর পরে কোন জেলার এই সব জিনিসের সংখ্যা বলে দিলে মেশিন কি মোটামুটি ভবিষ্যদবাণী করতে পারবে, যে তার মাসিক অপরাধের হার কত হবে? বা আরো সোজা একটা উদাহরণ, কোন কোম্পানির স্টক-মার্কেটের ওঠা-পড়ার ডেটা থেকে ভবিষ্যদবাণী? যেমনটা করার জন্যে নাকি মোটা টাকা পান অনেক বিশেষজ্ঞ? আবারো, ভাল করে এসব কাজ করতে চাইলে, সময় লাগবে, কিন্তু automated function? আছে, তার নাম Predict।

যা বলা হলো, তার থেকে না-বলা function এর সংখ্যা অনেক বেশি। কিন্তু মেশিন-লার্নিং মানে তো আর বসে বসে মুখস্থ করা নয়, যে কোন function কি করতে পারে, বদলে আমরা নিজেরাই সেই ধরনের function তৈরি করতে চাইবো। হুম্‌, সে ব্যবস্থার জন্যেই তো এই ব্লগ… কিন্তু এও মনে রাখা দরকার, ছোট্ট কোন কাজের জন্যে গুচ্ছের সময় নষ্ট না করে একটু খুঁজেই যদি বেশ ভালো কোন উত্তর পাওয়া যায়, তবে আর মশা মারতে কামান দাগা কেন?

আজ এ পর্যন্তই, পরের ব্লগ-পোস্টে চলে যাওয়ার আগে একটু উপরে দেওয়া লিঙ্কগুলো ঘেঁটে ফেললে ভালো। কিছু নাম হালকা মনে থাকলে পরে চট করে খুঁজে পাওয়া যাবে। শুধুই গল্পকথা না শুনে, যাতে হাতেকলমে কিছু করে দেখা যায়, তাই সঙ্গে একখান MA notebook দেওয়া থাকলো (নিচের button)। Download করে নিজে চালিয়ে দেখো, শুধুই কিছু উদাহরণ রয়েছে।

মেশিন লার্নিং কারে কয়? (৫ মিনিটে পড়া যাবে)

2020-04-14T12:50:00.019-07:00

Machine learning is a thing-labeler, essentially.
-- Cassie Kozyrkov

কোন বিষয় নিয়ে ভাল করে বোঝার আগে তার সম্পর্কে একটা আবছা, কিন্তু সঠিক ধারণা তৈরি হওয়া ভাল। যেমন, ‘রকেট’ শুনলে তোমার কালীপুজোর হাউই থেকে শুরু করে মহাকাশ, মঙ্গলগ্রহ অবধি সবই মনে হ’তে পারে, এমনকি খুব বেশি Marvel-এর সিনেমা দেখার অভ্যেস থাকলে বদমেজাজি Racoon-টির কথাও মনে পড়তে পারে, কিন্তু সম্ভবত জামা-কাপড় বা থালা-বাসনের কথা মাথায় আসবে না। তেমনই, ‘মেশিন-লার্নিং’ শুনলে তোমার যদি ‘খুব কঠিন’, ‘ম্যাজিক’ বা ‘কল্পবিজ্ঞান’ মনে হয়, তবে সেটা ঠিক নয়, আর ঠিকটা কি সেটা আমরা ৫ মিনিটে বুঝবো।

বড় বড় দোকানে কর্মচারীদের হাতে কখনো একটা যন্ত্র দেখেছো, যার থেকে দাম-ছাপা লেবেল বেরিয়ে আসে, আর সেই লেবেল জিনিসপত্রের গায়ে সেঁটে দেওয়া হয়? আজকাল এই কাজটা করে বারকোড বা QR-কোড। এই কোডগুলোকেও তুমি লেবেল হিসেবে ভাবতে পারো, যার মধ্যে লেখা আছে, জিনিসটা কি, তার দাম কত, এই সব। একই ঘটনা দেখতে পাবে লাইব্রেরীতে গেলে। সব বইয়ের মধ্যেই একটা কাগজ গোঁজা বা সেঁটে দেওয়া থাকে, যাতে বইয়ের নাম, দাম, লেখক, প্রকাশনী, ছাপা-সংক্রান্ত তথ্য – সব থাকে। এই লেবেলগুলোকে কাজে লাগালে অনেক কিছু করা সম্ভব। একই তাকে দোকানের সব বিস্কুট সাজিয়ে রাখা সম্ভব, বিস্কুটের সঙ্গে তেলের শিশি গুলিয়ে না ফেলে। একই তাকে এমন সব জিনিস সাজিয়ে রাখা যায়, যাদের দাম ২০ টাকার কম – এইসব। তা, দোকানে বা লাইব্রেরীতে এই লেবেল বসানোর কাজটা করেন কর্মচারীরা, আর বারকোডের ক্ষেত্রে, যে কারখানায় জিনিসটা তৈরি হয়েছে, তারা।

মেশিন-লার্নিং আর কিছুই নয়, এই লেবেল বসানোর একটা যন্ত্র। কৃত্রিম বুদ্ধিমত্তা (Artificial Intelligence / AI) বলতে আরও অনেক কিছু বোঝায়, কিন্তু এই লেখার সময়াবধি, AI-ও আসলে এই লেবেল বসানোরই এক বিশেষ ধরন। দুঃখ পাওয়ার কোন কারণ নেই। যতটা ভাবতে পারছো, লেবেল বসানো তার থেকে অনেক বেশি কাজে লাগে।

একটা উদাহরণের সাহায্যে বোঝা যাক ব্যাপারটা?

Source

উপরের ছবিটায় অগুণতি pixel আছে, নানা রঙের, নানা উজ্জ্বলতার। তারা নিজেদের মধ্যে জুড়ে তৈরি করেছে বিভিন্ন আকৃতি। এই সবকিছু দেখে, বুঝে, ওজন করে, নিজের পূর্ব অভিজ্ঞতা কাজে লাগিয়ে আমরা যে কেউ ওই ছবিটার দিকে একঝলক তাকিয়েই বুঝতে পারলাম, যে ওটা একটা বেড়ালের ছবি।

কিন্তু যদি একজন programmer কে বলি একটা code লিখতে, যা কিনা ঠিক এই কাজটাই করবে, তাহলে তার কাজ কি হবে? আমি-তুমি, লক্ষ লক্ষ বছরের বিবর্তনের এই ফসলেরা, কাজটা করে ফেললাম ঠিকই, কিন্তু কি করে করলাম, তা আমাদের ঠিক জানা নেই। আদতে এই পদ্ধতি বা রেসিপি (শৌখিন ভাষায় model) খুঁজে বের করা বেশ কঠিন!

আচ্ছা, যদি এমন হ’তো, যে আমরা গুচ্ছের বেড়ালের ছবি এনে কম্পিউটারকে দেখিয়ে জিগ্যেস করতাম, “এই নাও গাদাখানেক ছবি – এরা সবই বেড়াল”, আর কম্পিউটার নিজেই বেড়ালের ছবি চিহ্নিত করার code-টা বানিয়ে ফেলতো, উদাহরণগুলো দেখে দেখে? সবশেষে, ও কিন্তু সেই লেবেল তৈরি করার কাজটাই করছে, এক্ষেত্রে লেবেলটা ‘বেড়াল’। কিন্তু এতে আমাদের সুবিধেটা কোথায়? সুবিধে হ’লো, একদম নতুন একটা ভাষায় আমরা কম্পিউটারের সঙ্গে কথা বলতে পারছি। নির্দেশাবলী (কোড) নয়, উদাহরণের সাহায্যে ভাব-বিনিময় হচ্ছে মেশিনে-মানুষে।

এই অদ্ভুত, নতুন এক ধরণের programming paradigm –এর নামই হলো মেশিন-লার্নিং। ম্যাজিক নয়, লেবেল করার কাজ, যা আমাদের বদলে কম্পিউটার করে।

Probability - 2(Jefferson থেকে Bayes)

2020-04-04T17:00:00.084-07:00

হামুরাবির মৃত্যুর 3500 বছর পরে উত্তর আমেরিকার 13-টা ব্রিটিশ কলোনি ইংরেজ রাজত্বের বিরুদ্ধে বিদ্রোহ ঘোষণা করে। ফলস্বরূপ, তাদের প্রতিনিধিরা 1776 সালে Philadelphia শহরে সমবেত হন, আর 4 July প্রকাশিত হয় The Declaration of Independence of the United States। প্রথম খসড়াটি লিখেছিলেন Thomas Jefferson, যাঁর ছবি-নির্ভর word-cloud পোস্টের একদম শুরুতে আছে। তা, এই ঘোষণাপত্রের বয়ান? দ্বিতীয় অনুচ্ছেদেই আছে -

… We hold these truths to be self-evident, that all men are created equal, that they are endowed by their Creator with certain unalienable Rights, that among these are Life, Liberty, and the pursuit of Happiness. …

হামুরাবির মতো এর লেখকেরা ঐশ্বরিক নির্দেশের দাবী করেননি যদিও, কিন্তু কিছু স্বতঃসিদ্ধ ঘোষণা করেছেন: “সবাই রাজা আমাদের ‘এই রাজার’ রাজত্বে…” ইত্যাদি। এত হাজার বছর পরে হামুরাবির দাবী-দাওয়া আমাদের অবান্তর মনে হতেই পারে, আর উপর্যুক্ত ভাষ্যটা অনেক বেশি গ্রহণযোগ্য মনে হতেই পারে, কিন্তু আবার, সে সব নিয়ে তর্ক-বিতর্ক আমাদের উদ্দেশ্য নয়, আমরা আজ “Declaration of Independence” ব্যবহার করে Probability-র চর্চা করবো।

Made with "XKCDConvert"

আগের পোস্টের মতোই, আমরা এই নথিটিরও শব্দ, বর্ণ –এসব নিয়ে নানারকম খেলাধুলো করতে পারি। সঙ্গের notebook-এ সে সব করা আছে। Joint probability-র matrix plot আর marginal probability-র টেবিল/চার্ট সঙ্গে দেওয়া হলো। আগের মতোই, $ P(x=a_i, y=b_i) $ হলো ওই matrix-এর $ a_i $ row-এর $ b_i $ column-এ যে সংখ্যাটা পাওয়া যাবে, সেটা।

Conditional Probability: এবার একটু চিন্তা করা যাক। ভেবে দেখো, এই যে 1-D marginal probability-র চার্ট, বা 2-D joint probability-র matrix plot, এগুলো সবই probability distribution হওয়ার সব নিয়ম পালন করে, তাই না (গত পোস্টের প্রথম তিনটে নিয়ম, Kolmogorov সৌজন্যে)? প্রত্যেকের value 0 থেকে 1 এর মধ্যে, সবার যোগফল 1, ইত্যাদি? আচ্ছা, এবার, matrix plot-এর যেকোন একটা row নেওয়া যাক, ধরো, ‘e’, অর্থাৎ, $ x = \text{e} $ ($ y = \text{e} $ নয় কিন্তু, সেটা হবে ‘e’-এর column)। শুধু এই row-টা কি বোঝায়? $ y $-এর distribution, যদি $ x = \text{e} $ ঠিক করা থাকে। বেশ, কিন্তু এটা কি একটা probability distribution? না, তা নয়, কারণ, matrix-এর সব ঘর যোগ করলে যোগফল 1 হবে; শুধু ‘e’-এর row যোগ করলে, 1 এর কম (কিন্তু আমাদের sample space ($ \cal{A}_X $) তো এখন ওই row-‘e’, আর $ P(\cal{A}_X) = 1 $)। কি করে একে একটা probability distribution বানানো যায়? সোজা – যদি প্রতিটা সংখ্যাকে ওই row-এর সবার যোগফল দিয়ে ভাগ করে দিই। ব্যস্, এবার ওই ভাগফলগুলো যোগ করলে 1 পাবো। এই যে একটা সমষ্টিকে তাদের কোন একরকম aggregate দিয়ে ভাগ করে নিশ্চিত করা হলো, যাতে তাদের যোগফল 1 হয়, একে বলে normalization, বা normalize করা।

এইসব করে আমরা যে distribution-টা পেলাম, তাকে বলে conditional probability। কেন conditional? এই উদাহরণে condition-টা হলো, $ x = \text{e} $। ছড়িয়ে বললে, ‘Declaration of Independence’-এ, আমরা যদি পরপর আসা দু’টো letter-এর একটা joint ensemble বানাই, যার প্রথম letter –এর ensemble-কে random variable $ x $ আর দ্বিতীয়র ensemble-কে $ y $ দিয়ে নির্দেশ করা হয়, তবে উপরের অনুচ্ছেদের উদাহরণে যে probability distribution তৈরি হয়েছে, তা হলো – “$ y $-এর probability distribution, যদি $ x = \text{e} $ হয়।” যাহ্, গাল ভরে গেলো তো? আচ্ছা, ব্যাপারটা বুঝে থাকলে, আরেকটু ছোট করে বলো, “probability of $ y $, given $ x $ equals ‘e’.” লেখার সময়, $ P( y | x = \text{e}) $। সঙ্গের চারখানা ছবিতে $ P( y | x = \text{a (b)}) $ আর $ P( x | y = \text{a (b)}) $ -এর চার্ট দেওয়া হলো। খেয়াল করো যে এরা সকলে আলাদা আর দেখো ব্যাপারটা হজম হলো কি না।

একটা ছোট্ট ব্যাপার এখনো অবধি আমরা কায়দা করে এড়িয়ে গেছি। হতেই তো পারতো, যে কোন একটা row-এর সব element = 0। অর্থাৎ, সেই row-এর marginal probability-ও 0। তখন কি দিয়ে ভাগ করতে? বোঝাই যাচ্ছে, আমাদের definition-টা শুধু non-zero marginal probability-র জন্যেই প্রযোজ্য। অঙ্কের ভাষায় লিখলে তবে conditional probability (চার্টের কোন একটা bar) দাঁড়ায় এইরকম: \[ P( x = a_i | y = b_i ) \equiv \frac{P( x = a_i , y = b_i )}{P(y = b_i )} ~~~\text{if} ~~P(y = b_i ) \neq 0 \] গত পোস্টে set-theory-র notation-এ probability-র বেশ কিছু নিয়ম শিখেছিলাম না? সেই পদ্ধতিতেই conditional probability-কে আমরা লিখতে পারি: \[ P( A | B ) \equiv \frac{P( A \cap B )}{P( B )} ~~~\text{if } ~~P( B ) \neq 0 \] Product Rule: এখানে একটু খেয়াল করো, conditional probability-র definition-এ RHS-এর numerator-এ বসে থাকা জিনিসটা আসলে $ x $ আর $ y $-এর joint probability (অথবা $ A \cap B $-এর probability)। অনেক সময়েই joint probability-কে conditional probability-র সাহায্যে লেখা হয়: \[ P( x, y ) \equiv P( x | y )~P( y ) \equiv P( y | x )~P( x ) \] এই সমীকরণের দ্বিতীয়ভাগ নিয়ে যদি সন্দেহ থাকে, তবে আমাদের পুরো উদাহরণে joint probability matrix-এর row-এর জায়গায় column বসিয়ে দেখো, নিশ্চিত হতে পারো কি না। Set-theory-র notation-এ, \[ P( A \cap B ) \equiv P( A | B )~P( B ) \equiv P( B | A )~P( A ) \] এই চেহারায় ব্যাপারটা বেশি পরিষ্কার, কারণ, $ A \cap B = B \cap A $। এই নিয়মটিকে product rule বা chain rule of probability-ও বলে।

Sum Rule: Marginal probability-র definition-টা মনে করো, আর সেখানে conditional probability বসিয়ে দেখো: \[ P( x ) = \displaystyle\sum_y P( x , y ) = \displaystyle\sum_y P( x | y )~P( y ) \] এটাই sum rule of probability। Set notation-এ ব্যাপারটা বুঝতে গেলে, একটু কল্পনা করতে হবে। ধরো, আমাদের চেনা sample space ($ S $; উপরের ছবি)–কে ছোট ছোট disjoint sebset $ B_i $-তে ভেঙে ফেলেছি (নীচের ছবি)। তবে, $ S = \cup_i B_i $, যেখানে $ B_i \cap B_j = \emptyset $, যখন $ i \neq j $। আরও, $ P(B_i) \neq 0 $, সব $ i $-এর জন্যে। যেকোন একটা set $ A $-কে লেখা যায়, $ A = A \cap S = A \cap (\cup_i B_i) = \cup_i (A \cap B_i) $। যেহেতু সমস্ত $ A \cap B_i $ subset-গুলো disjoint, তাই তাদের probability-গুলো শুধু যোগ হবে: \[ P( A ) = P( \cup_i (A \cap B_i) ) = \displaystyle\sum_i P( A \cap B_i ) \] \[ \qquad = \displaystyle\sum_i P( A | B_i ) P( B_i ) \] এটাকে sum rule of probability বা law of total probability বলে।

Independence: দু’টো random variable $ X $ আর $ Y $, তখনই independent হবে (অনেকসময় লেখা হয় $ X \perp Y $), যদি (এবং শুধুমাত্র যদি (if and only if; ছোট করে, ‘iff’)) এমন হয়: \[ P( x, y ) = P(x)~P(y)\,. \] Set-notation-এ, $ P( A \cap B ) = P(A)~P(B) $। এর কারণ, যদি $ A $ আর $ B $ independent হয়, তবে condidiotnal probability থেকে বোঝা যায়, $ P(A|B) = P(A) $, আবার $ P(B|A) = P(B) $ হবে। Independent subset-এর সঙ্গে ভুল করেও disjoint subset-কে গুলিয়ে ফেলো না। মনে রেখো, disjoint subset-দের ক্ষেত্রে, $ A\cap B = \emptyset $।

Bayes’ Theorem: Sum আর product rule-কে মিশিয়ে দিলেই পরিষ্কার, যে: \[ P( y | x ) = \frac{ P( x | y )~P( y )}{P( x )} \] \[ \qquad = \frac{ P( x | y )~P( y )}{\sum_{y’} P( x | y’ )~P( y’ )} \] অথবা, \[ P( A | B ) = \frac{ P( B | A )~P( A )}{\sum_i P( B | A_i )~P( A_i )}\,. \] এখানে $ A $, $ S $-এর যেকোন subset হতে পারে, এমনকি কোন একটা $ A_i $-ও হতে পারে।

কিছু দরকারি উদাহরণ: এখনো অবধি আমরা যা যা আলোচনা করেছি, তা যদি সহজ মনে হয়, ভালো। না হ’লে ফিরে গিয়ে আবার পড়ে পরিষ্কার করো ব্যাপারটা। কারণ, এর পরে আমরা যা-ই করি না কেন, এই Bayes’ Theorem ছাড়া গতি নেই। যদি conditional probability ডাল-ভাত মনে হয়, তবে একবার Ted-Ed-এর এই ধাঁধাটা উত্তর না শুনে কষে ফেলো দেখি:

সম্ভবত, তোমায় উত্তর শুনতে হয়েছে। কিছুটা পরিষ্কার হয়ে থাকলে, এবার আরেকটা তথ্য দেওয়া যাক। গত দু’টো পোস্ট মিলিয়ে যত উদাহরণ দেখেছো, সেখানে আমাদের কাছে প্রথম থেকেই বেশ কিছু তথ্য ছিলো। যেমন, কোন document থেকে আমরা sample space বানিয়েছি, সেই লিস্টে কোন punctuation, যেমন ( . , ; : / - () {} [] …. ) ব্যবহার করা হয়নি, ইংরেজি ভাষায় কোন একটা letter-এর দু’রকম চেহারা ধরা হয়নি (capital আর small letter-কে আমরা আলাদা করিনি) – ইত্যাদি। এর ফলে, এবং তার পরের নানা গোনাগুণতির পরে, আমরা joint ensemble-এর probability-গুলো বের করেছি। এই যে নানা জিনিস ধরে নেওয়া হয়েছে, নানা তথ্যের সাহায্য নেওয়া হয়েছে, এই assumption আর prior information-এর বদলে যাওয়ার সঙ্গে, আমাদের probability গুলোও বদলে যাবে। এই সমস্ত prior information-কে একসাথে যদি $ \cal{H} $ বলি, তবে যেখানেই $ P(x) $ হয়েছে, সেখানে আসলে বসাতে হবে $ P( x | \cal{H} ) $। তাই, $ P( x | \cal{H} ) $-কে শুধু ‘probability of $ x $’ না বলে বলা উচিত, ‘prior probability of $ x $’। উদাহরণস্বরূপ, \[ P( y | x, \cal{H} ) = \frac{ P( x | y, \cal{H} )~P( y | \cal{H} )}{\sum_{y’} P( x | y’ , \cal{H} )~P( y’ | \cal{H} )} \]

এইবার একটা অন্যরকম উদাহরণ, একটু magical। ধরো, সক্কাল সক্কাল একটা প্যাঁচার পায়ে বাঁধা একটা চিঠি এসেছে তোমার কাছে (উদাহরণ হিসেবে সঙ্গে আমার নিজের চিঠিটা দিয়ে রাখলাম)। খুলে দেখলে, Hogwarts স্কুল থেকে তোমায় ডেকে পাঠিয়েছে। আনন্দে-বিস্ময়ে, নিজের চোখকেই বিশ্বাস করতে না পেরে বাবাকে জিজ্ঞেস করলে, “এ কি সত্যি?” ছদ্ম-গাম্ভীর্য নিয়ে উত্তর এলো – “নিজেই কষে দেখো…”। পাশ থেকে মা ফুট কাটলেন – “সমাজে জাদুকর হয়ে জন্মায় কিন্তু খুব কম সংখ্যক মানুষ। মাত্র 0.1% …”।

“তার ওপরে প্যাঁচাদের মোটেই বিশ্বাস নেই – 99% সময় যদিও ওরা ঠিক বাড়িতে চিঠি নিয়ে যায়, 1% ক্ষেত্রে সাধারণ বাচ্চাদের মনে দুঃখই হয় শুধু …” – বাবা যোগ করলেন।
“তার মানে কি আমার Hogwarts যাওয়ার probability 99%?”

সত্যিই তো, ঠিক কত, তোমার জাদুকর(নি) হওয়ার probability? এর উত্তর আমি আজ দিয়ে দিচ্ছি, কিন্তু একই রকম বেশ কিছু সমস্যা দেওয়া থাকবে পরের দিনের notebook-এ। সেগুলোর উত্তর তোমাদের নিজেদেরই বের করতে হবে।

ধরে নাও, যদি চিঠি পাওয়া $ L $ হয়, আর সত্যি সত্যি জাদুকর হওয়া হয় $ M $, তবে, চিঠি-ফিঠি পাওয়ার আগে, তোমার জাদুকর হওয়ার probability, মা বলে দিয়েছেন, ছিলো $ P( M | I ) = 0.1\% $ (‘$ I $’ বলতে এখানে সেই – prior information বোঝাচ্ছে)। জাদুকর না হওয়ার probability তবে $ P( \overline{M} | I ) = 1 – P( M | I ) = 99.9\% $। তুমি জাদুকর হলে, প্যাঁচারা যে ঠিক বাড়িতে চিঠি আনবে, তার probability: $ P( L | M, I ) = 99\% $। অতএব, তুমি জাদুকর না হলেও, প্যাঁচাদের ভুল করে তোমার বাড়িতে চিঠি নিয়ে আসার probability: $ P( L | \overline{M}, I ) = 1 - P( L | M, I ) = 1\% $। সব জানা হয়ে গেছে। এবার Bayes’ Theorem কাজে লাগিয়ে তোমায় বের করতে হবে, ‘তুমি চিঠি পেয়ে থাকলে, তোমার জাদুকর হওয়ার probability’: \[ P( M | L, I ) = \frac{ P( L | M, I ) \times P( M | I )}{ P( L | M, I ) \times P( M | I ) + P( L | \overline{M}, I ) \times P( \overline{M} | I )}\] \[ \qquad = 9\% ~~~\text{(!!)}\]

বলে কি! বাড়িতে চিঠি এলো প্যাঁচার পায়ে, তার পরেও তোমার magician হওয়ার probability মাত্র 9%! ওই যে, খুব ছোট্ট একটা সংখ্যা, গোটা জনগোষ্ঠীতে জাদুকর হওয়ার, সেটাই এ জন্যে দায়ী। ব্যাপার যদি এমন হতো, যে তোমাদের শহরে প্রচ্চুর এমন চিঠি আসে, আর তার probability-টাও তোমার জানা থাকতো, তবে এই সংখ্যাটাই দুম করে বেড়ে যেত।

খুব গোলমেলে না? এইবার সময় হয়েছে জানার, যে probability আসলে কি? সে নিয়ে আলোচনা হবে পরের পোস্টে। আজ আপাতত এই দু’ধরণের দুই ঐতিহাসিক দলিল, যাদের নিয়ে আমরা কাজ করলাম, তাদের উভয়েরই গুরুগম্ভীর দাবীদাওয়া নিয়ে Y. N. Harari-র একটা বক্তব্য শুনে খাতা বন্ধ করা যাক:

… The two texts present us with an obvious dilemma. Both the Code of Hammurabi and the American Declaration of Independence claim to outline universal and eternal principles of justice, but according to the Americans all people are equal, whereas according to the Babylonians people are decidedly unequal. The Americans would, of course, say that they are right, and that Hammurabi is wrong. Hammurabi, naturally, would retort that he is right, and that the Americans are wrong. In fact, they are both wrong. Hammurabi and the American Founding Fathers alike imagined a reality governed by universal and immutable principles of justice, such as equality or hierarchy. Yet the only place where such universal principles exist is in the fertile imagination of Sapiens, and in the myths they invent and tell one another. These principles have no objective validity. …

অন্যান্য দিনের মতোই, এ দিনের notebook পাবে নীচে:

Probability - 1(Hammurabi থেকে Kolmogorov)

2020-04-04T16:30:00.020-07:00

জগতের সবথেকে পুরনো দীর্ঘ লেখাগুলোর মধ্যে একটা হলো Hammurabi-র ঘোষণাপত্র। আন্দাজ 1754 খ্রীষ্টপূর্বাব্দে প্রকাশিত এই লেখা, সবচেয়ে পুরনো সংবিধান। 282 খানা নিয়ম-সম্বলিত এই ঘোষণাপত্র নাকি অপৌরুষেয়ও বটে। Anu, Enlil আর Marduk – তিন হেভিওয়েট দেবতার নির্দেশানুসারে, ‘পরিত্রাণায় সাধুনাং, বিনাশায় চ দুষ্কৃতাম্’, হামুরাবি এইখান প্রবর্তন করেন। এই প্রবল পবিত্র পাঠের কয়েকখান নিয়ম দেখে নেওয়া যাক, à la ‘Sapiens’:

… … 196. If a superior man should blind the eye of another superior man, they shall blind his eye. … …
198. If he should blind the eye of a commoner or break the bone of a commoner, he shall weigh and deliver 60 shekels of silver.
199. If he should blind the eye of a slave of a superior man or break the bone of a slave of a superior man, he shall weigh and deliver one-half of the slave’s value (in silver). … …
209. If a superior man strikes a woman of superior class and thereby causes her to miscarry her fetus, he shall weigh and deliver ten shekels of silver for her fetus.
210. If that woman should die, they shall kill his daughter.
211. If he should cause a woman of commoner class to miscarry her fetus by the beating, he shall weigh and deliver five shekels of silver.
212. If that woman should die, he shall weigh and deliver thirty shekels of silver.
213. If he strikes a slave-woman of a superior man and thereby causes her to miscarry her fetus, he shall weigh and deliver two shekels of silver.
214. If that slave-woman should die, he shall weigh and deliver twenty shekels of silver. … …

হালকা করে চোখ বোলাও, এই আপাত-দৈব নির্দেশাবলী পড়ার পর চোখ আর কপাল থেকে নামবে না: মানুষ পরিষ্কার উচ্চ-নিম্ন দু’রকমের শ্রেণীর; দাসপ্রথা খুব স্বাভাবিক; মেয়েরা মার খেতেই পারে, শুধু গর্ভপাত না হলেই হলো; তার প্রাণ গেলেও, হন্তার প্রাণের কিছু হবে না, শুধু তার কন্যাসন্তানটির প্রাণ যাবে। মানে, … কি আর বলি …

এ লেখা দৈববাণী হোক, বা বাল্যাবস্থায় সভ্যতার প্রথম আইন-কানুন তৈরির খেলা-খেলা চেষ্টা, তা নিয়ে আপাতত আমাদের মাথাব্যাথা নেই। David J. C. Mackay-এর প্রথিতযশা বইয়ের কায়দায়, কিন্তু ‘Linux-FAQ’ এর বদলে Code of Hammurabi –র ইংরেজি অনুবাদ ব্যবহার করে আমরা Probability-র প্রথম পাঠ নেওয়ার চেষ্টা করবো। (শুরুর 3 খানা ছবি ক্রমান্বয়ে ক) Louvre মিউজিয়াম এ Hammurabi (সম্ভবত), খ) ছবি থেকে তৈরি binary curvature flow filter, গ) Code of Hammurabi-তে সব শব্দের Word-cloud। মজার ব্যাপার, ‘man’ আর ‘shall’ শব্দদু’টো সবথেকে বেশিবার ব্যবহার হয়েছে লেখায়)।

সংখ্যা, দাঁড়ি-কমা – এসব বাদ দিয়ে (আর capital letter – small letter-এ বিভেদ না করে), ইংরেজি ভাষায় যত letter আছে, তা হলো English Alphabet, আর “ ” (space), অর্থাৎ 27 খানা জিনিস। এদের মধ্যে যেকোন একটা, Code of Hammurabi (CH)-তে ঠিক কতবার আছে? উত্তর পেতে উপরের bar-chart-টা দেখো (তার ঠিক নীচেই, প্রতি letter-এর ব্যবহারের সংখ্যার সমানুপাতিক ক্ষেত্রফলের square দিয়ে একটা list বানানো হয়েছে Mackay-এর কায়দায়)। এর নীচের টেবিলের প্রথম সারি (row)-তে আছে letter গুলো ($ a_i $), দ্বিতীয় সারিতে CH – এ তাদের সংখ্যা ($ n_i $)। লেখায় মোট letter-এর সংখ্যা প্রায় 51000। তাহ’লে যেকোন একটা letter – শতকরা কতবার আছে? জানতে তুমি স্বভাবতই টেবিলের দ্বিতীয় সারি থেকে সেই letter-এর count টা তুলে তাকে total count (দ্বিতীয় সারির সব সংখ্যার যোগফল) দিয়ে ভাগ করে তারপর 100 দিয়ে গুণ করবে। ছোটবেলার পাটীগণিত। ঐকিক নিয়মে, যদি গোটাটাকে 100% না বলে শুধু 1 বলতাম, তাহ’লে আর 100 দিয়ে গুণ করতে না তো? যে সংখ্যাগুলো পেতে, সেগুলোই টেবিলের তৃতীয় সারিতে আছে ($ p_i $, decimal-এর পরে 4th place-এ round-up করা আছে)।

CH-এর থেকে যে কোন একটা letter, random ভাবে তুলে আনলে আমরা নানা সময়ে নানা উত্তর পাবো। এটাকে একটা random variable $ x $ হিসেবে কল্পনা করো, যার উত্তর (outcome) নানা সময়ে ওই 27 টা জিনিসের মধ্যে একটা হতে পারে। এই 27 টা সম্ভাব্য উত্তরের সমষ্টিকে আমরা একটা set হিসেবে ভাবতে পারি, যাকে বলে sample space। আমাদের alphabetical sample space-কে $ \cal{A}_X $ বলা যাক। উপরের টেবিলের তৃতীয় সারিতে দেখতে পাচ্ছি, প্রতি outcome-এর জন্যে 0 থেকে 1 এর মধ্যে একটা real number বসানো গেছে, যারা কতগুলো নিয়ম মেনে চলে:

প্রতিটি outcome $ a_i $ (যারা প্রত্যেকে $ \cal{A}_X $-এর subset) –এর জন্যে, আমরা একখান $ P(x = a_i) $ পেতে পারি, যখন $ P(x = a_i) \geq 0 $। (এই subset গুলোকে এখন থেকে $ A,~B, \cdots $ এসব বলবো)
$ \cal{A}_X $ –এর যেকোন দু’টো subset $ A $ আর $ B $ যদি এমন হয়, যাতে $ A \cap B = \emptyset $ (mutually exclusive, বা disjoint set; $ \emptyset $ হলো ‘null’ বা ‘empty’ set), তবে, $ P(A\cup B) = P(A) + P(B) $ হবে।
$ P(\cal{A}_X) = 1 $। এটা সহজেই মিলিয়ে দেখা যায় – আমরা জানি লেটারগুলো mutually exclusive (একটা letter তো আর একইসাথে m আর n হতে পারে না), অতএব, (2) নম্বর নিয়মটা খাটিয়ে, টেবিলের তৃতীয় সারির সব নম্বরের যোগফল হবে $ P(\cal{A}_X) $। যোগটা নিজেরাই করে দেখো।

এই তিন রকমের জিনিস বা triple, আমাদের ক্ষেত্রে ($ x,~ \cal{A}_X,~ \cal{P}_X $), এদের একসঙ্গে বলা হয় একটা ensemble, আর যে কথাটা এতক্ষণে তোমাদের সবার মাথাতেই আশা করি চলে এসেছে, $ p_i $-দের বলা হয় Probability। উপরের নিয়মগুলো আসলে আরেকটু কঠিন, এখানে একটু সহজ করে বলা আছে, কিন্তু তাতেই আমাদের কাজ চলে যাবে (যেমন ধরো, একটা নিয়ম হলো, $ \cal{A}_X $-কে হতে হবে একটা $ \sigma $-field – মাথায় না ঢুকলে দরকার নেই, উপরের নিয়মগুলোই অনেকদিন কাজে লাগবে)।

অন্য কথা:

17 বছর বয়সের এক ইতিহাসের ছাত্র মধ্যযুগের রাশিয়ান গ্রামের জীবনের ওপর একটা পরীক্ষামূলক statistical analysis করছিলো। ও দেখতে পেলো, যে সাধারণত একটা গোটা গ্রামের ওপর যে রাজস্ব চাপানো হত, তা একটা পূর্ণসংখ্যা (integer), আর আলাদা আলাদা গৃহস্থালীর ওপর রাজস্বের পরিমাণ সাধারণত একটা ভগ্নাংশ (fraction)। ছেলেটি আনন্দে উপলব্ধি করলো, নিশ্চয়ই রাজার তরফ থেকে আদতে একটা গোটা গ্রামের ওপরই রাজস্ব চাপানো হত, পরে সেটা ভাগ করে নেওয়া হত গ্রামের নানা বাড়িতে। ব্যাপারটা নিয়ে পেপার-টেপার লিখে নাচতে নাচতে গিয়ে প্রফেসর আর সহকর্মীদের গিয়ে জানালো ব্যাপারটা। প্রফেসর বিরসবদনে বললেন- “ইতিহাসে কাজ করছো, একখানা প্রমাণ যথেষ্ট নয়। তোমায় অন্তত 5 টা প্রমাণ দাখিল করতে হবে।” রাতারাতি কমবয়সী ছেলেটা ইতিহাস ছেড়ে অঙ্ক করতে শুরু করলো – যেখানে একখানা প্রমাণই যথেষ্ট।

অনেক বছর পর, 1933 সাল। Probability Theory তখনো আঁতুড়ঘরে (এতটাই, যে ছেলেটা আর তার অঙ্কবিদ-বন্ধুমহল মজা করে থিয়োরিটাকে “Theory of Misfortune” বলতো)। ছেলেটি (এখন লোক) প্রকাশ করলো তার বই “Foundations of the Theory of Probability”, যেখানে Probability-র রূপ বাঁধা পড়লো 5 টা axiom-এ। হ্যাঁ, সেই 5 টা। আধুনিক ভাষ্যে যদিও তার চেহারা কোথাও কোথাও 6-টা axiom-এ ভাঙা। ভদ্রলোকের নাম Andrey Nikolaevich Kolmogorov। Probability-র যে তিনটে axiom দিয়ে আমরা শুরু করেছি, এঁরই সৃষ্টি।

এই তিনটে axiom দিয়ে আমরা বুঝলাম, probability কেমন। শুধু তা-ই নয়, এই 3-টে থেকেই আরও অনেকগুলো property প্রমাণ করা সম্ভব। Set theory কাজে লাগিয়ে নিজেরা ভেবে দেখো তো – অন্তত মাথায় পরিষ্কার হচ্ছে কি না:

$ P(\overline{A}) = 1 – P(A) $, যেখানে $ \overline{A} $ হলো $ A $-এর complement।
$ P(A\cup\overline{A}) = 1 $
$ 0 \leq P(A) \leq 1 $
$ P(\emptyset) = 0 $
যদি $ A \subset B $ হয়, তবে $ P(A) \leq P(B) $
$ P(A\cup B) = P(A) + P(B) – P(A\cap B) $

Probability কি, সে প্রশ্নের উত্তর অতটা সহজ নয়। পরে আলোচনা হবে। আপাতত, probability-র আরও কিছু গতি-প্রকৃতি দেখে নেওয়া যাক:

Subset-এর Probability: Axiom এর মধ্যে আমরা subset হিসেবে একেকটা letter-কে ধরেছি। কিন্তু subset তো আরও নানা রকম হতেই পারে। যেমন ধরো, $ x $ যদি যেকোন vowel হয়? সব vowel-এর set যদি $ V = \{ a, e, i, o, u \} $ হয়, তবে \[ P(V) = P(x \in V) = \displaystyle\sum_{a_i \in V} P(x = a_i) \] হবে। অর্থাৎ, $ P(V) = 0.079 + 0.098 + 0.046 + 0.058 + 0.016 = 0.297 $ (এর কারণ আবার সেই 2 নম্বর নিয়ম…)।

Joint Ensemble: $ X = (x, \cal{A}_X, \cal{P}_X) $ যেমন একটা ensemble, তেমনি আরও একটা ensemble $ XY $ বানানো যাক, যেখানে সব outcome এর চেহারা একটা random variable $ x $ না হয়ে দু’টো random variable-এর ordered pair – এইরকম - $ (x, y) $। এখানে $ x \in \cal{A}_X \equiv \{a_1, \dots , a_I\} $, আর $ y \in \cal{A}_Y \equiv \{b_1, \dots , b_J\} $। এক্ষেত্রে $ P(x, y) $-কে আমরা $ x $ আর $ y $ এর Joint Probability বলবো (কমা ( , ) দিতেও পারো, না-ও পারো: $ xy \iff x, y $)। মাথায় রেখো, দু’টো variable-এর joint ensemble $ XY $ যে independent হবে তার কোন মানে নেই।

ব্যাপার যদি বিশেষ পরিষ্কার না হয়, চিন্তা নেই, Code of Hammurabi আছে তো! আমাদের ordered pair হিসেবে নেওয়া যাক, ওই লেখায় পরপর আসে এমন যেকোন দু’টো letter-এর ensemble, যেমন: aa, ab, ac, … zz; বোঝাই যাচ্ছে, পরপর aa খুঁজে পাওয়ার probability নিশ্চয়ই zz এর থেকে বেশি হবে – কি করে পাবো এই probability গুলো? প্রথমে খুজে বের করো কোথায় কোথায় ‘a’ এসেছে, তারপর দেখো, সেই instance-গুলোর মধ্যে কখন কখন তারপরে বসেছে a, b, …, z – তারপর এই পুরো ব্যাপারটা আবার ‘b’ থেকে ‘z’ এর জন্যে করো (অবশ্যই হাতে করবে না, code এ করতে হবে, তার সব উদাহরণ পোস্টের নীচের Mathematica notebook-এ আছে)। এর ফলে আমরা প্রতি letter combination-এর জন্যে যে সংখ্যাগুলো পাবো, তাকে আবার আগের উদাহরণের মতো total টা দিয়ে ভাগ করলেই কেল্লা ফতে। সঙ্গের Matrix Plot-এ এই probabilityগুলো plot করা আছে। যে combination-এর probability যত বেশি, তা তত ঘন (সঙ্গের notebook-এ অন্য একরকমের plot-ও করা আছে, Mackay-র বইয়ের সঙ্গে সাযুজ্য রাখতে)।

Marginal Probability: তোমায় এই উদাহরণে যদি প্রশ্ন করি, $ XY $-এর মধ্যে, $ P(x,y) $ তো জানো, বল দেখি, $ x = \text{r} $ হওয়ার probability কত? তুমি উত্তরে r- মার্কা row-তে গিয়ে সেই row-এর সবক’টা element-এর probability যোগ করে দেবে। কেন? কারণ, সেই row-এর সবার জন্যেই (মানে $ y $ যা-ই হোক), $ x = \text{r} $। অর্থাৎ, \[ P(x = a_i) \equiv \displaystyle\sum_{y \in \cal{A}_Y} P(x = a_i, y)\,. \] একইরকমভাবে, ছোট করে লিখলে, \[ P(y) \equiv \displaystyle\sum_{x \in \cal{A}_X} P(x, y) \] এইরকম joint ensemble –এর ক্ষেত্রে $ P(x) $ বা $ P(y) $-কে আমরা বলি $ x $ বা $ y $-এর marginal probability।

এই উদাহরণের joint ensemble-টার একটা বৈশিষ্ট্য হলো, যে $ P(x) $ আর $ P(y) $ identical, আর তাদের (marginal) distribution? সে তো আমরা আগের উদাহরণেই বের করেছি!

তৎকালীন সময়ের পৃথিবীর সর্ববৃহৎ শহর Babylon এর সর্বশক্তিমান শাসক Hammurabi, তাঁর সদুদ্দেশ্য, আর আধুনিক দৃষ্টিতে ‘যথেষ্ট গোলমেলে’ সামাজিক শ্রেণীবিভাগ নিয়ে আমাদের probability শিখতে আশা করা যায় ভালই সাহায্য করলেন। পরের দিন, আমরা একধাক্কায় 3500 বছর লাফিয়ে অন্য একটা লেখা নিয়ে আরেকটু probability শিখবো।

প্রাথমিক কোর্স

2020-04-01T17:00:00.009-07:00

Fully Connected Networks

2020-04-01T16:30:00.004-07:00

Probability আর Statistics

2020-04-01T06:00:00.006-07:00

Mathematica

2020-04-01T05:30:00.002-07:00

Mathematica আর Machine-Learning
(মেশিন লার্নিং শিখতে আমরা কেন Mathematica ব্যবহার করবো, আর কি কি সহজ Function ব্যবহার করা যায়, যারা Machine Learning দিয়েই তৈরি, তার খতিয়ান)

গল্পের আসর

2020-04-01T05:00:00.001-07:00