Soru 1: PCA'de kullandığınız matlab kodlarına, princomp komutu alternatif olabilir mi? Farkı nedir?

Cevap: Sonuç olarak aralarında pozitif/negatif işareti dışında bir fark yok. princomp fonksiyonu daha okunabilir, anlaşılabilir bir fonksiyon. Eğer MATLAB'ınızda yoksa svd ile aynısını kolaylıkla yapabilirsiniz. Örnek üstünden bakalım:

load hald;
X = ingredients; % Veri X olsun. Her satırda bir örnek var.
X

X =
     7    26     6    60
     1    29    15    52
    11    56     8    20
    11    31     8    47
     7    52     6    33
    11    55     9    22
     3    71    17     6
     1    31    22    44
     2    54    18    22
    21    47     4    26
     1    40    23    34
    11    66     9    12
    10    68     8    12

Öncelikle halihazırdaki fonksiyonu kullanalım:

[pc1,score1] = princomp(X)

pc1 =
   -0.0678   -0.6460    0.5673    0.5062
   -0.6785   -0.0200   -0.5440    0.4933
    0.0290    0.7553    0.4036    0.5156
    0.7309   -0.1085   -0.4684    0.4844
score1 =
   36.8218   -6.8709   -4.5909    0.3967
   29.6073    4.6109   -2.2476   -0.3958
  -12.9818   -4.2049    0.9022   -1.1261
   23.7147   -6.6341    1.8547   -0.3786
   -0.5532   -4.4617   -6.0874    0.1424
  -10.8125   -3.6466    0.9130   -0.1350
  -32.5882    8.9798   -1.6063    0.0818
   22.6064   10.7259    3.2365    0.3243
   -9.2626    8.9854   -0.0169   -0.5437
   -3.2840  -14.1573    7.0465    0.3405
    9.2200   12.3861    3.4283    0.4352
  -25.5849   -2.7817   -0.3867    0.4468
  -26.9032   -2.9310   -2.4455    0.4116

Şimdi kendimiz yazalım. Önce her satırdan ortalamayı çıkaralım. Ardından svd yapalım. Dikkat, burada pc2 değişkeni aslında V'ye denk gelen yerde, çünkü örnekler satırlarda. Eğer örnekler sütunlarda olsaydı, [pc2, ~, ~] biçiminde olacaktı.

X = X - repmat(mean(X,1), size(X,1), 1);
[~, ~, pc2] = svd(X, 'econ');
score2 = X * pc2

pc2 =
    0.0678    0.6460   -0.5673    0.5062
    0.6785    0.0200    0.5440    0.4933
   -0.0290   -0.7553   -0.4036    0.5156
   -0.7309    0.1085    0.4684    0.4844
score2 =
  -36.8218    6.8709    4.5909    0.3967
  -29.6073   -4.6109    2.2476   -0.3958
   12.9818    4.2049   -0.9022   -1.1261
  -23.7147    6.6341   -1.8547   -0.3786
    0.5532    4.4617    6.0874    0.1424
   10.8125    3.6466   -0.9130   -0.1350
   32.5882   -8.9798    1.6063    0.0818
  -22.6064  -10.7259   -3.2365    0.3243
    9.2626   -8.9854    0.0169   -0.5437
    3.2840   14.1573   -7.0465    0.3405
   -9.2200  -12.3861   -3.4283    0.4352
   25.5849    2.7817    0.3867    0.4468
   26.9032    2.9310    2.4455    0.4116

Dikkat ederseniz işaretler dışında sonuçlar aynı. Bu durum uygulamanız için sorun teşkil etmez.

Soru 2: PCA ile örüntü analizi nasıl yapılıyor? Yani elimizde bir veri seti var diyelim ki. Örüntü analizi için kullanılacak. Verinin bir kısmını PCA, bir kısmını da test için mi kullanmak gerekiyor. Test ve sınıflandırma işlemi nasıl gerçekleştiriliyor?

Cevap: PCA boyut indirgemeye yarar. Bu bağlamda, diğer uygulamalar için genellikle önişlem olarak kullanılıyor. Örneğin bağlanım (regression) yapacaksanız çok fazla boyutla uğraşmak yerine öncelikle PCA uygulayıp verinin boyutunu düşürüyorsunuz. Aynı durum sınıflama için de geçerli. Yukarıdaki örnek üstünden bakacak olursak X'teki her örnek normalde 4 boyutlu. score1'in ilk iki sütununu alır, gerisini atarsak her örneğin yeni uzaydaki boyutu 2'ye düşer. Yarı yarıya kâr! Yani sizin yeni örnekleriniz score1 ile ifade edilen koordinatlara sahip örnekler. Peki yeni boyut sayısı kaç olmalı. Literatürde genel olarak özdeğerlerin birikimsel olarak %95'ini alacak şekilde boyut sayısı seçiliyor:

[pc1,score1, eigvalues] = princomp(X);
cumsum(eigvalues)./sum(eigvalues)

ans =
    0.8660
    0.9789
    0.9996
    1.0000

Görüldüğü üzere, 2 tane koordinatı seçtiğimizde verinin %97.89'unu ifade edebiliyoruz. Bunun yeterli olacağını, gerisinin gürültü olduğunu varsayabiliriz. İllâ ki böyle yapacaksınız diye bir şart yok, isterseniz limiti %98 seçebilirsiniz.

Şimdi eğitim ve test aşamalarında ne yapacağımıza bakalım. PCA'i ifade etmek için temel bileşenlere ve ortalama vektöre ihtiyaç var. Bunları eğitim kümesini kullanarak elde edeceksiniz. Ardından test kümesindeki her örnekten bu ortalama değeri çıkarıp temel bileşenler ile çarpacak ve bu örneklerin indirgenmiş uzaydaki hallerini bulacaksınız. Sonra bağlanım mı yaparsınız, sınıflandırma mı, kullanacağınız hep bu yeni değerler olacak.

Alıştırma:

Burada okura bir sınıflandırma alıştırması vereyim. PCA ile temel bir uygulama alıştırması:

1. MNIST elle yazılmış rakam veritabanını indirin.
2. Normalde eğitim kümesinde 50000, test kümesinde ise 10000 adet örnek var. Her örneği düzleştirin ve yeni örnekler 20x20 boyutlu yerine 400x1 boyutlu olsun.
3. 50000 örnek ek teknik kullanmadan işlem yapabilmek için çok fazla. Her bir rakam için 500 adet rastgele örneği alın ve böylece 5000 elemanlık bir eğitim kümesi oluşturun.
4. PCA uygulayın ve temel bileşenler ile ortalama vektörleri bulun. Sadece %95 birikimsel özdeğeri saklayacak kadar temel bileşeni tutun, gerisini atın.
5. Eğitim kümesindeki her örneğin indirgenmiş boyutlarını hesaplayın ve saklayın.
6. 10000 test örneğinden her biri için
   1. Eğitim kümesindeki örneklere yaptığınız gibi ortalamayı çıkarın ve temel bileşenler ile çarparak boyut indirgeyin.
   2. Eğitim kümesindeki her örneğe olan Öklit uzaklığını hesaplayın. Vektörler 400x1 boyuttan daha az olacağı için işlemler hızlı olacak.
   3. En yakın vektörü tespit edin ve bu test örneğinin etiketini o vektörün etiketine atayın. Yani en yakın vektör 5 rakamına ait  ise sizin gözlemlediğiniz vektör de 5 rakamı olacak.
7. 10000 vektörün kaç tanesinin doğru hesaplandığını bulun.
8. Aynı işlemi PCA uygulamadan deneyin, farkı görün.

$$\log\sum\limits_k e^{x_k}$$

$e^{x_k}$ değerlerinin -1000lerde seyrettiğini düşünün. $e^{1000}$ gibi bir sayıyı açıkça hesaplamaya çalışırsak sıfır elde ederiz.

Probleme tane tane değil, tümden bakalım. Elimizde 3 tane değer olsun: -1000, -1005 ve -1010. Bunları işleyelim. $e^{1005}$,  $e^{1000}$'e göre oldukça küçük.  $e^{1010}$ ise daha da küçük. Burada baskın olan  $e^{1000}$ değeri. Yani, en büyük değer baskın görünüyor. En büyük değere $y$ diyelim ve bunu hesaba katarak sihirli değneğimizi kullanalım:

\begin{align}
\log\sum\limits_k e^{x_k}
& = \log\left[\left(\sum\limits_k e^{x_k}\right)e^{-y} e^y \right] \\
& = \log\left[\left(\sum\limits_k e^{x_k}\right)e^{-y}\right] + y \\
& = \log\left[\sum\limits_k e^{x_k - y}\right] + y
\end{align}

Yani öncelikle tüm değerlerden en büyüğünü çıkartacağız (yeni dizilimin en büyük değeri 0 olacak) ve işlemi yaptıktan sonra bu değeri geri ekleyeceğiz.

Fonksiyonumuz çok basit:

import numpy as np

def logSumExp(x):
    maxX = np.max(x)
    r = maxX + np.log(np.sum(np.exp(x-maxX)))
    return r

Deneyelim:

r = logSumExp(np.array([-1213, -1214]))  # sonuç: -1212.6867383124818
r2 =  np.log(np.sum(np.exp(np.array([-1213, -1214]))))  # sonuç: -Inf

Yöntemimiz sonucu başarıyla hesapladı. Açıkça yaptığımızda ise underflow oldu ve log(0) hesabı yüzünden -sonsuz sonucu döndü.

Not: Kaynak olarak şu videoya bakabilirsiniz.

Önceden Lilypond'u öğrendiğimde düşüncelerimi aktarmıştım. Hatta Oynaya Oynaya Gelin Çocuklar'ı eklemiştim. Musescore, Lilypond'a göre çocuk oyuncağı. Üstelik notaları dinlemek de çok eğlenceli. Bu işi yapan Sibelius, Finale gibi ücretli programlar olduğunu biliyorum. Musescore özgür ve ücretsiz bir yazılım. Üstelik musescore.com adresinde kullanıcıların paylaştığı tonla hazır eser mevcut. Ben de bugün can sıkıntısına oturdum, Haluk Levent'in en sevdiğim şarkılarından biri olan Beni Biraz Anlasana'nın notalarını ve akorlarını ekledim. Alttaki pencerede hem notaları görebilir hem de dinleyebilirsiniz. Eğer düzgün görünmezse şarkı bu adreste. İsterseniz indirebilir, sesinize/zevkinize göre transpose edebilir veya dilediğinizce değiştirebilirsiniz.

Bir de akordeon ile çalıp Youtube'a ekledim. Eğer düzgün görüntülenmezse o da bu adreste.

Not: Akor düzenlemesi, N. Gül'e aittir. Ezgiyi kulaktan yazdım. Hatalar olabilir.

Özetçe

Araştırmacılar, makale okumaya çok fazla zaman harcarlar. Lakin, bu beceri nadiren öğretilir, ve onca çaba boşa harcanır. Bu yazı, kullanışlı ve verimli bir üç-geçişli makale okuma yönteminin anahatlarını vermektedir. Yazıda, bu yöntemin literatür taraması yapmak için nasıl kullanılacağı da anlatılmaktadır.

Anahtar sözcükler: Bilimsel makale okuma, akademik makale okuma, verimli okuma.

Giriş

Araştırmacılar çeşitli sebeplerle makale okurlar: Bir konferans veya ders için onları değerlendirmek, alanlarında güncel kalmak veya yeni bir alanın literatür taramasını yapmak. Tipik bir araştırmacı makale okumaya her yıl yüzlerce saat harcar. Makaleyi verimli bir biçimde okumak kritik öneme sahip bir beceridir, fakat nadiren öğretilir. Dolayısıyla, yeni başlayan lisansüstü öğrencileri bunu kendi kendilerine deneye yanıla öğrenmek durumunda kalır. Öğrenciler bu süreçte çok zaman harcarlar ve sıklıkla boşuna uğraşmış olurlar. Verimli bir biçimde makale okumak için yılardır basit bir yöntem kullanıyorum. Bu yazı, 'üç-geçişli' yaklaşımı ve onun literatür taramadaki kullanımını anlatmaktadır.

Üç-Geçişli Yaklaşım

Kilit fikir şu: Makaleyi baştan sona bir geçişte detaylıca okumak yerine üç geçişte okumalısınız. Her geçiş belli hedefleri tamamlar ve bir öncekinin üstüne inşa edilir. İlk geçiş makale hakkında genel bir fikir verir. İkinci geçiş makalenin içeriğini kavramanıza yardımcı olur, fakat ayrıntıları içermez. Üçüncü geçiş makaleyi derinlemesine anlamanızı sağlar.

İlk Geçiş

İlk geçiş makalenin kuşbakışıyla hızlıca bir taranmasıdır. Sonraki geçişleri yapıp yapmaya da karar verebilirsiniz. Geçiş yaklaşık beş-on dakika kadar almalıdır ve şu adımları içerir:

1. Başlığı, özetçeyi ve girişi dikkatle okuyun
2. Kısım ve alt-kısım başlıklarını okuyun, fakat diğer her şeyi göz ardı edin
3. (Eğer varsa) matematiksel içeriğe altta yatan teorik temelleri belirlemek için kabaca göz atın
4. Vargıları okuyun
5. Kaynakçaya kabaca göz atın, daha önceden okuduklarınızı aklınızdan işaretleyin

İlk geçişin sonunda beş C’ye cevap verebilir durumda olmalısınız:

1. Kategori (Category): Bu makalenin türü nedir? Ölçüm makalesi mi? Mevcut bir sistemin analizi mi? Bir araştırma prototipinin açıklaması mı?
2. Bağlam (Context): Diğer hangi çalışmalarla bağlantılı? Problemin analizi için hangi teorik temeller kullanılmış?
3. Doğruluk (Correctness): Varsayımlar geçerli görünüyor mu?
4. Katkılar (Contributions): Makalenin ana katkıları neler?
5. Anlaşılıklık (Clarity): Makale iyi yazılmış mı?

Bu bilgiyi kullanarak daha fazla okumamayı seçebilirsiniz (ve boşuna çıktı almayarak ağaçları kurtarabilirsiniz). Bunun sebepleri makalenin ilginizi çekmemesi, makaleyi anlayabilmek için ilgili alanda yeterli bilgiye sahip olmamanız veya yazarların geçersiz varsayımlar yapmış olması olabilir. Araştırma alanınızda olmayan makaleler için ilk geçiş yeterlidir, fakat ileride bir gün ilginizi çekebilir. Bu arada, bir makale yazarken çoğu hakemin (veya okurun) makaleniz üzerinde bir geçiş yapacağını bekleyebilirsiniz. Kolayca anlaşılır ve uyumlu kısım ve alt-kısım başlıkları kullanmaya özen gösterin, kısa ve kapsamlı özetçeler yazın. Eğer bir hakem ilk geçişte makalenin anafikrini alamazsa, makaleniz büyük ihtimalle reddedilecektir; eğer bir okur makalenizin önemli noktalarını beş dakika sonunda anlayamamışsa makaleniz büyük ihtimalle hiç okunmayacaktır.

İkinci Geçiş

İkinci geçişte makaleyi büyük bir özenle okuyun, fakat ispat gibi ayrıntıları göz ardı edin. Okurken kilit noktaların altını çizmek veya kenar boşluklarına notlar almak yardımcı olacaktır. Özellikle, Augsburg Üniversitesi’nden Dominik Grusemann’ın dediği gibi “anlamadığınız terimleri veya yazara sormak isteyeceğiniz soruları not etmek isteyebilirsiniz”.

1. Makaledeki şekillere, diagramlara ve çizimlere dikkatlice bakın. Grafiklere özel dikkat ayırın. Eksenler uygun olarak isimlendirilmiş mi? Sonuçlar hata çubukları ile gösterilmiş mi, dolayısıyla sonuçlar istatistikî olarak önemli mi? Bu tür yaygın hatalar aceleye getirilmiş, baştan savma çalışmaları gerçekten dört dörtlük olanlardan ayıracaktır.
2. Önceden okumadığınız kaynakları daha sonra okumak üzere işaretlemek hatırınızda bulunsun (bu, makalenin arkaplanını daha iyi öğrenmek için iyi bir yoldur).

İkinci geçiş bir saat kadar alabilir. Bu geçişin ardından makalenin içeriğini kavramış olmalısınız. Makalenin asıl atılımını -destekleyici bulgularla- bir başkasına özetleyebilmelisiniz. Bu ayrıntı seviyesi uzmanlık alanınızda olmayıp da ilgi duyduğunuz bir makale için uygundur.

Bir makaleyi bazen ikinci geçişin sonunda dahi anlayamayacaksınız. Bunun sebebi, aşina olmadığınız terimler ve kısaltmalar yüzünden konuda yeni olmanız olabilir. Ya da yazarlar anlamadığınız bir ispat veya deneysel yöntem kullanmış olabilirler, böylece makale toptan anlaşılmaz. Makale doğrulanmamış varsayımlar ve sayısız göndermelerle kötü yazılmış olabilir. Veya sadece gecenin geç vakti olmuştur ve yorgunsunuzdur. Şu anda üç seçeneğiniz var: (a) kariyerinizde başarılı olmak için bu makaleyi anlamanız gerekmeyeceğini ümit ederek makaleyi bir kenara bırakın, (b) -belki de arkaplan bilgisini edindikten sonra- makaleye ileride tekrar dönün veya (c) azmedin ve üçüncü geçişe devam edin.

Üçüncü geçiş

Bir makaleyi tümüyle anlamak için -özellikle hakemseniz- üçüncü bir geçiş gerekir. Üçüncü geçişin temeli makaleyi adeta sanal olarak yeniden gerçeklemektir. Yani, yazarların varsayımlarını yaparak çalışmayı yeniden üretmektir. Bu yeniden üretimi asıl çalışma ile karşılaştırarak makalenin yeniliklerini kolayca görmekle kalmaz, gizli kalmış eksikliklerini ve varsayımlarını da  tespit edebilirsiniz.

Bu geçiş ayrıntılara büyük dikkat gerektirir. Her açıklamadaki her varsayımı saptayıp sorgulamalısınız. Üstelik, belirli bir fikri kendinizin nasıl sunacağı hakkında düşünmelisiniz. Gerçekteki ile yapılan bu karşılaştırma makaledeki kanıtlara ve sunum tekniklerine keskin bir kavrayış sağlar ve çok büyük ihtimalle araç repertuarınıza bu çalışmayı da ekleyebilirsiniz. Bu geçiş esnasında, gelecek çalışmalar için aklınıza gelen fikirleri de not etmelisiniz.

Yeni başlayanlar için bu geçiş dört ya da beş saat kadar, deneyimli bir okur için ise bir saat kadar sürer. Bu geçişin sonunda makalenin tüm yapısını ezberden yapabilmeli, güçlü ve zayıf yanlarını tespit edebilmelisiniz. Özellikle üstü kapalı varsayımları, ilgili çalışmalara olan eksik kaynakları, deneysel ve analitik yöntemlerdeki sorunları saptayabilmelisiniz.

Geçişler arası zamanlama

Queen Mary Üniversitesi’nden Andrew Simpson’ın yazdığına göre: “Süreç en iyi şekilde her aşama arasında yeterli zaman bırakıldığında işler. Örneğin, ben genellikle yüksek sayılarda makaleyi toplarım, okurum (10 dakikalık hızlı ilk okuma) ve sonra belki haftalar sonra ikinci okuma için dönerim. Son olarak, birkaç hafta ya da aylar sonra yeniden döner ve önceden yapmadığım son yararlı kavrayışı yapabileceğimi bulurum.”

Bu yaklaşımla hemfikirim. Tabii, makale değerlendirme son günü yakınken çok da yararlı olmayabilir!

Literatür Taraması Yapmak

Makale okuma becerisi literatür taraması yaparken test edilir. Belki de size yabancı olan bir alanda onlarca makale okumanız gerekir. Hangi makaleleri okumalısınız? Yardımcı olması için üç-geçişli yaklaşımı nasıl kullanabileceğinize bakalım.

Öncelikle Google Akademik veya CiteSeer gibi akademik arama motorlarını kullanın ve iyi seçilmiş anahtar sözcüklerle üç-beş arası makale bulun. Çalışma hakkında bir his edinmek için her makale üstünden bir kez geçin ve ardından makalelerdeki ilgili çalışmalar bölümünü okuyun. Yakın zamanda yapılan çalışmalar hakkında özet bilgi elde edeceksiniz, şanslıysanız belki de yakın zamanlı bir inceleme (survey) makalesi bulursunuz. İncelemeyi okuyun ve şansınızdan dolayı kendinizi tebrik edin.

Aksi halde, ikinci adımda, ortak atıfları ve kaynakçada tekrarlanan yazar adlarını tespit edin. Bunlar o alandaki anahtar makaleler ve araştırmacılardır. Anahtar makaleleri indirin ve bir yana koyun. Sonra anahtar araştırmacıların İnternet sitelerine gidin ve en son çalışmalarını nerede yayınladıklarına bir göz atın. Bu sayede o alandaki en gözde konferansları öğrenebilirsiniz, çünkü en iyi araştırmacılar genellikle en gözde konferansları seçer.

Üçüncü adım bu gözde konferansların İnternet sitelerine gidip son makalelerin üstünden geçmek olacak. Hızlı bir  tarama genellikle yakın zamanda yapılmış yüksek kaliteli ilgili makaleleri ortaya koyar. Bu makaleler, kenara koyduğunuz önceki makalelerle birlikte incelemenizin ilk sürümünü oluşturur. Bu makaleler üstünde iki geçiş yapın. Hepsinin atıfta bulunduğu anahtar makale varsa onu okuyun. Gerektikçe bu şekilde ilerleyin.

Yararları

Bu yaklaşımı geçtiğimiz 22 yıl boyunca konferans bildirilerini okurken, değerlendirme yazısı yazarken, arkaplan araştırması yaparken ve tartışma öncesi makaleleri hızlıca değerlendirirken kullandım. Bu disiplinli yaklaşım beni öncelikli yapılan bir kuşbakışı ile detaylar içinde kaybolmaktan alıkoyuyor. Birtakım makaleleri ne kadar sürede okuyacağımı tahmin etmemi sağlıyor. Ek olarak, makaleyi ne kadar derinlemesine değerlendireceğimi ihtiyacıma ve mevcut zamanıma göre ayarlayabiliyorum.

İlgili Çalışmalar

Değerlendirme amacıyla bir makale okuyorsanız Timothy Roscoe'nun “Writing reviews for systems conferences” isimli makalesini de okumalısınız [3]. Teknik bir makale yazmayı düşünüyorsanız Henning Schulzrinne kapsamlı İnternet sitesine [4] ve George Whitesides'ın tanıttığı sürecin mükemmel akışına [5] başvurabilirsiniz. Son olarak, Simon Peyton Jones’ın araştırma becerileri ile ilgili tüm spektrumu kapsayan sitesine bakabilirsiniz [2].

Psychology Inc’ten Iain H. McLean, deneysel psikoloji alanındaki makaleler için üç-geçişli yaklaşım kullanmayı kolaylaştıran indirilebilir bir “değerlendirme matrisi“ sunmaktadır [1]. Başka alanlar için de küçük değişikliklerle uygulanabilir.

Bir Rica

Gelen yorumlara göre güncelleyerek bu dokümanı yaşayan bir doküman olarak tutmak istiyorum. Bir dakikanızı ayırıp bana her türlü yorum veya önerilerizi gönderirseniz çok sevinirim.

Teşekkür

Bu dokümanın ilk taslağı öğrencilerim Hossein Falaki, Earl Oliver ve Sumair Ur Rahman tarafından hazırlandı. Kendilerine çok teşekkür ederim. Ayrıca Christophe Diot’un zekice yorumlarından ve Nicole Keshav'ın kartal-gözlü düzeltilerinden çok yararlandım.

Yıllar içinde teşvik edici geri bildirimlerini esirgemeyen birçok kişiye teşekkür ederim.

Bu çalışma National Science and Engineering Council of Canada, the Canada Research Chair Program, Nortel Networks, Microsoft, Intel Corporation ve Sprint Corporation tarafından desteklenmektedir.

Kaynakça

[1]   I.H. McLean, “Literature Review Matrix,” http://psychologyinc.blogspot.com.
[2]   S. Peyton Jones, “Research Skills,” http://research.microsoft.com/en-us/um/people/simonpj/papers/giving-a-talk/giving-a-talk.htm.
[3]   T. Roscoe, “Writing Reviews for Systems Conferences,” http://people.inf.ethz.ch/troscoe/pubs/review-writing.pdf.
[4]   H. Schulzrinne, “Writing Technical Articles,” http://www.cs.columbia.edu/~hgs/etc/writing-style.html.
[5]   G.M. Whitesides, “Whitesides' Group: Writing a Paper,” http://www.che.iitm.ac.in/misc/dd/writepaper.pdf.