• Bilgileri pratik bir şekilde saklamalı ve almalı
• Yormaması, anlaşılabilir ve sürekli düzenlenebilir olması gerekiyor.
• Var olan sistemlerle uyumlu olmalı.
• Markdown okumaya ve yazmaya izin vermeli
• Hızlı ve gelişmiş arama sistemine sahip olmalı

Bu özelliklere sahip sistemlerden birisi Johhny Decimal sistemi. Bu sistemin prensipleri şu şekilde verilebilir:

1. Maksimum 10 adet alan veya kategori olmalı.
2. Kategori dışında tekil bir şey dosya gibi olmamalı.
3. 2’den fazla alt klasöre izin yok.
4. 2 tık ile en derin klasöre ulaşmak gerekiyor.
5. Acele etmeden en az 1 gün üzerinde düşünülmelidir.
6. Olabildiğince az alan ve kategori ile çalışın.

Nedenleri;

• Aradığınızı daha hızlı bulabilmek
• Zihin ve çalışma kargaşasından kurtulmak ve daha düzenli çalışmak
• Farklı uygulamalarda benzer yapıyı oluşturarak uygulamaları daha verimli kullanmak

Nasıl uygulanır?

1. Tüm sisteminizi en fazla 10 parçaya bölecek alanlar belirleyin. 10-19–> Birinci alan, 20-29–> ikinci alan gibi.
2. Her alanda en fazla 10 parça ya da kategori çıkarın. Örneğin, birinci alanın birinci parçası 11, ikinci alanın üçüncü parçası 23 gibi.
3. Kategori içerisindeki herbir dosyayı ya da klasörü numaralandırın. 01, 09, 68 gibi. Örneğin, ikinci alanın üçüncü kategorisinin beşinci elemanı 23.05 olur. 23.05 o elemanın ID numarasıdır. Bu şekilde çağrılacaktır.
4. Kurguladığınız yapıyı mail, not alma, klasörleme, uygulama geliştirme gibi diğer ortamlarda da kullanın.

Notların Johnyy.Decimal’a Uyarlanması için Adımlar

• Tüm notlarınızı(Onenote, Google Keep, Notion, Evernote vb.) birlikte gözden geçirin. Notlarınızı bir liste yapın. Notların başlıklarını ve içeriklerini inceleyin.
• Notlarınızın alanlarını üst kategorilerini beyin fırtınası yaparak belirleyin. Notlarınız hangi alanlarda yoğunlaşmış? Örneğin, idari, akademik, kişisel üst kategorileri akademik personel için oluşturulabilir. Ya da işletmeler için Finans, pazarlama, satış gibi departman isimleri bir üst kategori olabilir.

• Üst kategorilere numara verin. Herhangi bir sıra ile verebilirsiniz, isim sırası şart değil. Hatta isim sırası olmazsa daha iyi olur. Çünkü araya bir isim geldiğinde isim sıralaması değişecektir. Bu numaralar o alana özel tanımlanmış bir ID numarası sadece. Büyüklük ya da önem ifade etmeyecek.

• Alanlara ait en fazla 10 tane kategori belirleyin. Bunlara da Alan numarasını devam ettirecek şekilde ID verin. 11-23-44- gibi numaralar olabilir. Örneğin research kategorisine ait bildiri, makale, kitap bölümü gibi kategoriler olabilir. Bunlara verilecek numaralar da aynı şekilde harf sırası olabilir de olmayabilir de.

• Artık kategorilerin içerisine çalışma klasörlerinizi koyabilirsiniz. Herbir klasör burada 01den başlayacak şekilde numara alacak. 99 a kadar içerisine tanımlama yapılabilir. 99’un üzerine çıkarsa? Çıkmayacaktır ancak çıkarsa artık kategorinizi bölmenin zamanı gelmiş demektir. Arşiv klasörü oluşturabilirsiniz. Ya da bir şekilde bu problemi çözebilirsiniz. Kategorilere örnek olarak research altında bildiri altında 01 ID numaralı öğe 53.01 verilebilir. Elde edilen ID numarası tam sayı kısmı ve desimal kısmı olarak ikiye ayrılıyor. Tam sayı. decimal ile dokümanlarınızı arayabilirsiniz. Başka uygulamalarda da bu yapıyı kullanarak hızlı bir şekilde aradığınızı bulabilirsiniz.

Bu anlatımı yaptığım videoyu izleyebilirsiniz.

LaTeX ilk kullanımı Word’e göre daha uzun olan ancak kullanımını öğrendikten sonra kullanım avantajı sağlayan bir doküman yöneticisidir. Eğer öğrenmek için birkaç gün ayırırsanız ve uygulama yaparak yayınlarınızı LaTeX ile hazırlarsanız belki ilk çalışmalarınızda değil ama sonraki çalışmalarınızda faydasını mutlaka görürsünüz.

LaTeX kullanarak,

Gönderiniz bir dergide reddedildiğinde hızlıca LaTeX kullanan bir derginin formatına getirebilirsiniz. Bu Word üzerinde çok zaman alıcı bir süreç olabilir.

Yayıncının istediği şekilsel ve dizgi şartlarını daha kaliteli bir şekilde yerine getirebilirsiniz. Word’de bazen standart dışı durumlar ile karşılaşılabilir. Örneğin bir sayfada sayfa numarası sağ tarafta bir sayfada sol tarafta veya farklı font, font büyüklüğünde görülebilir.

Word kullanarak;

Eğer vaktiniz az ise yani hızlı bir şekilde yazıp dergiye yayınızı yüklemek istiyorsanız ve LaTeX bilmiyorsanız daha avantajlı hale gelebilirsiniz.

Eğer dergi sadece Word şablonu paylaştıysa, LaTeX şablonu ile ilgilenmektense Word kullanarak yayınınızı gönderebilirsiniz.

Gibi durumlardan bahsedebiliriz.

Bir Öneri

Aşağıdaki adımları takip ederek bir bilimsel yayının şekilsel şartlarını etkili şekilde halledebilirsiniz:

1. Taslak haldeki yazınızı Word üzerinde yazın.
2. Gönderi yapacağınız derginin LaTeX şablon dosyasını indirin.
3. Word içeriklerini;
   1. Metinleri paragraf paragraf,
   2. Şekilleri .png olarak dışarı aktararak veya .svg, .eps dosyası şeklinde alarak,
   3. Tabloları şu adresteki tablo dönüştürücüyü kullanarak,
   4. Denklemleri Word içerisinde Tümünü doğrusal denkleme çevirerek aşağıda gösterildiği gibi alarak,

nihai PDF dosyasına sahip olabilirsiniz.

Bu adımları özetleyecek olursak şunları söyleyebiliriz. Öncelikle taslak makale için Word kullanılabilir. Başlık, özet metni, yazarlar ya da tam metin haldeki çalışma öncelikle Word üzerinde yazılabilir. Tabii yazarken herhangi bir şekilde özelliğe dikkat edilmeden yazılır. Ardından gönderilecek derginin şablon dosyası indirilerek Word’deki içerikler LaTeX dosyasına dönüştürülebilir. Böylece tam metni hazırladığımız metni eğer ilk gönderdiğimiz dergi reddederse yine aynı LaTeX (.tex) dosyasını kullanarak diğer dergilere gönderebiliriz. Bunun için Elsevier, Springer gibi yayınevleri tüm dergilerinde ortak .tex şablonu kullanmaktadırlar. Bu sayede hızlı bir şekilde diğer dergiye gönderiyi yapabiliriz. Ya da elimizde makalenin LaTeX dosyası varsa çok küçük ayarlamalar ile Elsevier için hazırlanmış makaleyi Springer’e hızlıca uyarlayabiliriz. Word için benzer durum daha fazla zaman alabilir.

Bu yöntemin kullanılması için ilk LaTeX kullanımı ile ilgili aşağıdaki rehberi takip edebilirsiniz. LaTeX kurulumundan sonra R kodlarının LaTeX içerisinde nasıl kullanılacağı da belirtilmiştir.

LaTeX Kurulumu

LaTeX’i Windows ortamında kurmak için şu adresteki sayfaya giderek aşağıdaki kısımdan tam bir LaTeX kurulumu gerçekleştirebilirsiniz. Örneğin ben şu adresteki .iso dosyasını indirerek bir kurulum gerçekleştirdim. Bu dosya 3,7 GB boyutunda yani indirmesi ve kurulumu biraz uzun sürebilir.

CTAN: Package texlive

İndirdiğiniz dosyayı klasöre çıkardığınızda aşağıdaki gibi klasöre ulaşmış olursunuz.

Bu klasördeki install-tl-windows.bat dosyasını çalıştırdığınızda bilgisayarınıza LaTeX kurulmuş olur. Kurulum uzun sürebilir, yaklaşım 20 dakika civarı. Klasördeki install-tl-windows.bat dosyasını çalıştırdığınızda aşağıdaki pencere gelecektir.

Bu pencereden yükle butonu ile kuruluma başlayabilirsiniz. Ardından aşağıdaki pencerede görüldüğü gibi gerekli paketler bilgisayarınıza yüklenecektir.

Kurulumdan sonra Başlat menüsünden Tex Live programını açarak ilk LaTeX dokümanınızı oluşturabilirsiniz. İlk çalıştırmayı aşağıda gösterildiği gibi yapabilirsiniz. Artık LaTeX sistemine bilgisayarınızda sahipsiniz ve çalışmalarınız LaTeX ile hazırlayabilirsiniz. Kurulumun ardından Başlat menüsünden aşağıdaki gibi LaTeX editörünü açabilirsiniz.

Eğer kurulumu bu şekilde tamamlarsanız Texworks editor isimli uygulamayı ilk kez çalıştırdıktan sonra editöre aşağıdaki kodlar ile ilk yazınızı yazabilirsiniz.

\documentclass{article}
% dokümanın bir makale olduğunu söyledik.
\title{\textbf{Bilimsel Yayınlarda LaTeX kullanımı}}
% Makalenin üst bilgilerini girebiliriz.
\begin{document}
% dokümana başlama komutu
\maketitle
% Makale üst bilgilerinden başlık sayfası oluşturduk.
\section{Introduction}
% Birinci derece başlık tanımladık.
\subsection{Background}
% İkinci derece başlık tanımladık.
Makalenizin metnini yazmaya başlayabilirsiniz.
% Makalenin ilk cümlesini yazdık.
\begin{equation}
\sum_{k=1}^{n} \frac{1}{2^k}
\end{equation}
% Makaleye bir denklem ekledik.
\end{document}

Bu kodları çalıştır dediğimizde aşağıdaki gibi bir görüntü alırız. Sağ tarafta PDF halde makale görünmektedir.

R kodlarını LaTeX içerisinde gösterme

Eğer makalenin içerisinde kod yazılmasını istiyorsak öncelikle listings paketinin kurmak gerekmektedir. Aşağıda bir örnek kullanım gösterilmiştir. Örnek kullanım şu adresten alınmıştır.

\documentclass{article}
\usepackage[svgnames]{xcolor}

\usepackage{listings}
% R kodları için kullanılacak paket

\lstset{language=R,
    basicstyle=\small\ttfamily,
    stringstyle=\color{DarkGreen},
    otherkeywords={0,1,2,3,4,5,6,7,8,9},
    morekeywords={TRUE,FALSE},
    deletekeywords={data,frame,length,as,character},
    keywordstyle=\color{blue},
    commentstyle=\color{DarkGreen},
}
% girilecek listings'lerin R kodları olduğunu söyledik.



\title{\textbf{Bilimsel Yayınlarda LaTeX kullanımı}}
\begin{document}
\maketitle
\section{Introduction}
\subsection{Background}
Makalenizin metnini yazmaya başlayabilirsiniz.
\begin{equation}
\sum_{k=1}^{n} \frac{1}{2^k}
\end{equation}

\subsection{R Kodları}
\begin{lstlisting}[language=R]
fib <- function(n) {
  if (n < 2)
    n
  else
    fib(n - 1) + fib(n - 2)
}
fib(10) # => 55
\end{lstlisting}
\end{document}

Bu komutları da yazdıktan sonra artık R kodlarını direkt LaTeX üzerinde çalıştırabiliriz.

Aşağıdaki videoda yeni bir yayın hazırlarken kullandığım araçları paylaşmıştım.

Faydalı olması dileğiyle.

Yazıyı ayrıca r-siz blog sayfasında da paylaştım.

Şöyle ki; bir taraftan makaleyi okurken bir taraftan da oluşturduğum formu dolduruyorum. Böylece tekrara düşmeden makale okuması yapabiliyorum. Formun cevaplarını Google Tablolara attıktan sonra istediğim formatta makale bilgilerini görebiliyorum. Okuduğum makaleleri kullanarak makale yazmak istediğimde Google Tablolardan makalelerin bilgilerini almak ve atıf yapmak daha kolay oluyor.

Formu aşağıda paylaşıyorum, bu haliyle benim işimi görüyor. Yorum, görüş veya katkı sunmak istediğiniz bir yer var ise bildirebilirseniz sevinirim. Umarım faydalı olur.

Excel Solver Aktifleştirme

Öncelikle Excel Solver aktifleştirmesi ile başlayalım. Excel Solver Excel’in varsayılan olarak getirmediği bir araç o nedenle önce aktif hale getirmek gerekiyor. Bunun için

1- Dosya seçeneğinden seçenekler menüsüne tıklayın.

2- Eklentiler kısmına gelin.

3- Excel Eklentilerine git diyerek Çözücü Eklentisini aktif hale getirin.

Çözücü eklentisi Veri sekmesi altında en sağda görünür hale gelmiş oldu. Şimdi bir örnek üzerinde Excel solver kullanımını görelim.

Örnek Problem

Örnek modelimizde sandalye, masa ve dolap satan bir mağaza düşünelim. Mağaza bir adet sandalye satışından 10, masa satışından 15, dolap satışından ise 5 birim kar elde ediyor. Ürünler için gerekli hammadde ve işçilik bilgileri ve şirketin sahip olduğu toplam işçilik süresi ile hammadde malzemesi miktarı tablonun sonunda verilmiştir. Bu bilgilere göre modeli Excel ile çözelim.

Matematiksel Modelin Kurulması

Excel Solver’a verilerin girilmeden önce problemin matematiksel modelini oluşturmamız gerekir. Matematiksel model için 4 adımda işlem gerçekleştirebiliriz. Model kurma ile ilgili daha detaylı bilgi için şu videoyu izleyebilirsiniz.

Adım 1: Problemin tanımı

Şirketin karını maksimize edebilmesi için hangi üründen kaç adet üretmesi gerekir?

Adım 2: Karar değişkenlerinin belirlenmesi

X1: Sandalye miktarı

X2: Masa Miktarı

X3: Dolap miktarı

Adım 3: Kısıtların belirlenmesi

1 malzeme kısıtı 3 X1 + 1 X2 + 2 X3 <=10

2 işçilik kısıtı X1 + 2 X2 + x3 <= 7

Negatif olmama kısıtı

x1, x2, x3 >=0

Adım 4: Amaç fonksiyonunun belirlenmesi

Max Z =10×1 + 15×2 + 5×3

Hücrelerin Ayarlanması

Baştan belirtelim. Burada anlatılan Excel Dosyasını buradan indirebilirsiniz.

Öncelikle belirli bir hücre aralığında karar değişkenlerimizi yerleştirelim. Karar değişkenlerini aşağıdaki gibi yerleştirebiliriz. Yeşil ile gösterdiğim kısımdaki hücreler değişken hücreleri gösteriyor. Yani modelimizde değişecek olan yerler bu yeşil hücreler olacak. Ki karar değişkenlerimiz yani hangi üründen ne kadar üreteceğimizin bilgisi bu hücrelerde saklanacak.

Ardından kısıtları belirli hücre aralığında belirtelim. Görüldüğü gibi yeşil kısımda tekrar değişkenlik gösteren yerleri belirtmeye çalıştım. Açık mavi olan hücrelerde ise sabit parametreleri göstermeye çalıştım. Yani kısıtlara ait katsayılar açık mavi kısımlara gelecek. Kullanılan sütunu o kısıtın ne kadar kullanıldığını tutan yer olacak. Mevcut sütunu da o kısıtın ne kadar mevcut olduğunu tutacak olan kısım.

Son olarak da amaç fonksiyonunun yerini belirtelim. Maviler ve yeşil hücreler yine aynı anlama gelmektedir.

Verilerin Girilmesi

Başlangıç çözümü için karar değişkenleri 0 olarak girilir.

Kısıt değerleri için katsayılar girilir. Matematiksel modelde oluşturduğumuz gibi kısıtların katsayılarını aynen giriyoruz.

Amaç fonksiyonu katsayıları girilir.

Hücre Aralığına İsim Vermek

Hücre aralıklarına çağırmada kolaylık olması için isim verilebilir. Bunun için formüller sekmesinden ad tanımlama menüsüne gidilir.

Hücre aralığı seçilerek hücre aralığına isim verilir.

Topla Çarpım Formüllerinin Yazılması

Karar değişkenleri ile matris işlemleri yapılarak hesaplamalar yapılır.

Amaç fonksiyonu için topla çarpım hesaplaması yapılır.

Excel Solver Kullanımı

Verilerin ve hesaplamaların girişinden sonra Veri sekmesinden Excel Solver çalıştırılabilir.

Solver Ekranı

Solver menüsüne girdiğimizde ilk önce bizden hedef hücresi soruluyor. Bunu max z olarak belirlediğimiz hücreyi giriyoruz. Problemimiz bir maksimizasyon problemi olduğu için en büyük seçeneğini seçiyoruz. Ardından karar_degiskenlerini değiştirerek bir işlem yap diyoruz. Son olarak kısıtlar kısmına kullanılan <= mevcut olacak şekilde kısıtlarımızı giriyoruz.

Çöz dediğimizde çözümler aşağıdaki gibi hesaplanmış olur. Demek ki X1=2,6 X2 = 2,2 X3 = 0 olarak çözüm bulunmuş olunur. Z değeri de 59 çıkmıştır.

Bir sonraki yazıda Excel Solver’da duyarlılık analizi konusu işlenecektir.

Bugün birliktelik kurallarını(association rules) analizini inceleyeceğiz. Ardından veri madenciliğinde kullanılan araçlarla birliktelik kurallarını nasıl uygulayabiliriz diye bakacağız.

Tanım

Birliktelik analizleri veri seti içerisinde gizli olan if else kurallarını ortaya çıkarmaya çalışan çalışmalardır. Genellikle kategorik veriler ile iyi sonuçlar verir.  En bilindik örneği sepet analizleridir. Bunu dışında bioinformatiks, hastalık teşhisi, web madenciliği, metin madenciliği gibi geniş bir kullanım alanına sahiptir. 

Sepet Analizi (Basket Analysis)

Sepet analizinde markette alışveriş yapan kişilerin aldığı ürünler bir listede tutularak, acaba hangi ürünler birlikte daha fazla satılıyor diye bakılır.

Örnek bir birliktelik kuralı Çay ? Kahve

İkili Gösterim

Birliktelik analizinde yer alan değerleri ikili şekilde gösterebiliriz. Aşağıdaki tabloda alışveriş sepetinin ikili gösterimini görebilirsiniz. Her bir satır yeni bir alışverişi gösterir.

Kavramlar

Birliktelik Kuralları

Örnek Birliktelik Kuralları

Birliktelik Kuralları Çalışması

Birliktelik kurallarında amaç olarak örneğin bir marketteki tüm alışveriş listelerini ele alarak birliktelik kuralları ortaya çıkarmaya çalışırız. 

Birliktelik kurallarının sahip olması gereken özellikleri:

• Destek > belirlenen minimum destek eşik değeri
• Güven > belirlenen minimum güven eşik değeri

Birliktelik Kurallarının Çıkartılması

Kural oluşturmada 2 aşamalı yaklaşım vardır.

1. Frekans listesinin oluşturulması: Burada uygun(eşik değerinden büyük) tüm ürün listeleri oluşturulur. Hesaplanması zordur.
2. Kural oluşturulması: yüksek güven derecesine sahip ürün listelerinden karar kurallarını oluştur.

Frekans Ürün Listelerinin Oluşturulması

Şekildeki gibi bütün seçenekler belirlenir 2^n kadar alışveriş listesi oluşturulabilir. Örneğin bir kişi AB alıp alışverişini tamamlayabilir gibi.

Apriori Algoritması

Veriler arasındaki if-else kurallarının ortaya çıkarılmasını sağlar. Kategorik veriler ile çalışabilir. Sepet analizi uygulamasını birlikte Apriori algoritması ile hem çözelim hem de Apriori algoritmasını öğrenelim. Öncelikle minimum destek eşik değerini %60 olarak alalım. 

1. Adım: Ürün listelerini frekanslar şeklinde yaz ve maksimum frekansa sahip ürünü belirle.
2. Ürün sayısını eşik değeri ile çarp ve bulduğun değerin altındaki ürünleri çıkar.

Veri Madenciliği Araçları

Orange Aracı ile Birliktelik Kuralları

Orange aracını yükledikten sonra Options >> Add-ons seçeneğinden Associate! Eklentisini kuruyoruz. Sepet analizinde kullandığımız veri setini şu adresten indirebilirsiniz. Veri seti açtıktan sonra frequent Itemsets ile minimum desteğe sahip kuralları gösterebiliriz. Son olarak Birliktelik Kurallarını Association rules ile gösterebiliriz.

Weka ile Birliktelik Kuralları

Weka ile verisetini açtıktan sonra Associate sekmesinden Apriori seçilerek birliktelik kuralları okunabilir.   

Ders Videosu

Ders Sunumu

Kaynaklar

• Akküçük, Ulaş. “Veri madenciliği: kümeleme ve sınıflama algoritmaları”. İstanbul: Yalın Yayıncılık 18 (2011).
• Han, Jiawei, Jian Pei, ve Micheline Kamber. Data mining: concepts and techniques. Elsevier, 2011.
• Kantardzic, Mehmed. Data mining: concepts, models, methods, and algorithms. John Wiley & Sons, 2011.
• Sumathi, Sai, ve S. N. Sivanandam. Introduction to data mining and its applications. C. 29. Springer, 2006.
• Tan, Pang-Ning, Michael Steinbach, ve Vipin Kumar. Introduction to data mining. Pearson Education India, 2016.
• Towards Data Science. “Towards Data Science”. Erişim 29 Mart 2020. https://towardsdatascience.com/.
• VanderPlas, Jake. Python Data Science Handbook. OReilly Media. Inc, 2017.
• https://medium.com/@ekrem.hatipoglu/machine-learning-association-rule-mining-birliktelik-kural-%C3%A7%C4%B1kar%C4%B1m%C4%B1-apriori-algorithm-4326b8f224c3

Kavramlar

Zaman serisi analizlerinde amaç olarak geçmiş veriler ile şimdiki veriler arasındaki ilişkiler anlaşılarak gelecekteki veriler tahmin edilmeye çalışılır. Yapılacak iyi tahminler sayesinde gelecekle ilgili yapılan hedefler, planlar daha tutarlı hale gelebilir. Ya da bir olay hakkında karar vermek için zaman serisi tahminlerine ihtiyaç duyabiliriz. Zaman serisi analizlerinde önemli kavramlardan bazıları şunlardır.

Durağanlık(Stationary): Durağan serinin ortalaması sabit bir değer civarındadır ve varyansı çok değişken değildir. Yani herhangi andaki değerlerin ortalamaları birbirlerine hemen hemen eşittir. Durağan olmayan seriyi durağan hale getirmek için genellikle serideki değerlerin geçmişteki değerleriyle farkı alınır.

Düzleştirme (smoothing): Serinin dalgalanma olan kısımlarını düzleştirmek demektir. Düzleştirme daha iyi modellemeler yapabilmemizi sağlar. Düzleştirmeye örnek olarak hareketli ortalamalar ya da üstel düzleştirme verilebilir.

Fark Alma(Differences): Serinin değerlerini önceki değerlerden çıkartılarak gerçekleştirilir. Derecesi d ile gösterilir. Örneğin d=1 ise serideki değerler bir önceki değerlerden çıkartılarak işlem gerçekleştirilir.

Ayrıştırma(Decomposition): Seriyi trend ve mevsimsellik etkilerine ayırma işlemi.

Durağanlık

Durağanlık zaman serisi analizlerinde önemli bir yer tutar. Çünkü durağanlık durumuna göre yapılan analizler de farklılık gösterir. Örneğin eğer seride bir trend varsa durağanlık ortadan kalkabilir ve kurulan regresyon modelinde yüksek bir doğruluk değeri çıkabilir. Ancak bu değer sahte bir değerdir çünkü trendden kaynaklanan bir ilişki göz ardı edilmiş olabilir. Yani kurulan model ilişkiyi iyi yansıtmamış olur. Bu nedenle serinin durağan hale getirilmesi gereklidir. Durağan olmayan serilerin de analizleri yapılabilir. Durağan olmayan seriler şimdiki ve gelecekteki değerlerin geçmiş değerlerden çok farklı  olduğu durumdur. Yani tamamen bir rassallık söz konusudur. Biz bu yazıda sadece durağan zaman serilerinde gerçekleştirilecek olan analizlerden ve tahminlerden bahsedeceğiz. Durağan olmayan seriler ile ilgilenmeyeceğiz.

Şekilde 3 tip zaman serisi ortalama ve varyans değerlendirmesi var. Birinci grafikte ortalamaların belirli bir çerçeve içerisinde hareket etmiş. Burada hem ortalama hem de varyanslar durağan şekildedir. Ancak ortadaki grafikte ortalamanın değişken hareketler sergilemiş. Diğer grafikte de ortalama ve varyans ikisi birlikte durağan bir yapıda değil. Durağanlığın grafikler üzerinden görülebileceği gibi bazı testler ile de testi mümkündür. Örneğin Dickey-Fuller Testi durağanlığın test edilmesi için geliştirilmiştir. Ya da otokorelasyon fonksiyonu grafikleri de çizilerek durağanlık veya durağan olmayan yapı görülebilir. Durağanlık konusuna tahmin modellerinde tekrar geleceğiz. Tanımları  kısaca gördükten sonra bir zaman serisi üzerinde bu tanımları ve zaman serisi analizlerini birlikte görelim.

Uygulama için kullanılacak olan veri setini şu adresten indirebirip Minitab ile açabilirsiniz. Stat>>Time Series>>Plot ile grafiğini çizelim.

Zaman serisindeki aylık verileri görmek istersek Minitab’de

1. Yeni bir sütun açılır. Calc >> Make Pattern Data ile ay sayıları oluşturulur.

2. Data >> Unstack Column ile veriler aylık olarak yeni bir sayfada gösterilir.

Aylık sayıların olduğu tabloda yeni bir sütunda aylık toplam yolcu sayıları gösterilebilir. Toplam sayılar için Calc >> Row Statistics menüsü kullanılabilir.

Zaman serisi grafiğinden senelik grafik çizilebilir.

Ayrıştırma

Şimdi zaman serisi tahminleri için birkaç notasyon gösterelim. Y değerleri t zamanında değişkenin aldığı değeri göstersin. Y ile gösteriyoruz çünkü bu değerler zamana bağımlı değerler. T zamanları 1,2,3..n diye devam eden bir seri olsun.

Öncelikle eğer serimizde trend ve mevsimsellik varsa biz bunları toplayarak bir model ortaya koyabiliriz.

Bu model eklemeli ya da toplamsal model olarak geçer ve trend ile mevsimsellik etkisi modele toplama işlemi ile eklenmiştir. Bir diğer model de ise çarpımsal model olarak geçen trend ve mevsimsellik etkisinin birbirleri ile çarpıldığı model söz konusudur.

Burada trend ve mevsimsellik etkisi birbiriyle çarpılır. Bu model eğer mevsimsellik ve trend etkisi birlikte artma eğiliminde ise kullanılır. Ayrıştırma işlemi ile zaman serisi işte buradaki trend ve mevsimsellik etkilerinden arındırılabilir. Ya da varsa döngüsellik veya düzensizlik etkileri de modele eklenebilir. Biz ayrıştırma işlemini işte bu bileşenleri ortaya çıkarmak daha görülebilir hale getirmek için yapıyoruz. Oldukça sezgisel bir yöntem ve teorisi çok sağlam değil. Yani araştırmacının yorumlarına açık bir yöntem. Toplamsal ya da çarpımsal modellerden hangisinin kullanılacağı iki modelden hangisi daha iyi bir hata oranı verdiğine bağlıdır.

Minitab’de Ayrıştırma

Minitab’de mevsimsellik ve trend etkisinin bulunması için Time Series >> Decomposition menüsü kullanılır.

Aşağıdaki grafikten 7.ve 8. Aydaki yolcu sayısının diğer aylara göre daha fazla olduğu görülebilir.

Düzleştirme(Smoothing) – Hareketli Ortalamalar

Aylık bir veri ile çalışıyorsak 12li hareketli ortalama almak isteyebiliriz. Bu durumda MA(12) ile çalışırız.

formülü ile 7. aya ait hareketli ortalamayı bulabiliriz. Minitab’de Stat>>Time Series >> Moving Average

Kırmızı kısımda hareketli ortalamaları gösterilmiştir. Veriler daha düz bir hale geldi. Mevsimsellikten arındı.

Excel’de Hareketli Ortalamalar

Excel’e yolcu sayılarını yapıştırdıktan sonra 7. Aya gelerek aşağıdaki formülü yazarız ve aşağıya çekerek tüm değerlerin hareketli ortalamasını bulmuş oluruz.

 =TOPLA(A2/2;A3:A13;A14/2)/12

Üstel Düzleştirme

Önceki verilere daha az yeni verilere daha fazla ağırlık vererek şimdiki değeri hesaplama yöntemi.

Aşağıdaki formüldeki gibi düzleştirme yapar. Burada α_t o zamanki üssel hareketli ortalamanın değeridir. α_t değeri düzleşmenin miktarını belirler. Eğer α 1’e eşit olursa x üzerinde hiç düzleştirme olmaz. Eğer 0 olursa bu kez X değerini çok az kullanmış oluruz.  α değerini Minitab’e bırakmak en doğrusu olabilir.

Holt-Winters Üstel Düzleştirme Yöntemi

Başka bir üssel düzleştirme yöntemidir. Buradaki fark mevsimsellik etkisi de göz önüne alınarak bir düzleştirme işlemi yapmasıdır.

Fark Alma

Durağan olmayan bir seriyi durağanlaştırmak için yapılır. Eğer serideki değerleri 1 önceki değerlerden çıkartarak yeni bir seri oluşturmak istersek bu menüyü kullanabiliriz.

Otokorelasyon

Otokorelasyon aynı değişkenin kendi değerleri arasındaki korelasyon için kullanılır. Denklemi aşağıda verilmiştir.

Korelogram (ACF)

Korelogram (Auto-correlation function(ACF)): Serinin otokorelasyon katsayısı ile gecikme değerleri arasındaki ilişkiyi verir. Serinin durağanlığı ve alınması gereken p değerinin bulunmasında kullanılabilir. Eğer grafikte sınır değerlerinin üzerinde değerler varsa seri durağan değildir. Fark alınarak seri durağan hale getirilir.

Partial auto-correlation function(PACF): Kısmi otokorelasyon fonksiyonu 2 gecikme arasındaki gecikmeleri verir diğer gecikmeler kısmi korelasyonda önemli değildir.

Korelogram Okuması

ACF ve PACF grafikleri

Şimdi yolcu sayıları serisindeki ACF ve PACF grafiklerine bakalım.

Azalma yavaş yavaş gerçekleşmiş. Serinin durağanlaştırılması gerekir. Bir kez fark alınıp tekrar incelenmesi gerekir.

1 Derece Fark Alma

Minitab’de 1 derece fark aldıktan sonra grafikler tekrar incelenir. Şimdi serinin durağan hale geldiğini söyleyebiliriz. Korelogram okumasından hatırlanacağı gibi ACF ve PACF grafiklerinden çıkan sonuç seride yüksek otokorelasyon olduğu yönündedir.

ARIMA Modelleri

Tek değişkenli zaman serisi analizi ve tahmini yapmaya yarayan bir yöntemdir. AutoRegressive Integrated Moving Average ifadesinin kısaltmasıdır. ARIMA modelinde zaman serisindeki değerler geçmiş değerleri üzerinden modellenir ve tahmin gerçekleştirilir. İlk olarak Box ve Jenkins tarafından bulunmuş ve Box-Jenkins modelleri olarak da bilinmektedir.

Mevsimsel olmayan Box-Jenkins Modelleri ARIMA(p,d,q)

p: otoregresyon modelinin derecesi,

d: fark alma işlemi,

q: hareketli ortalama modelinin derecesi

ARIMA Aşamaları

P,d,q değerlerinin belirlenmesi

Durağan olan ya da durağan hale dönüştürülen serinin ACF ve PACF grafiklerine göre uygun olan model belirlenir.

• ACF grafiğindeki ilişki miktarları gecikme sayısı arttıkça yavaş yavaş azalıyor ama PACF grafiğindeki bu azalma hızlı bir şekilde oluyorsa AR modeli
• PACF grafiğindeki ilişki miktarı yavaş yavaş azalırken ACF grafiğindeki ilişki miktarı hızlı bir şekilde azalıyorsa hareketli ortalama MA modeli
• Hem ACF hem de PACF grafiklerinde ilişki miktarının azalışı yavaş yavaş olursa otoregresif hareketli ortalama ARMA modeli kurulmalıdır.

ARIMA Tahmin Sonuçları

P,d,q değerleri belirlendikten sonra modelin tahmin aşamasına geçilir. Bunun için Stat>>Time Series>>ARIMA seçeneği seçilir.

AR(1)’in p-değeri 0,05’ten küçük çıkmış yani AR modeli anlamlıdır. Sabit değer ise 0,05’ten büyük çıktığı için anlamsızdır modelden çıkarılmalıdır.

Modelin Uygunluğu

Ortalama Karesel Hatalar(MS) modelin performans ölçüsü olarak kullanılır. Düşük MS değeri daha iyidir. Diğer ARIMA modelleri de uygulanarak MS değerleri karşılaştırılabilir.

Tahmin Değerleri

Tahmin değerlerini göstermek istediğimiz uzunluğu Forecasts menüsünden ayarlayabiliriz. Lead time değeri kaç aylık ileriyi tahmin etmek istediğimizin değeridir. Bu değeri bir sütuna kaydedip yorumlayabiliriz.

Ders Videosu

Ders Sunum Dosyası

Kaynaklar

• Cintas, Pedro Grima, Lluis Marco-Almagro, ve Javier Tort-Martorell Llabres. Industrial statistics with Minitab. Wiley Online Library, 2012.
• Erhardt, Erik B., Edward J. Bedrick, ve Ronald M. Schrader. “Advanced Data Analysis-Lecture Notes”, 2016.
• Karagöz, Murat. İstatistik Yöntemleri. 9. bs. Ekin Kitabevi Yayınları, 2015.
• Khan, Rehman M. Problem solving and data analysis using minitab: A clear and easy guide to six sigma methodology. John Wiley & Sons, 2013.
• Lesik, Sally A. Applied statistical inference with MINITAB®. CRC Press, 2018.
• Newton, Isaac. Minitab cookbook. Packt Publishing Ltd, 2014.
• “Support | Minitab”. Erişim 29 Mart 2020. https://www.minitab.com/en-us/support/.

Gözetimli ve Gözetimsiz Öğrenme

Sınıflandırma grafiğinde kırmızı ve daire şeklinde noktalar görülebilir. Başlangıçta bu noktaların sınıfları ya da renkleri ve şekilleri makineye veriliyor. Ardından makinenin bunları öğrenmesi ve yeni gelecek verileri bu öğrenmeye göre sınıflandırması isteniyor. Sınıflandırma çalışmasında sınıfları birbirinden ayıracak en uygun çizgi belirlenmeye çalışılır. Bu çizgiyi çizdikten sonra veri setini ne kadar iyi sınıflandırdığımız daha sonra eğitim ve test setleri üzerinden hesaplanır. Diğer grafikte sadece kırmızı ve daire şeklinde noktalar olduğu görülür. Bu veri setinde gruplar oluşturulmak istenirse kümeleme algoritmalarını kullanılabilir. Kümeleme algoritmaları veri setindeki benzer yapıda bulunan verileri bir araya getirerek gruplar oluşturmaya çalışır. Veriler arasındaki Öklid uzaklığa, Minkowski uzaklığa, Manhattan uzaklığa bakarak verilerin ne kadar benzediğini/benzemediğini hesaplamaya çalışır. 

Kümeleme Analizinde Sorulacak Sorular

Kısaca kümeleme algoritmasında şu sorular başlangıçta sorulur.

• Gruplama denklemi olarak hangi verilerin ne kadar benzediğine nasıl karar vereceğiz?
• Kümeleme sonucu ne kadar doğru, ne kadar hızlı verimli?
• Veri içerisinde ne kadar küme olacağını düşüneceğiz?

Kümeleme Algoritmalarının Örnek Uygulama Alanları

• Benzer özellikteki müşterilerin belirlenerek reklam kampanyalarının müşteri özelliklerine göre ayrı belirlemek
• İnternetteki benzer dokümanları gruplamak (Benzerlik raporları gibi)
• Benzer özellikteki protein dizilimlerinin ortaya çıkarılması (COVID19 hangi virüsün protein dizisine benziyor gibi)
• Benzer özellikteki şarkıları bir araya getirerek bir kategorizasyon yapmak

K-Means Kümeleme Algoritması

K-means kümelemede en çok kullanılan algoritmadır. Verinin kesin bir şekilde hangi kümeye ait olduğunu söyler. Yani bulanık ya da kaba küme olduğunu belirtmez. K-means algoritması önce veriyi k adet kümeye böler. Kümelerin orta noktalarını(centroid) bulur. Her bir veriyi bölünen kümelerden verinin en yakın olduğu kümesine atar. Burada hangi uzaklık ölçüsü kullanılacaksa ona göre bir hesaplama gerçekleştirilir. K-means algoritması bulunan kümedeki orta noktanın diğer orta noktalardan olabildiğince uzak olmasını bir kümenin içerisindeki verilerin ise olabildiğince yakın olmasını amaçlar. Aşağıda akış şeması verilmiştir.

 K nokta sayısı kadar orta nokta belirle

Tekrarla

    Her bir noktayı en yakın orta noktanın olduğu kümeye dahil et.

    Tekrar orta noktaları hesapla

Orta noktalar değişmeyene kadar devam et

K-Means Algoritması Uygulaması

Scikit learn kütüphanesi içerisinde K-Means gibi birçok kümeleme algoritması vardır. K-means algoritması uygulamasını biraz daha kolay anlayabilmek için iris veri seti üzerinde ele alalım.

# Gerekli kütüphanelerin çağrılması
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
import pandas as pd
from sklearn import cluster
plt.style.use('ggplot')

# Veriseti
iris = load_iris()
X, y = load_iris(return_X_y=True)

# ilk 2 özelliğin serpilme grafiği
plt.scatter(X[:,0], X[:,1], c=y)
plt.xlabel(iris.feature_names[0])
plt.ylabel(iris.feature_names[1])

# 3 kümeye ayıralım
kmeans = cluster.KMeans(n_clusters=3, random_state=42)
kmeans.fit(X)

# bulunan 3 kümenin orta noktası
kmeans.cluster_centers_.round(2)

array([[5.9 , 2.75, 4.39, 1.43], [5.01, 3.43, 1.46, 0.25], [6.85, 3.07, 5.74, 2.07]])

# Sonuç kümeleri
kmeans.labels_

array([1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 2, 2, 2, 2, 0, 2, 2, 2, 2, 2, 2, 0, 0, 2, 2, 2, 2, 0, 2, 0, 2, 0, 2, 2, 0, 0, 2, 2, 2, 2, 2, 0, 2, 2, 2, 2, 0, 2, 2, 2, 0, 2, 2, 2, 0, 2, 2, 0])

# Kümeleme Sonuçları
plt.scatter(X[:,0], X[:,1], c=kmeans.labels_)

# Gerçek sınıfların olduğu grafik
plt.scatter(X[:,0], X[:,1], c=y)
plt.xlabel(iris.feature_names[0])
plt.ylabel(iris.feature_names[1])

Ders Sunumu

Ders Videosu

Kaynaklar

• Akküçük, Ulaş. “Veri madenciliği: kümeleme ve sınıflama algoritmaları”. İstanbul: Yalın Yayıncılık 18 (2011).
• Han, Jiawei, Jian Pei, ve Micheline Kamber. Data mining: concepts and techniques. Elsevier, 2011.
• Kantardzic, Mehmed. Data mining: concepts, models, methods, and algorithms. John Wiley & Sons, 2011.
• Sumathi, Sai, ve S. N. Sivanandam. Introduction to data mining and its applications. C. 29. Springer, 2006.
• Tan, Pang-Ning, Michael Steinbach, ve Vipin Kumar. Introduction to data mining. Pearson Education India, 2016.
• Towards Data Science. “Towards Data Science”. Erişim 29 Mart 2020. https://towardsdatascience.com/.VanderPlas, Jake. Python Data Science Handbook. OReilly Media. Inc, 2017.

Minitab Trend Analizi Uygulaması

Basit tanımla, zamanla değişen gözlem değerlerinin olduğu veri setlerine zaman serisi adı verilir. Zaman serilerinde zaman objesi veri setindeki bir özellik olarak analize eklenir. Zaman serileri oldukça yaygın bir kullanıma sahiptir. Hemen hemen her alanda zaman serilerini görebilirsiniz. Örneğin meteorolojik verilerde günlük sıcaklık basınç gibi değerlerin tutulduğu serilerde ya da ekonomi ile ilgili verilerde günlük borsa kapanış değerleri gibi. Ya da tarım verilerinde yıllık buğday ekim miktarları gibi gibi bir çok alanda zaman serileri ile karşılaşırız.

Trend bir zaman serisinin gitmek istediği yön olarak tanımlanır. Bu çalışmada Türkiye’deki senelik işsizlik oranlarının tutulduğu bir seride trend analizi yapılacaktır. Veri seti olarak 1990 yılından 2019 yılına kadar Türkiye’deki işsizlik oranları tablosu alınmıştır ve veri seti şu adresten indirilebilir. Verilerin zaman serisi grafiğini Time Series >> Time Series plot seçeneğinden yapabiliriz ya da Graph sekmesinden Time Series Plot seçeneğini de seçebiliriz. 

Eğer gruplu bir zaman serimiz yoksa basit olanı seçerek devam ediyoruz.

Daha sonra verilerimizi seri olarak giriyoruz. Yani veriler kronolojik bir sırada olacak diyoruz. Time/Scale menüsünden verilerin senelik olduğunu söylüyoruz.

Ayrıca zaman serimizin 1990 yılından itibaren veri içerdiğini söylemiştik. Bunu da All Year tablo biçimindeki yere giriyoruz. Data Increment yani verilerin verilen zaman döngüsündeki artış sayını 1 olarak giriyoruz. Her sene verinin olması durumu söz konusu olduğu için. Grafiği çizdir dediğimizde aşağıdaki gibi bir grafik karşımıza geliyor.

Böylece zaman serisi grafiği çizdirmiş olduk.

Trend analizinde zaman serisi üzerinde bir regresyon modeli kurulur ve ardından gelecek değerleri regresyon modeli üzerinden tahmin edilir. Regresyon denklemi aşağıdaki şekilde gösterildiği gibi kurulur. Burada y bir bağımlı değişkeni, t ise zaman değişkenini ifade eder. 0 kesme terimi, 1 eğim katsayısını gösterir.

Trend analizinde lineer bir ilişki modeli kurmak istersek önce regresyon analizinde çıkacak denkleme ve regresyon analizi sonuçlarına bakabiliriz. Bunun için Stat >> Regression >> Regression Fit seçeneğinden veriler girildikten sonra aşağıdaki gibi regresyon sonuçlarını elde ederiz. Regresyon analizinde sonuç olarak yıl değişkenini 0,15 ile çarpar 7,243 değeri ile toplarsak işsizlik oranına ulaşıyormuşuz diyebiliriz. 

The regression equation is
İşsizlik Oranı = 7,243 + 0,1506 Zaman

Bu regresyon denkleminden yola çıkarak aslında bir tahmin gerçekleştirebiliriz. Zaman yerine 31,32,33 değerlerini koyarsak yeni tahmin değerlerini elde etmiş oluruz. Bunun için öncelikle zaman değerlerini 40’a kadar uzatalım. Bunu Minitab Calc kullanarak yapalım. 

Görüldüğü gibi regresyon ile tahminlerimizi gerçekleştirdik. Şimdi bunu trend analizi ile gerçekleştirelim. Eğer uzun süreli bir trend olduğunu düşünüyorsak trend çizgimizi bütün değerleri kullanarak oluştururuz ardından gelecekteki değerler için karşılığını buluruz.

Bunun için Minitab üzerinde Zaman Serisinde Trend Analizi kısmına gelelim.

Bu pencerede kaç sene için tahmin yapmak istediğimizi seçebiliriz. Diyelim ki 10 senelik bir tahmin yapmak istiyoruz. 10 değerini giriyoruz. Tabii tekrar verilerin senelik olduğunu belirtmek için tekrar Time sekmesinden Calendar Year seçeneğinden 1990 başlangıç yılı olarak seçilir. Ayrıca Storage sekmesinden tahmin değerlerini  bir sütunda yazmasını isteyelim.

Bu seçimler bize trend analizi grafiğini çizdirir. Grafik aşağıda gösterildiği gibi çizdirilmiş olur.

Trend Analizinde Performans Değerleri

Grafik ile birlikte başka çıktılar da karşımıza çıktı. Forecasts tablosunda hangi tarihte işsizlik oranının ne değere geleceğini öngörmüş oluyoruz. Şimdi tahmin değerlerinin performanslarına bakalım. Trend analizi seçeneği çıktılarında aşağıdaki gibi performansları görebilirsiniz. 

Burada MAPE yani mean absolute percentage error yani ortalama mutlak yüzdesel hataları verir. Bu ölçü ile tahmin edilen değlerlerin gerçek değerlerden ne oranda saptığını ölçebiliriz. Düşük MAPE değeri daha iyi bir tahmin gerçekleştirdiğimiz anlamına gelir. MAPE ve MAD(Mean Absolute Deviation) aşağıdaki formüller ile hesaplanır.

Diğer bir performans ölçüsü de MSD(Mean Squared Deviation) ortalama karesel hatalar ise aşağıdaki formülde olduğu gibi hesaplanır. 

Burada eğer verilerimiz lineer değilse ki grafikten anlaşılan veriler arasında lineer olmayan bir ilişkinin olduğu görülür. Bu durumda quadratik, S-Curve ve eksponansiyal dağılım çizgilieri ile lineer model karşılaştırılarak trend analizi yapılır. Bunun için trend analizi sekmesinden Model Type kısmından seçilir.

Kadratik Model

S-Curve Modeli

Böylece tek değişkenli bir zaman serisi üzerinde trend analizi gerçekleştirmiş olduk. Son olarak bulduğumuz performans değerlerinden yola çıkarak hangi modelin veri setine daha uygun olduğu değerlendirmesini yapabiliriz.

Ders Sunumu

Youtube Sunum Videosu

Kaynaklar

• Cintas, Pedro Grima, Lluis Marco-Almagro, ve Javier Tort-Martorell Llabres. Industrial statistics with Minitab. Wiley Online Library, 2012.
• Erhardt, Erik B., Edward J. Bedrick, ve Ronald M. Schrader. “Advanced Data Analysis-Lecture Notes” , 2016.
• Karagöz, Murat. İstatistik Yöntemleri. 9. bs. Ekin Kitabevi Yayınları, 2015.
• Khan, Rehman M. Problem solving and data analysis using minitab: A clear and easy guide to six sigma methodology. John Wiley & Sons, 2013.
• Lesik, Sally A. Applied statistical inference with MINITAB®. CRC Press, 2018.
• Newton, Isaac. Minitab cookbook. Packt Publishing Ltd, 2014.
• “Support | Minitab”. Erişim 29 Mart 2020. https://www.minitab.com/en-us/support/.

Tabula

PDF içerisindeki tabloları tablo olarak almak için kullanılabilecek bir program. Bilgisayara indirmek ve kurmak gerekiyor.

https://tabula.technology/

WeasyPrint

Profesyonel PDF raporları, faturaları ve biletleri hazırlamak için bir araç. Python kodları ile internet sayfanız üzerinden çalışabilir. Python programlama bilgisi gerektirir.

Home Page

Infogram

Basit ve güzel infogramlar hazırlamak için kullanılan bir araç. Ücretsiz versiyonu ile 10 adet infogram hazırlayabiliyorsunuz.

https://infogram.com/

Noisli

En azından bilgisayar fan sesinden kurtulmak için kullanılabilir. Doğa seslerini dinleyerek çalışmak isteyenler için birebir.

Noisli – Improve Focus and Boost Productivity with Background Sounds

Materialize

Uyumlu ikonlar, yazı tipleri ve formatlar bulmak için güzel bir araç. Metarialize tasarımlar için geliştirilmiş. CSS güzelleştirmek için kullanılabilir.

Materialize

Kleki

Online paint. Son derece hafif(light) bir paint ve kullanımı sade ve kolay.

Kleki – Paint Tool

SourceCode

Bir kod bloğunun nasıl kullanılacağını görmek için ilk bakılacak yerlerden. Çok geniş bir veritabanı var. Yok yok.

searchcode | source code search engine

CalmlyWriter

Size kalbiniz kadar temiz bir sayfa açıyor. Gerisini size bırakıyor. Adı üzerinde sakince yazı yazmak için kullanılabilecek bir araç. Sade, temiz ve kolay…

Calmly Writer Online

Pomodoro Timer

25 dk çalış, 5 dakika ara ver. 25 dakikada sadece 1 işi yap. Bunu uygulayıp faydasını görmeyecek kişi yoktur dünya üzerinde. Pomodoro tekniği için kullanılabilecek bir araç.

Pomodoro timer

The Most Dangerous Writing App

“Yaz sadece yaz”, “yeter ki yaz” “Sen yazmaya niyet et de gerisi kolay”. “Yazacaksan gel” diyen bir araç. Yazacaksanız gidin.

The Most Dangerous Writing App

HemingWayApp

Yazmasam hatrı kalır bir yazma gereci. Daha dikkat çekici ve renkli yazılar için kullanılabilir. Örneğin bir kontrol listesinin takibini buradan yapabilirsiniz. Pembeli falan.

Hemingway Editor

Fosshub

Güvenilir bir program arama, bulma ve indirme sitesi. Güncel faydalı neler var diye arada bir girilip bakılabilir.

FOSSHUB

MyFridgeFood

Böyle bir araç var diye koymak için koydum. Yoksa kullanmadım. Dolabınızdaki besinlerden size yemek önerisinde bulunuyor. Keşke Türkiye versiyonu da olsa, pilav üstü kuru önerisinde bulunsa…

MyFridgeFood – Home

Brilliant

Bilimsel hesaplamaları daha görsel halde sunan bir sayfa. Yapay zeka algoritmalarının görselleştirilmesi için kullanılabilir. Ya da fizikteki eğik atış problemlerini daha iyi anlamak için kullanılabilir.

Brilliant | Learn to think

ICanBeCreative

Herkes iyi tasarımlar yapabilir. Paint terk tasarımlara ve göz kanatmalara son inş.

icanbecreative – creativity across the programming and design world

PosterMyWall

Yine iyi tasarlanmış posterler, broşürler, tanıtım afişleri hazırlamak için kullanılabilecek bir araç. Herkese lazım basitlikte.

Easy Promotional Posters, Graphics & Videos

VectorStock

İkon aramaları için kullanılabilecek geniş kütüphaneye sahip bir depo. Powerpoint dışında ikonları bir de buradan da arayın.

VectorStock – Vector Art, Images, Graphics & Clipart

GenericIcons

Yine ikonlar için hızlı bir arama sağlıyor.

Genericons Neue

WolframAlpha

Hesaplama bilimi ile ilgiliysen gir bir bak. İlgini çekecek muhakkak.

Wolfram|Alpha: Making the world’s knowledge computable

Canva

Sona koydum. Buraya kadar gelenlere yakışan bir hizmet. Ortalama bir grafiker kadar kaliteli grafik hazırlamak… Hem de sürükle bırak’lar ile. Bundan daha iyisi olamazdı.

https://www.canva.com/

Diğerleri

https://drive.google.com/file/d/18Y83PQBbbQndW8gBJgyOQwL9p9qr6ePA/view?usp=sharing

Öncelikle belirtmem gerekir ki ben sağlık uzmanı ya da epidemiyolog değilim. Bu çalışma sadece veri bilimi ve makine öğrenimi çalışmalarına dayanmaktadır. Koronavirüs pandemisi hakkında daha fazla bilgiyi şu adresten alabilirsiniz.

Önemli Not

Veriler şu adresten (Worldometer) alınan veriler ve Sağlık Bakanlığındaki veriler ile bir araya getirilerek tabloya aktarılmıştır. Veri tablosu aşağıdaki gibidir. Yeni veriler geldikçe modele eklenecektir. Ayrıca şu adresten kullanılan veri seti csv dosyası olarak indirilebilir.

COVID19 Türkiye Verileri

Veri setindeki 15 Mart ve 18 Mart’taki sayılar o tarihteki test sayısındaki veriler günlük net olarak verilmediği için net değildir. 18 Mart’tan önce gerçekleşen test sayıları ile ilgili günlük net sayılar var ise orası güncellenebilir.

Net olmayan veri

Veri setindeki özelliklerle alakalı bilgiler aşağıda verilmiştir.

COVID19 Türkiye Verileri ile Makine Öğrenmesi Çalışması

Şimdi kodlara geçelim. Öncelikle çalışmada kullanılacak olan kütüphaneleri çağıralım.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.svm import SVR
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.preprocessing import MinMaxScaler
from sklearn.neural_network import MLPRegressor
from selenium import webdriver
from time import sleep
import re
from datetime import datetime
import smtplib

Daha sonra verilerimizi pandas’a alalım.

csv_file_url = 'https://drive.google.com/uc?export=view&id=1q8OeF9HIHLFieZ1Pmx_gRpD8loLYS3lW'
arsiv = pd.read_csv(csv_file_url, sep=';', index_col=0)
arsiv.index = pd.to_datetime(arsiv.index, format='%d.%m.%Y')
arsiv.head()

Verileri günlük Worldometers adresinden aşağıdaki gibi çekebiliriz.

# Burada https://www.worldometers.info/coronavirus/#countries 
# adresindeki verileri türkiye için filtreleyerek günlük olarak çekeceğiz.
ulke = 'Turkey'
url = 'https://www.worldometers.info/coronavirus/'

driver = webdriver.Chrome()
page = driver.get(url)
df = pd.read_html(driver.page_source)[0]
driver.close()
driver.quit()

tr_gunluk = df[df['Country,Other']=='Turkey']
bugun = pd.to_datetime('today').strftime('%d.%m.%Y')
tr_gunluk

Türkiye’nin çekilen güne ait değerleri aşağıdaki gibi gelir.

COVID19 Türkiye Verilerinin Görselleştirilmesi

### verilerin görselleştirilmesi
for i, col in enumerate(arsiv.columns.tolist()):
    plt.figure(figsize=(8,6))
    plt.plot(arsiv[col].values, label=col)
    plt.title(col)
    plt.xlabel("Gün")
    plt.ylabel("Kişi Sayısı")

# Veriler hakkında.
arsiv.describe()

# Özellik ve hedef değerlerinin belirlenmesi
X = arsiv.values[:,:5]
y = arsiv.values[:,5]

# Özelliklerin normalize edilmesi
scaler = MinMaxScaler()
scaled_X = scaler.fit_transform(X)

Lineer Regresyon(LR) ile COVID19 Türkiye Verileri Modellemesi

lr = LinearRegression()
lr.fit(scaled_X, y)
y_predicted_lr = lr.predict(scaled_X)

mean_squared_error:  35.581532349590894
r2_score:  0.9810464310580413

plt.figure(figsize=(8,4))
plt.plot(y, label='gerçek')
plt.plot(y_predicted_lr, label='tahmin')
plt.title('LR ile tahmin')
plt.xlabel('Gün')
plt.ylabel('Vefat Sayıları')
plt.legend()
plt.show()

Destek vektör makineleri ile modelleme

svm = SVR()
svm.fit(scaled_X,y)
y_predicted_svm = svm.predict(scaled_X)

# Model değerlendirmesi
r2_svm = r2_score(y,y_predicted_svm)
print("mean_squared_error: ", mean_squared_error(y,y_predicted_svm))
print("r2_score: ", r2_score(y,y_predicted_svm))

Yapay Sinir Ağları ile COVID19 Türkiye Modellemesi

mlp = MLPRegressor(hidden_layer_sizes=(15,10),max_iter=10000)
mlp.fit(scaled_X,y)

y_predicted_mlp = mlp.predict(scaled_X)

# Model değerlendirmesi
r2_mlp = r2_score(y,y_predicted_mlp)
print("mean_squared_error: ", mean_squared_error(y,y_predicted_mlp))
print("r2_score: ", r2_score(y,y_predicted_mlp))

mean_squared_error:  36.240539576444256
r2_score:  0.9806953911201125

plt.figure(figsize=(8,4))
plt.plot(y, label='gerçek')
plt.plot(y_predicted_mlp, label='tahmin')
plt.title('YSA ile tahmin')
plt.xlabel('Gün')
plt.ylabel('Vefat Sayıları')
plt.legend()
plt.show()

sonuclar = pd.DataFrame([[r2_lr,r2_mlp,r2_svm]], columns=['LR','MLP','SVM'])

# Modelin Kaydedilmesi
from joblib import dump, load
dump(mlp, 'mlp.joblib')
dump(lr, 'lr.joblib')

# Modelin çağrılması
load('lr.joblib')

Kaynaklar

• “| COVID-19 Türkiye Web Portalı”. Erişim 18 Nisan 2020. https://covid19.tubitak.gov.tr/offline.
• “1.17. Neural network models (supervised) — scikit-learn 0.22.2 documentation”. Erişim 18 Nisan 2020. https://scikit-learn.org/stable/modules/neural_networks_supervised.html.
• Springboard Blog. “A Beginner’s Guide to Neural Networks in Python”, 21 Mart 2017. https://www.springboard.com/blog/beginners-guide-neural-network-in-python-scikit-learn-0-18/.
• Coronavirus Outbreak Prediction Using Machine Learning | Covid-19 Outbreak Prediction | Simplilearn. Erişim 18 Nisan 2020. https://www.youtube.com/watch?v=sHWKN5dakPw.
• “Coronavirus Update (Live): 2,252,651 Cases and 154,331 Deaths from COVID-19 Virus Pandemic – Worldometer”. Erişim 18 Nisan 2020. https://www.worldometers.info/coronavirus/#countries.
• Simplilearn. “Coronavirus Outbreak Prediction Using Machine Learning | Covid-19 Out…”. Education, 15:29:25 UTC. https://www.slideshare.net/Simplilearn/coronavirus-outbreak-prediction-using-machine-learning-covid19-outbreak-prediction-simplilearn/Simplilearn/coronavirus-outbreak-prediction-using-machine-learning-covid19-outbreak-prediction-simplilearn.
• “T.C Sağlık Bakanlığı Korona Tablosu”. Erişim 18 Nisan 2020. https://covid19.saglik.gov.tr/.
• “Türkiye Cumhuriyeti Cumhurbaşkanlığı Dijital Dönüşüm Ofisi – Anasayfa”. Erişim 18 Nisan 2020. https://corona.cbddo.gov.tr/.

Çalışma ile ilgili görüş, eleştiri ve önerileriniz için: http://canererden.com/caner-erden-about-me
cerden@sakarya.edu.tr