ElasticSearch Python Django
Türkiye nin ilk Django eğitimi sitesidir. Python ve ElasticSearch kullanarak arama motorlarına uyumluluk yani gerçek SEO anlatılacaktır. Artık özgün ve gerekli bir konu üzerinde eğitimler anlatılarak arama motorlarının çalışma mantıkları, teknolojileri ve gelişmelerini gerçek zamanlı takip edeceğiz.
Bu dersleri ve yardım sayfalarında ki bilgileri not alarak kendi sitemizde deneyeceğiz. Gerçek zamanlı bir arama motoru uyumluluğu ile hem yazılım öğrenip hemde eğlenceli bir yolda ilerleyeceğiz.
Geçmişten günümüze arama motoru kütüphanelerinin kendi yardım linkleri ile nasıl bir gelişme sağladıklarını okuyup, bu gelişmelerle güncel bilgilere karşılaştırıp adım adım deneyeceğiz.
Uzun süre devam edecek bu dersleri adım adım takip etmeniz gerekir.
Django ve/veya Python hakkında hiç bilginiz yok ise yukarıdaki menüden Django derslerine bakabilirsiniz.
Arama motoru kütüphaneleri
Arama motorları; internet üzerindeki farklı protokolleri kullanarak sayfa ve belgeleri tarayarak hazırlarına tutup arama yapıldığında sıralama yarayan yazılımlardır.
3 bileşenden oluşurlar.
Tarama, indeksleme ve sonuç gösterme.
Arama motoru kütüphaneleri sayfa ya da belgelerdeki metinleri işler, bu metinleri bir kitabın içindekiler kısmı gibi listeler ve arama yapıldığında yönlendirirler.
Crawl adı verilen hedef bir siteden başlayarak iç ve dış linkleri sonsuz döngüde tarayan robotlar -örümcekler-, taradığı sayfa ve belgeleri kayıt ederek bir liste oluştururlar. Daha sonra bu bilgileri arama yapan ziyaretçilere ya ...
Oku: Arama motoru kütüphaneleri
SEO nedir? Doğru SEO nasıl yapılır?
Arama motorları sayfa sahiplerine hızlı ve doğru bilginin nasıl daha düzenli taranması gerektiği çeşitli yöntemlerle anlatırlar.
Google; sürekli yaptığı hangout toplantıları, yardım sayfaları, webmaster araçları ile bir sayfada nelere dikkat edilmesi gerektiğini anlatır. Bizde bundan sonraki derslerde ve anlatımlarda genel olarak Google arama motoruna göre çalışmalar yapacağız.
Maalesef ülkemizde de yanlış anlaşılan bu konu hiç bir yazılımcı tarafından bir arama motoru nasıl yazılır diye açıklanmadığından biraz İngilizce ile farklı sitelerden okunan bilgiler ile yapılmaya çalışılmaktadır.
Oku: SEO nedir? Doğru SEO nasıl yapılır? Arama motorları sorgu sonuçlarını göstermeden önce sayfa ya da belgerdeki metinleri tarama, indeksleme ve sonuçları sıralama yaparlar demiştik. Şimdi de ücretsiz bir arama motoru kütüphanesi olan ElasticSearch ü inceleyeceğiz ve kurulumunu yaparak testlerimizi yapacağız. Elastic Search; Apache tarafından geliştirilen Lucune kütüphanesini kullanan alternatif bir arama motorudur. Açık kaynak kodludur. Ücretsizdir. Kurulumu çok kolaydır. xml, json, jsonl, csv, pdf, doc, docx, ppt, pptx, xls, xlsx, odt, odp, ods, ott, otp, ots, rtf, htm, ... Oku: ElasticSearch nedir? https://www.elastic.co/downloads/elasticsearch adresinden güncel sürümünü inderebilirsiniz. Şuan geçerli sürüm 5.1.1 dir. Ubuntu üzerinden deb paketi ile kurmak için https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.1.1.deb linkini kullanabilirsiniz. Kurulumdan önce mutlaka işletim sisteminizde Java nın kurulu olup olmadığını kontrol edin. OpenJDK ve Oracle Java nın kurulu olması gerekir. Kurulumu yaptıktan sonra http://localhost:9200 linki kullanarak deneme yapabilirsiniz. Chrome tarayıcında Sense eklentisi ile rahatça kayıt girişi ve sorgu yapabilirsiniz. Ubuntu ... ElasticSearch kurulumunu yaptıktan sonra hemen Python ile deneme yapalım. Pip ile elasticsearch kurulumu pip install --upgrade pip Boş bir dosya oluşturarak aşağıdaki kodları yazın. İlk ... Oku: Python ve ElasticSearch uygulaması Aşağıdaki kodlarla Python ElasticSearch kütüphanesi ile kayıtlarını silebilir yada içlerinde arama yapabilirsiniz. # -*- coding: utf-8 -*- import elasticsearch, json, sys reload(sys) es.delete(index="posts", doc_type="blog", id=2) # id 2 yi sil sonuclar = es.search(index='posts', q='muslu') if not sonucvarmi: for bul in sonucvarmi: Oku: Python ile ElasticSearh de kayıt silme ve kayıt arama Google Apache ve Nginx için kendi standartlarına uygun bir sayfa yapılanması için pagespeed modülünü hazırladı. https://developers.google.com/speed/pagespeed/module/ Her arama motoru sayfa taramalarında bazı standartlara önem verir. Google; bir sayfaın ne kadar hızlı ve düzenli içeriğe sahip olması gerektiğini yardım sayfalarında ve videolarında bahseder. Ayrıca hazırladığı http server modülü ile sizin yerinize bu standartları ayarlayabilir. Tabi ki isterseniz bazı fonksiyonları kendinize göre ayarlayabilirsiniz. Apache için: https://dl-ssl.google.com/dl/linux/direct/mod-pagespeed-stable_current_amd64.deb Nginx için: bash <(curl ... PageSpeed modülünde aktif etmek istediğiniz filtreler için aşağıdaki gibi komutları htaccess dosyanıza ekleyebilirsiniz. Apache: Nginx:
ElasticSearch nedir?
ElasticSearch kurulumu
Python ve ElasticSearch uygulaması
pip install elasticsearch
import elasticsearch
es = elasticsearch.Elasticsearch() # localhost, port 9200
es.index(index='websiteler', doc_type='dokuman', id=1, body={
'sitesahibi': 'Muslu YÜKSEKTEPE',
'icerik': 'Django hakkında Türkçe eğitimler veren ilk web sitesidir. Genelde ücretsiz dokümanlar paylaşılır.',
'baslik': 'Django Türkiye. Türkiye nin ilk django eğitim sitesi',
'etiketler': ['elastic', 'search'],
'sayi': 3.5
})
Python ile ElasticSearh de kayıt silme ve kayıt arama
sys.setdefaultencoding('utf-8')
es = elasticsearch.Elasticsearch() # localhost, port 9200
es.indices.delete(index='posts', ignore=[400, 404]) # tüm kayıtları temizle
sonucvarmi = sonuclar['hits']['hits']
print('Eşleşme bulunamadı!')
else:
print('sitesahibi:{}\nicerik:{}\baslik:{}\netiketler: {}\n\n'.format(
...
Google Page Speed Modulü
Google PageSpeed filtre aktif etmek
ModPagespeedEnableFilters add_head
pagespeed EnableFilters add_head;
Çoklu filtre aktif etmek için filtre isimlerini virgül ile devam edebilirsiniz.
Oku: Google PageSpeed filtre aktif etmek
Önemli PageSpeed filtreleri
Bundan sonraki konularda pagespeed modül filtreleri Apache içindir.
Tüm filtrelerin detaylarına aşağıdaki adresden ulaşabilirsiniz.
https://developers.google.com/speed/pagespeed/module/config_filters
İngilizcedir.
Head etiketi ekle:
ModPagespeedEnableFilters add_head
Html dosyanızda head etiketi kullanmadıysanız, ekler.
Risk: Düşük
Adsense reklamlarını asenkron göster:
ModPagespeedEnableFilters make_show_ads_async
Adsense reklamlarını asenkton olarak gösterir.
Risk: Yüksek
Adwords kodlarını asenkron göster:
ModPagespeedEnableFilters make_google_analytics_async
Adwords kodlarınızı asenkron olarak gösterir.
Risk: Yüksek
Beyaz boşlukları temizle:
ModPagespeedEnableFilters ...
Oku: Önemli PageSpeed filtreleri
Google sayfa içi düzenleme tavsiyeleri
Google; bir web sayfasının nasıl daha hızlı ve düzenli olacağına karar verirken farklı standartlar koyar.
Aslında Google a ait farklı araçlarda farklı yöntemlerden bahsedilir.
Webmaster araçları ile PageSpeed modülünde tavsiyeleri farklıdır.
Bir web sayfasının hızlı açılması için css dosyalarının sayfa içinden çağrılıyor olması AMP da desteklenirken bazı durumlarda bu dosyaların ve ayrıca js ve resim dosyalarının bir CDN de tutulması tavsiye edilir.
Şöyle düşünelim; css, js ve resim dosyalarınız kendi sunucunuzda ise ve bu dosyalar çağrıldığında sunucunuza ek ...
Oku: Google sayfa içi düzenleme tavsiyeleri
PageSpeed Insights ile web sitesi testi
PageSpeed Insights; Google tarafından geliştirilen, sürekli güncellenen ve tavsiyelerini gösteren bir test aracıdır.
Web sayfasının mobil ve masaüstü aygıtlarda nasıl gözüktüğü, hızını ve düzeltilmesi gereken sorunları gösterir ve ipuçları verir.
Pagespeed İnsights 0 ile 100 arasında puanlama yapar. Sonucun yüksek olması sayfanın iyi bir performansa sahip olduğunu gösterir.
Her sorgu arasında 30 saniye beklenmelidir.
Sorgu sonuçları her ne kadar yüksek çıksa bile ziyaretçilerinizin ağ bağlantıları farklı sonuçlar doğurabilir.
Her sorgu sonucunda farklı puanlamalar görebilirsiniz. Bunun sebebi sunucunuzun yanıt verme süresi olabilir.
...Oku: PageSpeed Insights ile web sitesi testi
Google Search Console mobil uyumluluk test aracı
Web sayfanızın mobil uyumluluğunu test etmek için Google un yeni aracını kullanabilirsiniz.
Kullanıcılar artık aramalarının 60% ını mobil aygıtlar üzerinden yapıyorlar. Web sitenizin mobil uyumlu olması mobil aygıtlarda arama yapıldığında gösterilmesine yardımcı olur.
https://search.google.com/search-console/mobile-friendly
PageSpeed Insights dan ayrılacak yeni adresinde kullanılmaya hazır olan mobil uyumluluk testini kullanarak sayfanızın mobil aygıtlarda nasıl gözüktüğünü deneyebilirsiniz.
Böylelikle sayfanızda yapmanız gereken düzenlemeleri ve tavsiyeleri görebilirsiniz.
Henüz API kullanımı aktif değildir.
Oku: Google Search Console mobil uyumluluk test aracı
Oluşturmayı önleyen js css kodlarını ekranın üst kısmından kaldırmak
Google Insights da görülen bu hata sık olarak sorulmakta.
Nedir bu css ve js lerin ekranın üst kısmından kaldırmak?
Bir önceki konuda da bahsettiğimiz gibi ekranın üst kısmı head etiketleri arasında yüklenen css ve js dosyalarıdır.
Bazı js dosyaları sayfanın altında yüklenmesi sayfanın açılış hızını artırır ancak sayfa içinde tanımlanan bir komut var ise yine head arasında kalması gerekir.
Css dosyalarının sayfanın altında çağrılması ise sayfa yüklenene kadar tasarımsal sorunlar yaratır veya stillerin daha sonra işlenmesini sağlar.
Oku: Oluşturmayı önleyen js css kodlarını ekranın üst kısmından kaldırmak
Django nedir?
Django; Python yazılım dili ile hazırlanmış kütüphaneleri kullanılarak hazırlanmış bir web çatıdır.
İsmi, caz gitaristi Django Reinhardt'tan gelmektedir.
Hepsi bir arada çüzümler üretir ve Python'ın kurulabildiği tüm işletim sistemlerinde rahatlıkla kullanılabilir.
BSD lisansı ile lisanslanmıştır.
Hata raporlaması çok geniştir ve bir çok hatanın nasıl düzeltileceği de yorum olarak belirtilir.
Kurulumu çok basittir.
Geliştirmeleri DjangoProjects.com dan takip edebilirsiniz.
Güncel sürümü 1.10 dur.
Django ayrıca her projeye temel kayıt ekleme, silme, ...
Oku: Django nedir?
Arama motorları tarihçesi
1990 yılında Archie ile anonim FTP ( Dosya aktarım iletişim kuralı ) klasörlerindeki dosyaları tarama ile başlayan arama motoru ihtiyacı 1991 ve 1992 de Veronica ve Jughead ve 1994 de Wandex ve AliWeb ile devam etti.
Wandex ilk internet botu ve AliWeb web sitelerindeki bilgileri kullanarak tarama yapan ilk arama motorlarıdır.
1994 yılında bir ilk olan tam metin ( full text ) tarayıcı arama motoru olan WebCrawler taranan tüm ...
Oku: Arama motorları tarihçesi
ElasticSearch Connection Refused hatası nedir ve çözümü
ElasticSearch kurulumundan sonra deneme yaparken connection refused bağlantı reddedildi hatası alıyorsanız
Aşağıdaki adımları tekrar gözden geçirin.
sudo systemctl enable elasticsearch.service
sudo nano /etc/elasticsearch/elasticsearch.yml
ayar dosyası içerisindeki network.host tanımlamasını 0.0.0.0 olarak değiştirip aktif edin.
network.host: 0.0.0.0
farklı bir port kullanmak isterseniz.
http.port = 9200 # buradaki port numarasını değiştirin.
dosyayı kaydedip kapatın
sudo service elasticsearch start
ile servisi başlatalım.
komut satırında curl -X GET 'http://localhost:9200' yazarak servisi kontrol edelim.
{
"name" : "08FjOTa",
"cluster_name" ...
Oku: ElasticSearch Connection Refused hatası nedir ve çözümü
ElasticSearch Chrome Sense eklentisi
Sense eklentisi Chrome üzerinde kullanılabilen ve bir çok özelliği olan bir eklentidir.
Otomatik girintilime, otomatik tamamlama, komutları tek satıra çevirme, hata - uyarı sistemi, geçmiş komutlar ve cUrl komutu olarak kopyalama gibi bir çok özelliğe sahiptir.
Oku: ElasticSearch Chrome Sense eklentisi
Chrome ElasticSearch Toolbar eklentisi
ElasticSearch Toolbox eklentisi yine Chrome için hazırlanmış gelişmiş eklentidir.
Oku: Chrome ElasticSearch Toolbar eklentisi
ElasticSearch - create index. İndex ( Kayıt ) oluşturma.
ElasticSearch de mantığı kavrayabilmek için önce basit kayıt girişleri ve sorgulama yapacağız. Daha sonra Python ile devam edeceğiz.
ElasticSearch kayıt girmek istediğimizde otomatik alanlar oluşturur. Kafanızın çok karışmaması için normal veri tabanları ile karşılaştıracağım.
MySQL de nasıl önce bir veri tabanı oluşturup tablo ve alanlar oluşturuyorsak ElasticSearch bunu otomatik olarak yapabilir.
Tabi ki biz setting ve mapping ile kendimize göre alanları kısıtlayabilir yada özellik ekleyebiliriz.
Anlatımlarda çok basit bir dil kullanmaya çalışacağım.
Basit bir kayıt girerek hemen örneğe ...
Oku: ElasticSearch - create index. İndex ( Kayıt ) oluşturma.
ElasticSearch - search. Kayıt sorgulama
İlk kaydımızı girdikten sonra şimdi de kaydımızı sorgulatalım.
Sense:
GET /kitaplar/kitap/1
cURL:
curl -XGET "http://localhost:9200/kitaplar/kitap/1"
Oku: ElasticSearch - search. Kayıt sorgulama
ElasticSearch - match_all. Tüm kayıtları listeleme
ElasticSearch de tüm kayıtları koşulsuz listelemek için match_all kullanılır.
Sense eklentisi ile aşağıdaki kodları çalıştırarak tüm kayıtlara ulaşabilirsiniz.
POST _search
{"query":{"match_all":{}}}
cURL ile denemek isterseniz aşağıdaki kodları kullanabilirsiniz.
curl -XGET "http://localhost:9200/_search" -d'
{"query":{"match_all":{}}}'
Oku: ElasticSearch - match_all. Tüm kayıtları listeleme
ElasticSearch - delete. İndex ( Kayıt ) silmek.
Herhangi bir kaydı silmek için kaydın indexi ni ve idsini bilmek gerekiyor. Tabi tüm kayıtları silmek istersekte çözüm var.
Tüm kayıtları silmek:
Sense:
DELETE /*
cURL:
curl -XDELETE "http://localhost:9200/*"
Tek bir kayıt silmek için
Sense:
DELETE /kitaplar/kitap/1
cUrl:
curl -XDELETE "http://localhost:9200/kitaplar/kitap/1"
Oku: ElasticSearch - delete. İndex ( Kayıt ) silmek.
Big Data - Büyük veri nedir?
Büyük veri dediğimiz konuyu en basit ve anlaşılır halde anlatmak için bir kaçparagraf yazmak istiyorum. Big data yani büyük veri bir çok tez tanımlama yapıldı yeniden tanımlama yapmaya gerek yok.
Bir kaç sene evvel kolaylık hatırlayabildiğim bir zaman da " Dakika da 21 yeni web sitesi açılıyor. " diyerek yeni rakiplerin çıktığından konuşuyorduk.
Özellikle her yeni açılan blog sitelerinde, insanlar kendilerine ait her türlü bilgiyi paylaşarak not alırlar yada tanıtım yaparlar. Her gün yeni bir fenomen ile tanışırız ve ...
Oku: Big Data - Büyük veri nedir?
Big Data & ElasticSearch
Bir önceki konu da bahsettiğimiz big data yani büyük veri konusunun daha iyi anlaşılması ve elastic yani elasticsearch ile nasıl bağlantısı olduğu ve kullanılabileceği ile bir konuya değinelim.
Aslında Elastic zaten büyük veriler için hazırlanmış ve çok kolayca ayarlanabilir bir kütüphanedir.
Çok karışık şekilde anlatmaktansa kolay anlaşılır örnekler vereceğim.
ElasticSearch ayarlarındaki default seçenekler bizim için yeterlidir ama birden çok serverda test edeceğiniz zaman ya da bir makinada farklı index, node, cluster, shard kullanacağınız zaman ayarlara müdahale etmek gerekiyor.
Onesignal test
If yerine Eğer kullanmak
If yerine eğer yazarak ne gibi bir fayda sağlanmış olabilir?
Her ne kadar teknolojide yatırım yapılmasında geç kalınmış olmanın etkileri olsa da Türkçe yazılım dilinin olup olmaması, Türkçe komutlarla çalışması vs. gibi ihtiyaçların varlığı sürekli tartışılmıştır.
Daha önceki konularda da bahsedildiği gibi bir teknoloji tüm insanların kullanılmasına ya da bazı özel şartlar altında gizlilik sebebiyle geçici olarak yardımcı olmak için hazırlanır ve geliştirilir.
Dünya savaşları sırasında kullanılan teknolojileri çözmek hala zor gibi duruyor. Bu çalışmalar anlık gereksinimden doğmuş olduğu gibi ...
Makdos Bilişim ile Django VPS desteği
Makdos Bilişim; Türkiye'de ki Django hosting ve VPS hizmeti vermeye başladı. İstanbul da ilk hazır Django Vps leri iso halinde panelden seçilerek kurulumu yapılabiliyor.
Yakın zaman da tek tıklama ile kurulumu hazır olan Django VPS leri tanıtıma çıkacaktır.
Makdos.com sitesinden kendilerine ulaşabilirsiniz.
Oku: Makdos Bilişim ile Django VPS desteği
Python Django IOT Raspberry Pi IOTHook ve MQTT
IOT öğrenmek ve test yapmak için IOTHook.com tarafından geliştirilen Türkçe eğitimlerin olduğu Python ve MQTT kullanılan servis var.
Kendinize özel kanallar ve elementler oluşturarak, json ve xml çıktılar alabilir, bu bilgileri kendi bilgisayarınızda, Raspberry Pi veya tabletiniz üzerinde kullanarak kendinizi deneyebilir ya da şirketler işlerinizde kullanabilirsiniz.
Örnek Python kodlarının bulunduğu sitede kendinize göre geğişiklikler yapabilirsiniz.
Yakın zamanda VPS desteği de verecek olan şirket, ücretsiz ve özel donanımlar sunacak.
Kendinize ait dashboard ile anlık gerçek zamanlı ...
Oku: Python Django IOT Raspberry Pi IOTHook ve MQTT
Python SimpleHTTPServer kullanımı
Python un bir güzel yanıda hazırlaıdğınız bir html siteyi hızlıca yayınlayabilmek için SimpleHTTPServer komutudur.
Örneğin iş yerinizde bir tasarım hazırladınız ve httpserver kurmadan diğer arkadaşlarınızın kontrol etmesini istiyorsunuz.
Terminalde html dosyalarınızın olduğu klasöre cd ile erişin ve aşağıdaki kodlardan kullandığınız Python sürümüne göre çalıştırın.
python2.7 -m SimpleHTTPServer 8080
python3.5 -m SimpleHTTPServer 8080
Alınabilecek hatalar:
socket.error: [Errno 98] Address already in use
Kullanmak istediğiniz port başka bir servis tarafından kullanılıyor. Apache ya da Nginx olabilir. Farklı bir port deneyin.
/usr/bin/python3: ...
Oku: Python SimpleHTTPServer kullanımı
Python Django PyPy PyCharm AngularJS MongoDB nasıl okunur soylenir?
Özellikle yazılım dünyasına yeni giren arkadaşlar için standart bir söylem oluşturmak ve Python Django PyPy PyCharm Sublime AngularJS PostgreSQL MongoDB nasıl okunur soruna cevap vermek için bir çok videodan ses kesmeleri yaparak listeledim.
Video seçimlerinde özellikle konferanslar, yazılım dili geliştiricilerinin anlatımları, alt yazılı olması, tarafsız olması ve Avrupa dillerinin kullanılmasına önem verdim. Böylelikle "I will show you ... in this video...." gibi Hintli arkadaşların videoları yerine gerçek sahiplerinden ve çoğunluk tarafından kullanılan - öğrenilen - videolardan öğrenmiş olacaksınız.
Liste sürekli ...
Oku: Python Django PyPy PyCharm AngularJS MongoDB nasıl okunur soylenir?