.:: Volkan Altan'ın Notları ::.

Merhaba Berlin

noreply@blogger.com (Unknown) — Thu, 5 Dec 2019 19:50:00 +0300

Berlin maceralarımızı anlattığım yazıya buradan ulaşabilirsiniz.

https://medium.com/@volkana/merhaba-berlin-6b7c39b1bed5

Teknolojik gelişmeleri takip etme döngüm

noreply@blogger.com (Unknown) — Fri, 17 Nov 2017 08:56:00 +0300

Teknolojik gelişmeleri takip etme döngümü yazdım;

https://medium.com/@volkana/teknolojik-geli%C5%9Fmeleri-takip-etme-d%C3%B6ng%C3%BCm-7749b5c1aae7

noreply@blogger.com (Unknown) — Thu, 2 Nov 2017 18:28:00 +0300

Medium üzerinden "Gerçek Zamanlı Analiz Projesi" isimli bir yazı yayınladım.

Solr için Plugin yazmak

noreply@blogger.com (Unknown) — Sat, 7 Oct 2017 22:45:00 +0300

Medium üzerinden "Solr için Plugin yazmak" isimli bir yazı yayınladım.

Apache THRIFT

noreply@blogger.com (Unknown) — Wed, 19 Oct 2016 23:50:00 +0300

Apache Thrift nedir?

Farklı programlama diller arasında iletişim kurabileceğiniz, bunu ölçeklenebilir, verimli ve sorunsuz bir şekilde yapabileceğimiz bir yazılım çatısıdır (framework). Bu işlemleri yaparken RPC (remote procedure call) kullanır.

RPC, request–response protokolüne benzemektedir. Bu yapıda bir istek yapıldığında sonuç gelene kadar client (istemci) bloklanır. RPC ek olarak asenkron işlemlere müsade etmektedir. XHTTP (Ajax) gibi düşünebilirsiniz.

Binary protokolünü kullanmaktadır. Binary olması çok hızlı çalışmasını sağlamaktadır.

Siz bir arayüz tanımlıyorsunuz. Sonrasına buna göre istediğiniz dilde kod yapısını çıkarıyor. Size de boşlukları doldurmak kalıyor.

Kullanılabilir dillerden bazıları;
C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, OCaml and Delphi ...

Biz PHP ile Python'u konuşturan örnek bir uygulama yapalım;


brew install thrift --with-python --with-php
git clone https://github.com/volkan/thrift-works
cd thrift-works
thrift -r --gen php:server tutorial.thrift
thrift -r --gen php:server shared.thrift
thrift -r --gen py tutorial.thrift
thrift -r --gen py shared.thrift

Python için;


pip install thrift

Veya


cd lib/py
python setup.py install

İki ayrı pencere;


python server/PythonServer.py


php client/PhpClient.php

Böylece farklı dillerde iletişimi sağlamış olduk. Örnekler arasında "zip()" olanın içine "sleep" ile bekleme yapmasını söyledim. Ancak kod akışından bir engelleme olmadan arka planda çalışmaya devam ediyor. (Asenkron) Server tarafında "zip()" yazısı 5 saniye sonra çıkıyor.

Dikkat çekmesi için bazı görseller paylaşacağım. Kaynakları da aşağıda veriyorum. İyi incelemeler :)

Kaynaklar:
https://www.youtube.com/watch?v=e8Df_8yMGRU

http://www.apache.org/dyn/closer.cgi?path=/thrift/0.9.3/thrift-0.9.3.tar.gz

https://thrift.apache.org/

https://thrift.apache.org/tutorial/php

https://thrift.apache.org/tutorial/py

http://nordicapis.com/microservice-showdown-rest-vs-soap-vs-apache-thrift-and-why-it-matters/

https://en.wikipedia.org/wiki/Apache_Thrift

https://en.wikipedia.org/wiki/Remote_procedure_call
https://eng.uber.com/soa/

https://eng.uber.com/trip-data-squeeze/

http://gearman.org/

https://github.com/yuxel/thrift-examples

SolrCloud yeni bir başlangıç

noreply@blogger.com (Unknown) — Sun, 2 Oct 2016 00:30:00 +0300

Daha önce hızlıca SolrCloud hakkında konuşmuştuk. Şimdi hızlı bir şekilde temel komutları gözden geçirelim.


bin/solr start -e cloud

Default ayarlarla kurulumu tamamlıyoruz. Daha sonra tekrar çalıştırmak istediğimizde aşağıdaki şekilde çalıştırabiliriz.


bin/solr start -cloud -p 8983 -s "example/cloud/node1/solr" -m 2g
bin/solr start -cloud -p 7574 -s "example/cloud/node2/solr" -z localhost:9983 -m 2g

Sistem default ayarlarla ayağa kalktıktan sonra aşağıdaki şekilde kontrol ediyoruz.


➜  solr-6.0.0 bin/solr status

Found 2 Solr nodes:

Solr process 4600 running on port 7574
{
  "solr_home":"/Users/volkan/project/solr/solr-6.0.0/example/cloud/node2/solr",
  "version":"6.0.0 48c80f91b8e5cd9b3a9b48e6184bd53e7619e7e3 - nknize - 2016-04-01 14:41:49",
  "startTime":"2016-10-01T20:15:22.133Z",
  "uptime":"0 days, 0 hours, 3 minutes, 27 seconds",
  "memory":"91.5 MB (%18.6) of 490.7 MB",
  "cloud":{
    "ZooKeeper":"localhost:9983",
    "liveNodes":"2",
    "collections":"1"}}


Solr process 4497 running on port 8983
{
  "solr_home":"/Users/volkan/project/solr/solr-6.0.0/example/cloud/node1/solr",
  "version":"6.0.0 48c80f91b8e5cd9b3a9b48e6184bd53e7619e7e3 - nknize - 2016-04-01 14:41:49",
  "startTime":"2016-10-01T20:15:15.915Z",
  "uptime":"0 days, 0 hours, 3 minutes, 34 seconds",
  "memory":"74.3 MB (%15.1) of 490.7 MB",
  "cloud":{
    "ZooKeeper":"localhost:9983",
    "liveNodes":"2",
    "collections":"1"}}

Solr kendi içinde 3 farklı config yapısıyla geliyor. Biz bunlardan "data_driven_schema_configs" olanı seçip üzerinde çalışacağız.

Bu ayar yapısında tanımlamasını yapmadığımız "field" lar otomatikmen en uygun olana çevrilir. Klasik ElasticSearch kur çalıştır yapısı gibi düşünebilirsiniz. Ama gerçek anlamda işi olan biri default ayarlarla yetinemez ;)

server/solr/configsets/data_driven_schema_configs/conf/ dizininde işimiz bittikten sonra yapılan değişiklikleri zookeeper'a göndermemiz gerekiyor. Solr içinde zookeeper yönetmek için güzel bir script mevcut. Bununla işlerimizi rahatlıkla hâlledebiliyoruz.


➜  solr-6.0.0 ./server/scripts/cloud-scripts/zkcli.sh -zkhost localhost:9983
usage: ZkCLI
 -c,--collection    for linkconfig: name of the collection
 -cmd                    cmd to run: bootstrap, upconfig, downconfig,
                         linkconfig, makepath, put, putfile,get,getfile,
                         list, clear, updateacls
 -d,--confdir       for upconfig: a directory of configuration files
 -h,--help               bring up this help page
 -n,--confname      for upconfig, linkconfig: name of the config set
 -name              name of the cluster property to set
 -r,--runzk         run zk internally by passing the solr run port -
                         only for clusters on one machine (tests, dev)
 -s,--solrhome      for bootstrap, runzk: solrhome location
 -val               value of the cluster to set
 -z,--zkhost        ZooKeeper host address
Examples:
zkcli.sh -zkhost localhost:9983 -cmd bootstrap -solrhome /opt/solr
zkcli.sh -zkhost localhost:9983 -cmd upconfig -confdir /opt/solr/collection1/conf -confname myconf
zkcli.sh -zkhost localhost:9983 -cmd downconfig -confdir /opt/solr/collection1/conf -confname myconf
zkcli.sh -zkhost localhost:9983 -cmd linkconfig -collection collection1 -confname myconf
zkcli.sh -zkhost localhost:9983 -cmd makepath /apache/solr
zkcli.sh -zkhost localhost:9983 -cmd put /solr.conf 'conf data'
zkcli.sh -zkhost localhost:9983 -cmd putfile /solr.xml /User/myuser/solr/solr.xml
zkcli.sh -zkhost localhost:9983 -cmd get /solr.xml
zkcli.sh -zkhost localhost:9983 -cmd getfile /solr.xml solr.xml.file
zkcli.sh -zkhost localhost:9983 -cmd clear /solr
zkcli.sh -zkhost localhost:9983 -cmd list
zkcli.sh -zkhost localhost:9983 -cmd clusterprop -name urlScheme -val https
zkcli.sh -zkhost localhost:9983 -cmd updateacls /solr

Aşağıdaki şekilde yaptığımız değişiklikleri Zookeeper'a gönderiyoruz.


solr-6.0.0-> ./server/scripts/cloud-scripts/zkcli.sh -zkhost localhost:9983 -cmd upconfig -confdir server/solr/configsets/data_driven_schema_configs/conf -confname gettingstarted

Yaptığımız değişikliklerin yansıması için;


curl http://localhost:8983/solr/admin/collections?name=gettingstarted&action=RELOAD&wt=json

Bundan sonra shar sayısı ve diğer bütün ayarlar için şuraya bir göz atmak gerekiyor; https://cwiki.apache.org/confluence/display/solr/Collections+API Temel bir şeyleri yazalım.

Backup; Sunucu da öncelikle örnek bir dizin açalım. Daha sonra bu dizine "solr" kullanıcısı için yazma yetkisi verelim


mkdir -p /home/backup/solr 
sudo chown solr:solr /home/backup/solr
curl http://localhost:8983/solr/admin/collections?action=BACKUP&name=gettingstarted&collection=gettingstarted&location=/home/backup/solr&async=1000

async komutu ile arka planda bu süreç çalışmaya devam edecek. Daha sonra ürecin durumunu öğrenmek için


curl http://localhost:8983/solr/admin/collections?action=REQUESTSTATUS&requestid=1000

Süreci farklı şekilde gözden geçirmek adına, hızlıca bir collection oluşturalım;


solr-6.0.0-> bin/solr create_collection -shards 2 -replicationFactor 2 -c test -d server/solr/configsets/data_driven_schema_configs

Bu collection için 2 shard oluşturduk. replicationFactor ise 3 dedik. Şu demek; Bütün datamız ikiye bölünecek. (shard sayısı) replicationFactor ise datanın kaç katı alan kullanacağımızı belirliyor.

Datanın toplam boyutu * replicationFactor kadar yerimiz olmalı. "replicationFactor" 2 olduğunda her sunucuda birebir kopya var demek. 3 olduğunda ek olarak birer "shard"'ın daha kopyası elimizde demek. 4 desek her "shard"'ın 2 yedeği olacak demek. "shard" sayısını daha sonra artırabilirsiniz. Mevcut "shard"ları bölebilirsiniz. API linkinde bu bilgiler mevcut. Aşağıdaki örnek data basımı yaptık.


solr-6.0.0-> bin/post -c test3 example/films

solr-6.0.0-> bin/post -h

Usage: post -c  [OPTIONS] 
    or post -help

   collection name defaults to DEFAULT_SOLR_COLLECTION if not specified

OPTIONS
=======
  Solr options:
    -url  (overrides collection, host, and port)
    -host  (default: localhost)
    -p or -port  (default: 8983)
    -commit yes|no (default: yes)

  Web crawl options:
    -recursive  (default: 1)
    -delay  (default: 10)

  Directory crawl options:
    -delay  (default: 0)

  stdin/args options:
    -type  (default: application/xml)

  Other options:
    -filetypes [,,...] (default: xml,json,jsonl,csv,pdf,doc,docx,ppt,pptx,xls,xlsx,odt,odp,ods,ott,otp,ots,rtf,htm,html,txt,log)
    -params "=[&=...]" (values must be URL-encoded; these pass through to Solr update request)
    -out yes|no (default: no; yes outputs Solr response to console)
    -format solr (sends application/json content as Solr commands to /update instead of /update/json/docs)


Examples:

* JSON file: bin/post -c wizbang events.json
* XML files: bin/post -c records article*.xml
* CSV file: bin/post -c signals LATEST-signals.csv
* Directory of files: bin/post -c myfiles ~/Documents
* Web crawl: bin/post -c gettingstarted http://lucene.apache.org/solr -recursive 1 -delay 1
* Standard input (stdin): echo '{commit: {}}' | bin/post -c my_collection -type application/json -out yes -d
* Data as string: bin/post -c signals -type text/csv -out yes -d $'id,value\n1,0.47'


➜  solr-6.0.0 du -hs example/cloud/node1/solr/test3_shard1_replica1
 76K example/cloud/node1/solr/test3_shard1_replica1
➜  solr-6.0.0 du -hs example/cloud/node1/solr/test3_shard2_replica2
 64K example/cloud/node1/solr/test3_shard2_replica2
➜  solr-6.0.0 du -hs example/cloud/node1/solr/test3_shard1_replica3
 76K example/cloud/node1/solr/test3_shard1_replica3
➜  solr-6.0.0 du -hs example/cloud/node2/solr/test3_shard2_replica1
 64K example/cloud/node2/solr/test3_shard2_replica1
➜  solr-6.0.0 du -hs example/cloud/node2/solr/test3_shard1_replica2/
 76K example/cloud/node2/solr/test3_shard1_replica2/
➜  solr-6.0.0 du -hs example/cloud/node2/solr/test3_shard2_replica3
 64K example/cloud/node2/solr/test3_shard2_replica3

Umarım faydası olur :)

Ölü XML den Diri XML çıkarmak :)

noreply@blogger.com (Unknown) — Wed, 1 Jun 2016 23:48:00 +0300

VitrinGez'de yoğun bir şekilde XML işliyoruz. Ancak firmalardan çoğu zaman düzgün çalışan XML alamıyoruz. Koskoca firmaya XML'i düzeltir misin de diyemiyorsunuz!

Biz bazı firmalardan XML alamayınca siteyi crawl ediyoruz. Bunun içinde scrapy kullanıyoruz. Scrapy kullanırken bozuk XML lerde dahi çalıştığını farkettim. O zaman kaynak kodu inceledim.

https://github.com/scrapy/scrapy/blob/master/scrapy/utils/iterators.py#L18


def xmliter(obj, nodename):
    """Return a iterator of Selector's over all nodes of a XML document,
       given the name of the node to iterate. Useful for parsing XML feeds.
    obj can be:
    - a Response object
    - a unicode string
    - a string encoded as utf-8
    """
    nodename_patt = re.escape(nodename)

    HEADER_START_RE = re.compile(r'^(.*?)<\s*%s(?:\s|>)' % nodename_patt, re.S)
    HEADER_END_RE = re.compile(r'<\s*/%s\s*>' % nodename_patt, re.S)
    text = _body_or_str(obj)

    header_start = re.search(HEADER_START_RE, text)
    header_start = header_start.group(1).strip() if header_start else ''
    header_end = re_rsearch(HEADER_END_RE, text)
    header_end = text[header_end[1]:].strip() if header_end else ''

    r = re.compile(r'<%(np)s[\s>].*?</%(np)s>' % {'np': nodename_patt}, re.DOTALL)
    for match in r.finditer(text):
        nodetext = header_start + match.group() + header_end
        yield Selector(text=nodetext, type='xml').xpath('//' + nodename)[0]

Yukarıda gördüğünüz üzere yapılan iş aslında çok basit. Önce xml'i küçük parçalara ayıyor. Sonra her birini bağımsız birer xml elemanı gibi kontrol ediyor. Mesela aşağıdaki gibi bir XML yapımız olsun. Dikkat ederseniz ID 5 olan kısımda etiketi bozuk oluşturdum. Büyük bir XML dosyamız olsa küçücük bir kısım yüzünden bütün XML çöp oluyor. Kodları gist'e koydum. Buradan inceleyebilirsiniz. https://gist.github.com/volkan/0d3af41be13a628201b1cee82246d095


$xml = '

';

echo fixXML($xml, 'product');

function fixXML($xml, $nodeName) {

        $patternTag = sprintf('/<%s[\s>].*?<\/%s>/s', $nodeName, $nodeName);
        preg_match_all($patternTag, $xml, $matches);

        $start = '';
        $end = '';
        $list = [];
        $wrongItem = [];
        $doc = new \DOMDocument();
        foreach ($matches[0] as $key => $item) {
            try {
                $tmpXML = $start . $item . $end;
                $status = @$doc->loadXML($tmpXML);
                if ($status == false) {
                 throw new \Exception;
                }
                $list[] = $item;
            } catch (\Exception $e) {
                $wrongItem[] = $item;
            }
        }

        $xml = $start . implode("\n", $list) . $end;

        return $xml;
}

SolrCloud kurulumu (ve ZooKeeper)

noreply@blogger.com (Unknown) — Sun, 29 May 2016 02:11:00 +0300

Solr 4 ile birlikte master-slave mevzusu devam etmekle birlikte SolrCloud olarak birden fazla solr makinenin birleştirilerek hata durumunda en az kayıpla çalışma devam etmesi ve bunlar olurken isteklerin tek bir makineye yönlendirilip arkada geri kalan işleri Solr'un hâlletmesi planlanmış. (fault tolerance and high availability).

Kendi kurulum scripti ile tomcat gibi bir web server kurmadan doğrudan kendi içinde gelen jetty isimli web server ile çalıştırabiliyorsunuz. Cloud yapısındaki datanın senkron olması için ZooKeeper isimli araç kullanılmakta. Localde test yapmak için ZooKeeper kurmanıza gerek yok. Kendi içinde gömülü geliyor. Ama prod ortam için kurmalısınız. Çünkü solr kapanırsa ZooKeeper da kapanıyor.

Düzenleme: Docker ile bütün işlemler burada: https://github.com/volkan/docker-solr-cloud

Basit olarak kurup çalıştırmak için şurada anlatılan işlemleri yapıyoruz. Özetlersek;


wget https://archive.apache.org/dist/lucene/solr/5.5.1/solr-5.5.1.tgz
tar zxvf solr-5.5.1.tgz
cd solr-5.5.1


bin/solr -e cloud

Buradan sonra gelen bütün seçenekleri enter'e basarak geçin. Sorunsuz bir şekilde kurulması gerekiyor. Aşağıdaki şekilde durumu kontrol edebilirsiniz.


bin/solr status

Bizim asıl amacımız Production ortamında bunu kurmak. Şimdi onun için başlıyoruz. Örnekler Centos 6 için anlatılacaktır.
Öncelikle varsa iptables stop edin yok yapamam diyorsanız şu kuralları kuracağınız bütün makinelere ekleyin;


vi /etc/sysconfig/iptables


-A OUTPUT -j ACCEPT
-A INPUT -p tcp --dport 2181 -j ACCEPT
-A INPUT -p tcp --dport 2182 -j ACCEPT
-A INPUT -p tcp --dport 2183 -j ACCEPT


yum install lsof -y
yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel -y #java 1.7 yoksa
yum install -y system-config-services #docker için
useradd solr
cd /opt
wget https://archive.apache.org/dist/lucene/solr/5.5.1/solr-5.5.1.tgz
tar xzf solr-5.5.1.tgz && solr-5.5.1/bin/install_solr_service.sh --strip-components=2
bash solr-5.5.1/bin/install_solr_service.sh solr-5.5.1.tgz
service solr start
chown solr:solr /var/solr -R #Solr home directory /var/solr/data not found! Gibi bir sorun çıkarsa

Aşağıdaki çıktı ilk güzel haber :)


[root@9afe0af76150 opt]# service solr start
Waiting up to 30 seconds to see Solr running on port 8983 [-]
Started Solr server on port 8983 (pid=877). Happy searching!

Şimdi aynı makinede solr sayısını ikiye çıkaralım.


cd /opt
bash solr-5.5.1/bin/install_solr_service.sh solr-5.5.1.tgz -s solr2 -p 8984


Waiting up to 30 seconds to see Solr running on port 8984 [-]
Started Solr server on port 8984 (pid=1072). Happy searching!

Burada işimiz şimdilik bitti. ZooKeeper kurulumuna geçiyoruz örnek olması için tek makinede birden fazla makineye kuruyormuş gibi anlatıyorum;


cd /opt
wget http://mirror.vorboss.net/apache/zookeeper/current/zookeeper-3.4.8.tar.gz
tar xzf zookeeper-3.4.8.tar.gz
cp -R /opt/zookeeper-3.4.8/ /opt/zookeeper-3.4.8-2
cp -R /opt/zookeeper-3.4.8/ /opt/zookeeper-3.4.8-3
ln -s /opt/zookeeper-3.4.8/ /opt/zookeeper
ln -s /opt/zookeeper-3.4.8-2/ /opt/zookeeper2
ln -s /opt/zookeeper-3.4.8-3/ /opt/zookeeper3


vi /usr/local/sbin/zkrun

nano veya vi ile açtığınız dosyaya aşağıdaki kodu yerleştirin.


#!/bin/sh

# chkconfig: - 75 50
# description: Starts and stops Zookeeper

cd /opt/zookeeper
bin/zkServer.sh $1


cp /usr/local/sbin/zkrun /usr/local/sbin/zkrun2
cp /usr/local/sbin/zkrun /usr/local/sbin/zkrun3
chmod +x /usr/local/sbin/zkru*

zkrun2 ve zkrun3 için "cd /opt/zookeeper" kısmını "cd /opt/zookeeper2" ve "cd /opt/zookeeper3" olarak değiştirin.


ln -s /usr/local/sbin/zkrun /etc/init.d/zookeeper
ln -s /usr/local/sbin/zkrun2 /etc/init.d/zookeeper2
ln -s /usr/local/sbin/zkrun3 /etc/init.d/zookeeper3
chkconfig --add zookeeper
chkconfig --add zookeeper2
chkconfig --add zookeeper3
chkconfig zookeeper on
chkconfig zookeeper2 on
chkconfig zookeeper3 on

zoo.cfg leri ayarlamakta sıra; zoo.cfg dosyası oluşturup içine şunları koyuyoruz


vi /opt/zookeeper/conf/zoo.cfg


dataDir=/var/lib/zookeeperdata/1
clientPort=2181
initLimit=5
syncLimit=2
server.1=localhost:2888:3888
server.2=localhost:2889:3889
server.3=localhost:2890:3890

Burada server.1 çok önemli. Çünkü bu sayıya göre data içinde myid dosyası oluşturup değer vereceğiz. localhost yazan kısım hosts dosyasında yer alan diğer solr sunucularımız olabilirdi. Ben de bu kısım şöyle;


server.1=solr1:2888:3888
server.2=solr2:2889:3889
server.3=solr3:2890:3890

/opt/zookeeper/conf/zoo.cfg dosyasını diğer zookeeper lara kopyalıyoruz.


cp /opt/zookeeper/conf/zoo.cfg /opt/zookeeper2/conf/zoo.cfg 
cp /opt/zookeeper/conf/zoo.cfg /opt/zookeeper3/conf/zoo.cfg

Şimdi /opt/zookeeper2/conf/zoo.cfg ve /opt/zookeeper3/conf/zoo.cfg dosyasında yer alan "dataDir" ve "clientPort" kısmında 1 yazan yerleri sırasıyla 2 ve üç yapıyoruz. portlarıda 2182,2183


mkdir -p /var/lib/zookeeperdata/1 mkdir -p /var/lib/zookeeperdata/2 mkdir -p /var/lib/zookeeperdata/3
echo 1 > /var/lib/zookeeperdata/1/myid
echo 2 > /var/lib/zookeeperdata/2/myid
echo 3 > /var/lib/zookeeperdata/3/myid

service zookeeper start && service zookeeper2 start && service zookeeper3 start

ZooKeeper da tamamlandı. Kontrol için aşağıdaki komutu yazıp ilgili çıktıyı görmeliyiz


[root@9afe0af76150 opt]# service zookeeper status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[root@9afe0af76150 opt]# service zookeeper2 status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper2/bin/../conf/zoo.cfg
Mode: leader

Şimdi Solr'a bu ZooKeeper'ları tanımlama zamanı. /etc/default/solr.in.sh ve /etc/default/solr2.in.sh dosyalarını açıp ZK_HOST alanındaki yorum kısmını kaldırıyoruz. Buraya şunu yazıyoruz;


ZK_HOST="localhost:2181,localhost:2182,localhost:2183"

Sonra solrları restart ediyoruz.


service solr restart
service solr2 restart

Hemen ilk collectionumuzu oluşturuyoruz.


[root@9afe0af76150 opt]# bash /opt/solr/bin/solr create_collection -shards 2 -replicationFactor 2 -c product2 -d /opt/solr-5.5.1/server/solr/configsets/data_driven_schema_configs

Connecting to ZooKeeper at localhost:2181,localhost:2182,localhost:2183 ...
Uploading /opt/solr-5.5.1/server/solr/configsets/data_driven_schema_configs/conf for config product2 to ZooKeeper at localhost:2181,localhost:2182,localhost:2183

Creating new collection 'product2' using command:
http://localhost:8984/solr/admin/collections?action=CREATE&name=product2&numShards=2&replicationFactor=2&maxShardsPerNode=2&collection.configName=product2

{
  "responseHeader":{
    "status":0,
    "QTime":31629},
  "success":{
    "172.17.0.2:8984_solr":{
      "responseHeader":{
        "status":0,
        "QTime":21578},
      "core":"product2_shard1_replica2"},
    "172.17.0.2:8983_solr":{
      "responseHeader":{
        "status":0,
        "QTime":21819},
      "core":"product2_shard2_replica1"}}}

Bu arada configde değişiklik yapmak için /opt/solr/server/scripts/cloud-scripts/zkcli.sh dosyasını kullanabilirsiniz. Örnek şemamız dinamik field yapısını desteklediği için direk kullanmaya başlayabilirsiniz.
PHP tarafında solarium isimli kütüphaneyi önerebilirim.

Aşağıdaki çıktıyı şu linke tıkladığınızda görürsünüz inşaallah :)
Not: Uygun vakitte Docker olarak kurulumu hazırlayıp buradan paylaşacağım.

AWS Elastic Beanstalk Hakkında Kısa Notlar

noreply@blogger.com (Unknown) — Fri, 13 May 2016 00:33:00 +0300

AWS Elastic Beanstalk Hakkında Kısa Notlar hazırladım. Şuradan ulaşabilirsiniz.

https://medium.com/@volkana/aws-elastic-beanstalk-hakk%C4%B1nda-k%C4%B1sa-notlar-5302bf56a2c7#.4m74enq9x

Verileri Cloud Ortamlarda Aktarma

noreply@blogger.com (Unknown) — Fri, 18 Mar 2016 19:44:00 +0200

Şimdiye kadar disklerde çok veri kaybeden biri olarak uzun zamandır sanal disklerde verilerimi tutuyorum. Bu işe ilk DropBox ile başladım. Daha sonra Amazon'un 3 ay bedava sonra yıllığı $59.99 olan paketini aldım. Bütün verilerimi buraya yükledim. Biraz uzun sürdü ama sonuçta işler bitmişti. O sıralarda Android işletim sistemine sahip bir telefon kullanıyordum. Bunun Amazon Photos ve Amazon Cloud Drive uygulamaları işimi görüyordu.

Bir süre önce iphone bir telefona geçtim. Bu telefonla çektiğim 2 dakikalık videoların bile Amazon'a saatlerce gönderilemediğini farkettim. Biraz araştırınca son zamanlarda upload konularında amazonla ilgili ciddi sıkıntılar olduğunu gördüm. (Türkiye'ye özgü de olabilir.)

Amazon destek ekibiyle görüşüp çözümler aradık. Bir de üzerine Amazon Cloud Drive uygulamasının iphone da ses dosyalarını cloud'a gönderememesi beni iyice rahatsız etti.
Bu sırada alternatif olarak görebildiğim Google Drive'a aynı dosyaları upload ederek test ettim. Sonuç çok iyiydi. 100 GB limitli aylık $1.99 olan bir paket satın aldım. Aslında DropBox üzerinde 100GB seçeneği olsaydı onu tercih ederdim. Ancak bu seçenek mevcut değil.

Sonuç olarak Amazon Cloud hesabımı iptal etme kararı aldım. Amazon'a durumu yazdım. 3 ay bedava kullanım sonrasında 3 ay da ödeme ile kullandığım hâlde hiç kesinti yapmadan paranın tamamını iade edeceklerini söylediler. Müşteri memnuniyetinde çağ atlayan bir firma olan Amazon'a teşekkürlerimi sunuyorum.

Ben bütün datalarımı taşımak için DigitalOcean firmasında $10 dolarlık bir makine oluşturup rclone uygulaması ile ekstra yere ihtiyaç duymaksızın bütün datayı taşımaya başladım. Belki $5 lık bir makine de iş görecekti. Sonuç olarak şimdiye kadar ara ara hata mesajları alsamda transfer iyi gidiyor. Zaten sorun çıksada rclon sync komutu ile olmayan dosyaları senkron edebileceğimi biliyorum.

Umarım bu bilgiler işinize yarar :)

Düzenleme: DigitalOceans da açtığım makine bir gece çalıştı. Bu nedenle saat ücretlendirilmesi oldu. Çok düşük bir miktar. Ayrıca dublicate dosyaları silmek için şu kodu kullandım https://github.com/ncw/rclone/issues/329#issuecomment-196046151

Algoritma verimliliği

noreply@blogger.com (Unknown) — Fri, 22 Jan 2016 19:25:00 +0200

Algoritma verimliliğini ifade etmek için kullanılan matematiksel ifade büyük O dur.
Bu konuyu iyi kavrarsak kuracağımız her mantık, yazacağımız her kod kendini bize doğrudan verimlilik açısından açmış olacak.
Bu matematiksel terimle yapılan hız hesaplaması işlemciden bağımsız olduğu için bakan herkesin aklında aynı şeyi ifade eder.

Bir algoritmanın çözüm süresi genellikle giren eleman büyüklüğü ile ilişkilidir. Biz buna N diyoruz. N büyüdükçe algoritmanın çalışma hızının değişimini ifade etmek için aşağıda gibi bazı ifadeler kullanılır.


O(1)
O(log n)
O(N)
O(N log N)
O(N^2)

Şimdi konuya gerçek hayattan bir örnekle devam edelim!

Olay;

Genişbant interneti olan bir vatandaş 300MB'lık bir dosyayı 120 KM uzaklıktaki bir yere göndermek için internet ve ayağına usb bellek bağladığı bir güvercin kullanıyor. Güvercin hedefe ulaştığında internetten gönderilen dosyanın henüz %24'ü tamamlanmış.

Bizi ilgilendiren kısmı şu, biz gönderdiğimiz dosyanın boyutunu internetten ve güvercinin ayağındaki USB bellekte artırdığımızda ne olacak?

USB de yapılan dosya boyut artırımı hız olarak hiç bir etkide bulunmayacaktır! -USB sonsuz değil abartmayalım lütfen :) -
Ancak internette gönderilen dosyada yapılan artırım dosya boyutu kadar fark yapacaktır.

İşte USB de yapılan artırım etkisi olmadığı için O(1) olarak ifade edilir. İnternette yapılan artırım ise boyuta bağlı olarak hız değişeceği için O(N) olarak ifade edilir.

Bu hesaplamalarda N ile birlikte başka değişkenler ve sabitler olabilir. Ancak en büyük değer dışındaki bütün değerler atılır. Çünkü N büyüdükçe diğer değişkenlerin büyüme hız ihmal edilebilecek kadar küçük kalmaktadır.

Biraz kod örnekleri ile baştan başlayalım;


$n = 10;
$tour = 0;
for ($i = 0; $i < $n; $i++) {
    echo $i . PHP_EOL;
    $tour++;
}

echo sprintf('Tur Sayısı: %s', $tour) . PHP_EOL;
//10

Bu algoritma O(N) sürede çalışacaktır. Tur sayısı N ile eşittir.


$n = 10;
$array = [];
$tour = 0;
for ($i = 0; $i < $n; $i++) {
    for ($j = 0; $j < $n; $j++) {
        $array[$i][$j] = $i+$j;
        $tour++;
    }
}

echo sprintf('Tur Sayısı: %s', $tour) . PHP_EOL;
//100


$n = 5;
$tour = 0;
for ($i = 0; $i < $n; $i++) {
    for ($j = 0; $j < $n; $j++) {
        $tour++;
    }
}

echo sprintf('Tur Sayısı: %s', $tour) . PHP_EOL;
//25


$n = range(0, 10);
$count = count($n);
//N*(N-1)/2
echo $count*($count-1)/2 . PHP_EOL;

$tour = 0;
for ($i = 0; $i < $count; $i++) {
    $j = 0;
    while ($n[$i] != $n[$j]) {
        $j = $j + 1;
        $tour++;
    }
}

echo sprintf('Tur Sayısı: %s', $tour) . PHP_EOL;
//55

Bu üç algoritma O(N^2) sürede çalışacaktır. Tur sayısı n sayısının karesi olacaktır. Daha önce bahsettiğimiz sabitlerin ve küçük kısımların atılması kuralı gereği O(N*(N-1)/2) yerine direk O(N^2) diyoruz.


$a = range(0, 5);
$b = range(0, 3);

$tour = 0;
for ($i = 0; $i < count($a)-1; $i++) {
    for ($j = 0; $j < count($b)-1; $j++) {
        $tour++;
    }
}

echo sprintf('Tur Sayısı: %s', $tour) . PHP_EOL;
//15

Bu algoritma O(a*b) sürede çalışacaktır.


$n = 10;
$tour = 0;
while ($n >= 1) {
    echo $n . PHP_EOL;
    $n = $n / 2;
    $tour++;
}

echo sprintf('Tur Sayısı: %s', $tour) . PHP_EOL;
//4


$n = 20;
$tour = 0;
while ($n >= 1) {
    echo $n . PHP_EOL;
    $n = $n / 2;
    $tour++;
}

echo sprintf('Tur Sayısı: %s', $tour) . PHP_EOL;
//5

Bu algoritma O(log(N)) sürede çalışacaktır.
İşlem sayısı her defasında kendini ikiye bölerek ilerliyor, katlayarak ilerlemenin tersi.
İkinci örnekte N iki katına çıkmasına rağmen tur sayısı yalnızca 1 artmıştır.
20 log 10 = 1.3, 30 log 10 = 1.47, 40 log 10 = 1.60 şeklinde ilerliyor.
N = 20 ve N = 30 arasında yalnızca 5 tur atılırken N = 40 olduğunda 6. tura geçiliyor. Tur sayısı, sayı oranına göre çok küçük bir miktarda artış meydana getiriyor.

Burada şunu sorabilirsiniz log tabanı kaç? Aslında bunun hiç bir önemi yok. Taban yazılmadığı zaman 10 kabul ediliyor. Ama bu iki veya 10 olabilir. Kurallar gereği bunlara takılmıyoruz.

Kendini çağıran fonksiyonlarda durum nasıl dersiniz? Adı üstünde kendini çağıran. Bu da kendi sayısı kadar olacaktır.

Recursive için Faktöriyel güzel bir örnek olacaktır.
Formül olarak N! = N * (N-1) * (N-2) * (N-3) ... şeklinde gidiyor.


function factorial($n, &$tour = 0) {
    $tour++;
    if ($n <= 1) {
        return 1;
    } else {
        return $n * factorial($n-1, $tour);
    }
}

$result = factorial(5, $tour);

echo sprintf('Sonuç: %s Tur Sayısı: %s', $result, $tour) . PHP_EOL;
//Tur Sayısı: 5

Bu algoritma O(N) sürede çalışacaktır. Tur sayısı N ile eşittir.

Bu kadar sözden sonra izlemenizi tavsiye edeceğim iki video var;

1. Faktöriyel
2. Big O Notations

Kaynaklar;
Güvercin ve İnternet
Büyük O gösterimi
Big O Notation (İngilizce ve daha detaylı olan)
What is the big O notation and how do I calculate it?

PHP ile Thread kullanımı

noreply@blogger.com (Unknown) — Fri, 11 Sep 2015 15:46:00 +0300

Diyelim ki üç işimiz var ve her biri 1 saniye sürüyor. Normalde arka arkaya çalıştığında bu işlem 3 (üç) saniye sürer. Bir sürü işimiz olsun her biri 1 saniyelik. Tek thread lik bir süreçte bu işler arka arkaya bir birini bekleyerek çalışacağı için toplam işlem süresi iş sayısı kadar olacaktır.
Bunlara işlem sayısı kadar thread açarsak bütün işler 1 saniye sürer.

PHP ile bir örnek yapalım;
Projede Thread kullanmak için PHP de pthread isimli extension yüklemek gerekiyor.

brew install php55-pthreads

Bunu yapınca bütün PHP nin ve eklentilerinin yeniden derlenmesi gerektiğini söylemem gerekiyor.

Örnek kullanım:

result = $sleep;
        sleep($sleep);
    }

    public function getResult() {
        return $this->result;
    }
}

echo "basladi\n";
$timer = microtime(true);
$pool = new Pool(4);
$pool->submit
    (new WebWork());
$pool->submit
    (new WebWork());
$pool->submit
    (new WebWork());
$pool->submit
    (new WebWork());
$pool->shutdown();

$pool->collect(function($query){
    var_dump(
        $done = $query->getResult());
    
    return count($done);
});

printf("islem %f saniye surdu\n", microtime(true)-$timer);
echo "bitti\n";
?>

Yukarıdaki kodu isterseniz console isterseniz web üzerinden çalıştırın aynı sonucu alacaksınız. İşlemler yaklaşık olarak 1 saniye sürecek. Eğer thread sayısını 4 yerine 3 yaparsanız doğal olarak süre uzayacak.

Daha fazla örnek için https://github.com/krakjoe/pthreads/tree/master/examples

Solr Facet Pivot kullanımı

noreply@blogger.com (Unknown) — Fri, 28 Aug 2015 14:24:00 +0300

İhtiyaç: Filtrede birden fazla seçim yapıldığında bu seçimlerin hangi seçimlere bağımlı olduğunun bulunması.

Çözüm: Seçimi yapılan filtrelerin kırılımları solr facet pivot ile kolayca keşfedilebilir.

Örnek sorgu ve sonucu:

http://localhost:8983/solr/browse?wt=json&facet=true&q=*&facet.pivot.mincount=1&facet.pivot={!key%3Dsize-provider-brand-color}facet_attribute_slug_size,facet_provider_url,facet_brand_model_url,facet_color_url

{"responseHeader":{"status":0,"QTime":1},"response":{"numFound":6,"start":0,"docs":[]},"facet_counts":{"facet_queries":{},"facet_fields":{},"facet_dates":{},"facet_ranges":{},"facet_intervals":{},"facet_pivot":{"size-provider-brand-color":[{"field":"facet_attribute_slug_size","value":"m","count":1,"pivot":[{"field":"facet_provider_url","value":"nautica","count":1,"pivot":[{"field":"facet_brand_model_url","value":"nautica","count":1,"pivot":[{"field":"facet_color_url","value":"gri","count":1}]}]}]}]}}}

Bu gelen sonuçları arka tarafta işleyip istediğiniz gibi kullanabilirsiniz.

Not: Bu tür işlemler ekstra yük getirecektir. Bu nedenle solrconfig.xml dosyanızın içine benzer sorgularda Listener eklemelisiniz. Böylece "Searcher" açıldığında bu sorgu çalıştırılacak ve sorgular önceden çalıştırılmış olduğundan normalden daha hızlı çalışacaktır. Tabii cache ayarlarının da iyi olması gerekiyor.

Örnek:

     
        
             *
                /browse
                
                    sum(product(0.001,score_product_like),
                    product(0.02,score_product_hit),
                    product(0.50, score_provider_boost),
                    product(0.45,score_product_boost),
                    product(0.30, score_provider_boost_cpc),
                    product(0.30, score_provider_boost_cps),
                    product(0.50, score_category_product_boost),
                    product(0.09,score_random),
                    scale(random_1,1,5)) desc
                
                true
                facet_attribute_slug_size,facet_provider_url,facet_brand_model_url,facet_color_url

Kolay gelsin.

Redis Sentinel'e geçin rahat edin :)

noreply@blogger.com (Unknown) — Fri, 24 Jul 2015 01:26:00 +0300

Uzun zamandır yazmayı planladığım ama hep ertelediğim bir konuyu sizlerle paylaşmak istiyorum.

Vitringez de memory cache olarak master-slave yapısında Redis kullanıyoruz. Bir süre önce (2014 Haziran) ciddi sorunlar yaşamaya başladık. Sorun Redis tarafında oluyordu. Araştırmalarım neticesinde bizim sorunumuzu Redis Sentinel'in çözeceğini gördüm. Önce local de bazı testler yaptık. Sonrasında ise alt yapıda ufak güncellemeler yaptık. credis kütüphanesini kullanarak yeni yapıyı yayına aldık. O gün bugündür çok memnunuz. Sağladığı otomatik ayağa kaldırma mekanizması ile çok rahat ettik.

Şimdi birlikte bir çalışma yapalım.
1. İlk olarak redis kurulumu yapın.

brew install redis

2. Şuradaki https://github.com/volkan/redis-work dosyaları bir klasöre indirin.

git clone git@github.com:volkan/redis-work.git

3. Sentinel leri aktif hâle getiriyoruz. Failover mekanizması için en az iki sentinel aktif olmalı. Ben bunları logları rahat takip etmek için ayrı tablarda açtım.

redis-sentinel redis-sentinel_26379.conf
redis-sentinel redis-sentinel_26380.conf

4. Redisleri aktif hâle getiriyoruz. (Ayrı tablarda açma olayı redisler içinde geçerli.)

redis-server redis_6381.conf
redis-server redis_6380.conf
redis-server redis_6379.conf

5. Sentinel durumunu kontrol ediyoruz;

redis$  redis-cli -h localhost -p 26379 info

Aşağıda görüldüğü üzere henüz işlem yapılmıyor.

➜  redis git:(master) redis-cli -h localhost -p 26379 info     
# Server
redis_version:2.8.17
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:447fbed5d78be577
redis_mode:sentinel
os:Darwin 14.4.0 x86_64
arch_bits:64
multiplexing_api:kqueue
gcc_version:4.2.1
process_id:22338
run_id:db7af31f3bcacd0cd7433cb3aadc03751059f9fe
tcp_port:26379
uptime_in_seconds:351
uptime_in_days:0
hz:18
lru_clock:11625915
config_file:/Users/volkan/project/redis/redis-sentinel_26379.conf

# Sentinel
sentinel_masters:0
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0

6. Sentinel'e master redis'i verip takip etmesini istiyoruz. Bu işlemi iki sentinel içinde yapıyoruz.

redis-cli -h localhost -p 26379 SENTINEL monitor mymaster 127.0.0.1 6381 2
redis-cli -h localhost -p 26380 SENTINEL monitor mymaster 127.0.0.1 6381 2

Sonrasında aldığımız çıktı da son satır önemli.

master0:name=mymaster,status=ok,address=127.0.0.1:6381,slaves=2,sentinels=2

➜  redis git:(master) redis-cli -h localhost -p 26379 info     
# Server
redis_version:2.8.17
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:447fbed5d78be577
redis_mode:sentinel
os:Darwin 14.4.0 x86_64
arch_bits:64
multiplexing_api:kqueue
gcc_version:4.2.1
process_id:22338
run_id:db7af31f3bcacd0cd7433cb3aadc03751059f9fe
tcp_port:26379
uptime_in_seconds:511
uptime_in_days:0
hz:13
lru_clock:11626075
config_file:/Users/volkan/project/redis/redis-sentinel_26379.conf

# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
master0:name=mymaster,status=ok,address=127.0.0.1:6381,slaves=2,sentinels=2

Sentinel de eklemeler sonrası slaveleri bulup gerekli çalışmaları yapıyor;

[22338] 24 Jul 01:09:42.412 # +monitor master mymaster 127.0.0.1 6381 quorum 2
[22338] 24 Jul 01:09:42.459 * +slave slave 127.0.0.1:6380 127.0.0.1 6380 @ mymaster 127.0.0.1 6381
[22338] 24 Jul 01:09:42.459 * +slave slave 127.0.0.1:6379 127.0.0.1 6379 @ mymaster 127.0.0.1 6381
[22338] 24 Jul 01:10:31.881 * +sentinel sentinel 127.0.0.1:26380 127.0.0.1 26380 @ mymaster 127.0.0.1 6381

7. 6381 olan master'ı kapatıyoruz! Burada bizim verdiğimiz gecikme süresine göre sentinel devreye girip bir slave'i master yapıyor.

[22338] 24 Jul 01:12:55.430 # +sdown master mymaster 127.0.0.1 6381
[22338] 24 Jul 01:12:55.489 # +new-epoch 1
[22338] 24 Jul 01:12:55.489 # +vote-for-leader 5f89e827f873bb2bf7acb7f898c21f0903bd80cb 1
[22338] 24 Jul 01:12:55.522 # +odown master mymaster 127.0.0.1 6381 #quorum 2/2
[22338] 24 Jul 01:12:55.522 # Next failover delay: I will not start a failover before Fri Jul 24 01:18:55 2015
[22338] 24 Jul 01:12:56.637 # +config-update-from sentinel 127.0.0.1:26380 127.0.0.1 26380 @ mymaster 127.0.0.1 6381
[22338] 24 Jul 01:12:56.637 # +switch-master mymaster 127.0.0.1 6381 127.0.0.1 6380
[22338] 24 Jul 01:12:56.637 * +slave slave 127.0.0.1:6379 127.0.0.1 6379 @ mymaster 127.0.0.1 6380
[22338] 24 Jul 01:12:56.639 * +slave slave 127.0.0.1:6381 127.0.0.1 6381 @ mymaster 127.0.0.1 6380

Tekrar info komutu çalıştırdığımızda durum aşağıdaki gibi. 6381 olan port 6380 olarak değişmiş. ➜ redis git:(master) ✗ redis-cli -h localhost -p 26379 info

master0:name=mymaster,status=ok,address=127.0.0.1:6380,slaves=2,sentinels=2

8. Kalan son master 6380 redisini kapattım. Kontrol ettiğimde kendisinin master yapıldığını gördüm.

master0:name=mymaster,status=ok,address=127.0.0.1:6379,slaves=2,sentinels=2

Eğer yeni bir makine havuza ekleyecekseniz mutlaka çalışan master'a slave olarak eklemelisiniz. Sentinel bir kere bir makineyi takip etmeye başlarsa sonrasında onu doğru konuma yerleştirir. Birden fazla makine üzerinde çalışırken bir şekilde birbirlerini görmeyebilirler. Bundan emin olmak için aşağıdaki komutu bir sentinel üzerinde çalıştırıp kontrol edebilirsiniz. "protected mode no" olmalı. Ayrıca en az 3 sentinel kullanmalısınız. (Daha fazla olacaksa bu sayı tek sayı olmalı 3,5,7 gibi.)

SENTINEL ckquorum mymaster

Sonuç olarak bu harika nimeti kullanması gördüğünüz üzere oldukça kolay. credis kütüphanesi üzerinden sorgularınızı slave makinelere dağıtık bir şekilde gönderip verimliliği artırabilirsiniz.

İyi kod yazmalar :)

RabbitMQ'yi verimli kullanmak 2

noreply@blogger.com (Unknown) — Fri, 18 Apr 2014 10:19:00 +0300

Çoğu zaman etraftan duyduğumuz PHP ile RabbitMQ kullanılırken "consumer"'ın python tarafından yazılması gerektiği oluyor. Buna gerekçe olarak PHP'nin memory kısmını iyi "yönetemediği" söyleniyor. Üstelik PHP ile kod yazıyorsanız ve bağımlılıklarınız proje içindeyse python için ekstra olarak bir sürü işlem yapmanız gerekecek. Bunun maliyeti ise ayrı bir konu.

Bunun yanı sıra bunları söyleyenler bize, "python consumer olarak php den şu kadar kat daha iyi"yi gösterseler bile aşağıdaki işlemlerden sonra acaba arada bir fark kalıyor mu veya ne kadarlık fark kalıyor, veya python memory olarak hiç mi şişmeyecek veya sorunlar çıkarmayacak? Bu sorunlar çıkarken PHP'nin yanında bir de python'un dertleriyle uğraşmamız gerekmeyecek mi?

Bu nedenle soruna çözüm odaklı yaklaşmak gerek, yeni bir sorun çıkartmamalıyız. Elimizdeki ürünleri en iyi şekilde konumlandırıp ayağa kaldırırsak "ortak problem" olarak karşımıza çıkan sorunları çözüp, ondan sonra bunun üzerine diğer konulardan bahsetmek gerek diye düşünüyorum.

Şimdi size ortak problemlerin ortak çözümünü anlatmaya çalışacağım;

Consumer yazarken hangi dil olursa olsun ihtiyacımız olan temel bazı özellikler var. Bunları yaptığımız sürece, çok iyi memory yönetemezseniz bile paçayı kurtarabilirsiniz. Bunlar şöyle;

1. İşlemesi gereken mesaj sayısına limit koymak.
2. İşlem yapılmadığı zaman ne kadar süre sonra consumer process'inin kapanacağını söylemek.
3. Kendisini sürekli canlı tutmak.

Bu üç madde çok iyi iş yapıyor, bunlara ek olarak memory limitide koyabilirsiniz. Ben buna pek sıcak bakmıyorum.

Biz PHP de bu işi için şu kütüphaneyi kullanıyoruz https://github.com/videlalvaro/php-amqplib
Symfony içinde bu saydığım işlemleri hızlıca yapmak için şu bundle https://github.com/videlalvaro/rabbitmqbundle işimizi görüyor.

Yukarıdaki maddeler ile ilgili dikkat çekmek istediğim kısımlar;

1. Madde için aşağıdaki limit koyabilirsiniz. Böylece process'in ekstra ram temizleme ve benzeri işleri ile uğraşmanız gerekmiyor.

./app/console rabbitmq:consumer -m 50 upload_picture

2. Madde ve İlk yazıda bahsettiğim (her consumer'a eşit yük dağılımı) ayarlar burada gözüküyor. Bu madde şu açıdan önemli, MySQL gibi bir veritabanına bağlantı açıp uzun süre beklerseniz (wait_timeout) bu bağlantınızı belirli bir süre sonra öldürür. Bu durumda da her işelemde "mysql gone away" hatası alırsınız. Bu ve benzeri durumların önüne geçmek için yaşam süresi vermek önemli.

product_process:
            qos_options: {prefetch_size: 0, prefetch_count: 10, global: false}
            idle_timeout: 30

3. Madde için bir supervisord kullanıyoruz. Örnek bir ayar aşağıda girdim. Herhangi bir sebeple kapanan process yeniden ayağa kaldırılıyor. Bu ayar ile aşağıdaki komutu iki kere çalıştırmasını istedik. Yani iki adet "consumer"'umuz oldu.

[program:product_process]
command=/usr/local/php5/bin/php /home/p1/app/console rabbitmq:consumer -m 100 product_process --env=prod
process_name=%(process_num)02d
numprocs=2
directory=/tmp
autostart=true
autorestart=true
startsecs=5
startretries=100
user=project
redirect_stderr=false
stdout_logfile=/var/log/supervisor/product_process.out.log
stdout_capture_maxbytes=5MB
stdout_logfile_backups=10
stderr_logfile=/var/log/supervisor/product_process.error.log
stderr_capture_maxbytes=5MB
stderr_logfile_backups=10

Biz bu şekilde ciddi bir performans yakaladık bu bilgiyi paylaşmamanın haksızlık olacağını düşündüğümden yazmak istedim :)

Not (05.04.2014): 3 Mayıs 2014 tarihinde yapılan php-ist konferansında sunum yapan Alvaro Videla'ya Mustafa kardeşim bazı sorular yöneltmiş. Özetle PHP'nin consumer için uygun olup olmadığını sormuş.
Cevap: Derlenebilen dillerin consumer yazmak için daha iyi olduğu, uzun süre ayakta olan php processlerinde ram saçmalama durumu olduğunu söylemiş.

Daha sonra bizim yukarıda anlattığımız çözümlerin geçerliliğini sormuş. Bunlar için ise aşağı yukarı bu şekilde bir çok sorunun çözüldüğünü söylemiş.

Sonuç olarak eğer bu şekilde sorununuz çözülüyorsa bu şekilde ilerlemek, ancak bunlar sizi kesmiyorsa consumer kısmını derlenen diller ile yazıp kafanızın rahat etmesini sağlamanız gerekiyor. Herşey ihtiyaca göre şekilleniyor. Ana sonuç: Samsun S3 mini işinizi görüyorsa Note 3 almayın :)

RabbitMQ'yi verimli kullanmak

noreply@blogger.com (Unknown) — Thu, 12 Dec 2013 10:45:00 +0200

RabbitMQ hakkında genel bilgi edinmek için sevgili Mustafa'nın yazısına bakabilirsiniz http://www.mustafaileri.com/post/60580598616/rabbitmq-ve-amqp-uzerine-biraz-tecrube-eski-yaz Benim burada bahsetmek istediğim biraz detay ve kısa bir bilgi.

Default ayarlar ile kuyruğa yaklaşık 7000 mesaj bastıktan sonra 1 adet consumer çalıştırırsanız, bu alabileceği kadar mesajı üstüne alır. İkinci consumer açarsanız buda kalan kısımdan alabileceğini alır. Üçüncü consumer açtığınızda bu consumer'a maalesef mesaj kalmamış olabilir!

Benim örneğimde consumer başına yaklaşık 3000 mesaj düşüyor. Peki bu ne anlama geliyor?

Siz 10.000 mesaj için 10.000 consumer açsanız maalesef bunların sadece 3-5 tanesi aktif olacak.
Yalnız dikkat edilmesi gereken husus bu hesap önce mesajlar basılıp sonra sonra consumer aktif olduğu durumlar için geçerlidir. Eğer siz 10.000 consumer ayağa kaldırır bir yandan sürekli kuyruğa mesaj gönderirseniz RabbitMQ bunu dağıtacaktır. Boşta olan her consumer üzerine mesaj alıp işleyecektir.

Peki bunu nasıl aşabiliriz?

Tabiiykide her kuyruğun alacağı mesaj sayısını belirterek.

Consumerlar için kaç adet mesaj alacağını basic_qos ile bildiriyoruz PHP tarafında örnek kod şu şekilde oluyor;

        $channel = $this->getConnection()->channel();
        $channel->basic_qos(0, 100, null);
        $this->setChannel($channel);

Biz şu kütüphaneyi kullanıyoruz size de tavsiye ederim https://github.com/videlalvaro/php-amqplib

php ist 2013

noreply@blogger.com (Unknown) — Thu, 11 Jul 2013 16:26:00 +0300

Geçtiğimiz günlerde Türkiye'de php üzerine yapılmış en iyi etkinliklerden biri yapıldı. Şimdi bunu duyanlar abartıyorum sanacak ancak geçmişte "özgür web günleri"'ne katılmış başka etkinlikleri görmüş takip etmiş biri olarak onlarla kıyaslayınca çok rahat bir şekilde bunu söylüyebiliyorum.

Etkinlikte bir sunumda ben yaptım. PHP'de debugging konulu bu sunum, vakit darlığı ve acemiliğim nedeniyle hızlı geçti.

En önemli ayrıntılardan biri etkinliğin videosununda çekilmiş olmasıydı. Emeği geçen ve sponsor olan herkese teşekkür ederim.

Etkinliğe ait videolar : http://www.paylas.com/phpist/etkinlik/istanbul-php-konferansi

Tüm konuşmacıların slideları: http://2013.phpist.org/#!/speakers
(konuşmacı adlarına tıkladığınızda açılmaktadır.)

Git'i proje içinde kullanmak

noreply@blogger.com (Unknown) — Sat, 16 Feb 2013 21:53:00 +0200

Daha önce "git notlarım" isimli bir blog yazmıştım. Ancak burda sadece komutlar bulunuyor. Detaylı kullanım yer almıyor. Her nekadar bu kullanım İbrahim Gündür kardeşimiz tarafından ele alındıysada ( ibrahimgunduz.net/yar-yaban-ellere-git-mis/ ) talep üzerine (Hakan Bey'e beni teşvik ettiği için teşekkür ediyorum) bende birşeyler yazmaya çalışacağım.

Öncelikle "git" hızlı, kolay ve mantıklı bir kullanım sunuyor. Ayrıca piyasada ücretli ücretsiz servis alacağınız çok sağlam firtmalar bulunuyor ve Enterprise desteğide mevcut. (http://github.com , https://bitbucket.org/)

Yeni bir projeye başladığımızda proje klasöründeyken aşağıdaki komutu yazıp git'i aktif ediyoruz.
$git init

İlk olarak projede birşey eklemeden çıkarmadan önce kendimizi git'e tanıtmalıyız.

$git config --local user.name "isim.soyisim"
$git config --local user.email "volkan.altan@gmail.com"

Böylece yapacağım işlemler artık github veya x hesabımla değil. Bu bilgiler ile olacak.
Aslında bu bilgiler "jira" veya proje takibi için kullandığımız hesap bilgilerimiz olursa iyi olur.

Sonrasında projede hiçbir zaman gitmesini istemediğimiz dosyaları tanımlıyoruz. Bunu global veya her proje için ayrı tanımlayabiliriz, proje içerisinde ".gitignore" isimli bir dosya oluşturursak içine yazacağımız klasör isimleri veya dosyalar hiçbir zaman gitmeyecektir. Daha fazla bilgi için bu link faydalı olacaktır https://help.github.com/articles/ignoring-files .

Yukarda oluşturduğumuz projeyi şimdi github'a gönderelim.
github.com dan proje oluşturalım. Adı "deneme" olsun.

$git add .
$git commit -m 'ilk göndermeler'
$git remote add origin git@github.com:volkan/deneme.git
$git push -u origin master

Proje ile github arasındaki bağ kuruldu. Artık istediğimiz gibi çalışabiliriz.

Ben size linux kullanıyorsanız "oh my zsh" kurup kullanmanızı tavsiye ediyorum. Bunun en çok işimize yaracak yönlerinden biri bulunduğumuz "dalı" o an görebilecek olmamız.

Projede açılan her işe yeni bir "dal" açmak veya ihtiyaca göre sadece developer'a özel "dal" açabilirsiniz. Biz işleri jira'da açıp işin adına göre yeni bir "dal" açmayı tercih ediyoruz.

$git checkout -b PRJ-10
$git status
(-b hem "dal" oluşturur hem checkout işlemini yapar)
Bu şekilde her geliştirici sisteme kendini tanıtıp çalıştığı iş için "dal" açabilir.

Projede çalışırken, yaptığımız işi kaybetmemek için ara ara "commit" edip github'a göndermeliyiz.

$git push origin PRJ-10
(origin bulunduğunuz nokta yani bulunduğunuz "dal" demektir)
Gün içinde bunu birkaç defa yapabiliriz. Bu çalışma temponuzla alakalı.

Bu arada siz geliştirme yaparken projede boş durmuyor. Sizden önce işini yapıp bitiren arkadaşların işleri çeşitli statuslerden geçtikten sonra "master"'a alınıyor. Ve sizin ilk başladığınız "dal", "ana daldan" geri kalmış oluyor. Bu yüzden çalıştığınız "dal" çeşitli statüslerden geçip "master"'a alınacağı zaman bu işleri yapan kişi sizden master'ını güncelleyip dalını "rebase" eder misin? der.

Siz yaptığınız bütün işleri add, commit ve push ettikten sonra master'a geçip.

$git fetch

Yazarsanız hangi dalda olursanız olun bütün değişiklikleri alırsınız. Ancak bu değişiklikler herhangi bir yere yazılmaz.

$git pull

Derseniz hem fetch, hem "merge" yapmış olursunuz. Yani bulunduğunuz "dal" sunucuda bir yere bağlı ve mevcutsa ordan aldığı güncellemeleri sizin dalınıza birleştirir. Bu nedenle "git pull" yerine

$git pull --rebase

Daha uygun bir çözüm gibi geliyor.

merge ile rebase arasındaki fark, "merge" de üstünde yazılırken "rebase" aralara yazıyor.

Bu nedenle değişiklikler her commit'e uygulanıyor.

Velhasıl sizden rebase al dediklerinde sırasıyla aşağıdaki komutları çalıştırmanız gerekiyor.

$git status (gözümüzden kaçan birşey var mı diye bakıyoruz.)
$git checkout master
$git pull
$git checkout PRJ-10
$git rebase master

Burda çakışmalar çıkarsa onları düzeltmek için "ara yüzü" olan bir araç iyi olacaktır.
http://michaelgalloy.com/2008/01/29/opendiff.html

$git mergetool

İle çakışmaları düzeltmeye başlayabiliriz.

Bununla birlikte commit sayımız çok olduğu zaman çakışmalarda o kadar çok düzeltme isteyecektik.
Ara ara commit, push ettikten sonra son commitimizde, bütün commitleri birleştirip tek commit yapabiliriz.

$git rebase -i HEAD~3

Burda 3, son 3 commit demek. Yukardaki komutu yazdığımız da tanımlı editör açılacaktır.
Bu bende "vim" açılan ekrandan;

pick 73a45d3 mesaj1 pick b5f70f9 mesaj2 pick a2c63a4 mesaj3 sondan iki "pick" i "f" yapıyoruz, böylece diğer commit mesajları "mesaj1" olarak güncellenecek. pick 73a45d3 mesaj1 f b5f70f9 mesaj2 f a2c63a4 mesaj3 :wq! (kaydet ve çık)

İşlemler başarılı olursa geriye kodu psuh etmek kalıyor.

$git push origin PRJ-10 -f

Burda "-f" parametresi kullandık, çünkü github'da bulunan kodlar ile bizdeki kodlar arasında fark oluştu. Bu fark kod farkı değil "başlık" farkıdır.

Yazdıklarım %100 doğru veya en uygun çalışma şekli değildir. Bu sadece naçizane bir tavsiyedir. Daha iyi yöntemleri olan yorum olarak yazarsa memnun oluruz.

Jirada import workflow XML sonrası NullPointerException almak

noreply@blogger.com (Unknown) — Tue, 18 Dec 2012 19:00:00 +0200

Jira'da iş akışını değiştirmek istedik. Bunun içinde arkadaşımın daha önceden hazırladığı iş akışını istedim. Onu alıp import edince herşey çok güzel olacak sandım... Ancak aldığım bu hata ile ciddi sorunlar yaşadım.

Error rendering WebPanel (workflows/workflows.vm): org.apache.velocity.exception.MethodInvocationException: Invocation of method 'getHtml' in class com.atlassian.jira.web.component.IssueConstantWebComponent threw exception java.lang.NullPointerException at workflows/workflows.vm[line 136, column 65]

Hatayı araştırdığınızda size önerilen şey şu;
https://confluence.atlassian.com/display/JIRAKB/NullPointerException+after+importing+workflow+XML

Aynı zamanda sorunu yaşayıp çözüm arayan garibanlar ; https://answers.atlassian.com/questions/60144/workflow-scheme-and-project-where-do-they-link-in-database

İşin kötü yanı bu workflow'u değiştirmek için girmeniz gereken sayfada bu hatayı alıyorsunuz. Başka bir projenin sayfasından bu yönetim kısmına gidip ID yi elle değişitrmek istediğinizde de yemiyor...

Projelerin ID lerini bulmak için rest API den faydalanıyoruz.
http://ip:8080/rest/api/2/project [1]

http://ip:8080/secure/project/SelectProjectWorkflowScheme!default.jspa?projectId=10000

Ama aynı hata devam ediyor...

Sonra aklıma yardım sayfasında elemanın mysql üzerinden insert yapmaya çalışması geldi. Yeni eklediğim workflow daki "attribute" ları eklemem gerektiğini düşündüm. (En başta olması gereken buydu zaten)

http://ip:8080/secure/admin/ViewStatuses.jspa

Burda acaba ID tutar mı nasıl olacak derken aynı workflow da tanımlandığı ismi ile ekledim.
Ve her eklediğim o an aktif oldu.

Sonuç: Artık çalışıyor :)

[1] http://docs.atlassian.com/jira/REST/latest/

Code Retreat Istanbul

noreply@blogger.com (Unknown) — Thu, 13 Dec 2012 10:01:00 +0200

Merhaba,

Geçtiğimiz Cumartesi (8.12.2012) Parkyeri & Telenity iş birliği ile hazırlanan Coderetreat Istanbul etkinliğine katıldım. İnanılmaz keyifli ve güzeldi. Çeşitli etkinliklere kartılmıştım ama Coderetreat budur diyeceğimiz bir etkinlikti.

Neler kazandırdı ?

a. Hiç tanımadığınız insanlarla çalışma fırsatı.
b. Silbaştan yapmak gerek bazen.
c. Farklı şekilde düşünmeye çalışma.
d. Çok iyi şarkı söyleyemesenizde ortama ayak uydurma.
e. Dünya TDD yapana güzel.

a) Her 45 dakikada yeni bir oturum, yeni görev ve yeni bir arkadaşınız oluyor.
Herkes bir önceki otorumda yaptığı iş ile ilgili bilgi paylaşımında bulunuyor.
Tabi yeni gelişmelerle ilgili eski "pair" larınız ile konuşup geçmişi yad ediyorsunuz.

b) Her 45 dakika sonunda mevcut kodu shift+delete ile silip ortadan kaldırıyorsunuz.
Her oturumda yeni biri olarak işe başlıyorsunuz.

c) Aslında bunun için zorluyorlar ki bu çok iyi. Eve hergün aynı yoldan gidince durup düşünmüyorsunuz bile o yolu öylece gidiyorsunuz. Ama bilmediğiniz yola girince kafanız hiç aşağı eğilmiyor...

d) Bazı terimleri, yazılan kodu anlamasanızda sizde yazıyorsunuz bişeyler. Sonra zaten nakaratı öğrenince sizde bağırmaya başlıyorsunuz...

e) Eee bu kadar şey ne için, maymun gözünü açsın diye. Ama işe başladığınızda bal kabağı ile takılmaya devam ediyorsunuz. TDD yapılan bir firmada çalışmanın tadıda ne güzel olurdu...

Son olarak böylesi organizasyonların artmasını diliyorum, Allah diğer "büyük" firmalarada böylesi faydalı etkinlikler yapmayı nasip etsin. Büyükler bu işlere yatırım yapıp ev sahipliği yapmayacaksa "yurt dışından adam getirelim" kafası yaşamaya devam edecek. Ama bunun bir kısır döngü olduğu "bilen"ler tarafından "biliniyor"...

Not: Etkinlik ile ilgili detaylı bilgi için Facebook Sayfası

Teşekkürler Parkyeri & Telenity

Zend Framework 2'yi tanıyalım...

noreply@blogger.com (Unknown) — Tue, 25 Sep 2012 23:22:00 +0300

Bildiğiniz üzere Zend Framework 2'nin kararlı sürümü geçtiğimiz günlerde yayınlandı.
Zend ciddi değişiklikler ile karşımıza neredeyse tamamen yeni bir ürün çıkarttı. Bende bunu en sade haliyle anlatmaya çalıştım.

http://www.gelistiricigunlugu.com/zend-framework-2yi-taniyalim/

Rocket Internet'in ardından

noreply@blogger.com (Unknown) — Sat, 18 Aug 2012 01:28:00 +0300

Aslında söylenecek çok şey var ama çoğunu arkadaşlarımız söyledi şuralardan okuyabilirsiniz.

http://irfandurmus.com/blog/rocket-turkiye-ofisinin-kapanmasi/

http://ibrahimgunduz.net/rockete-veda/

http://negaripseylervarya.blogspot.com/2012/08/efendi-gibi-nasl-batlr.html

Birde işin medyatik yönü var o da şurda ;
www.webrazzi.com/2012/08/17/rocket-internet-turkiye-kapaniyor/

Eee bu kadar mı ? Yok arkadaşlar ben size başka şeyler anlatacağım. Bütün kaliteli imkanların yanı sıra,

Adam akıllı kütüphanesi vardı,
İnançlara saygı ve hoşgörü vardı.
Örnek:
Mescidi vardı (henüz bu imkanı veren yer göremedim, ayrıca mescit için toplantı odasının bir kısmını bölüp ayırmışlardı.)
Ramazan nedeniyle CTO (Önder Bey) Volkan sabah biraz erken gel akşamda kafan durunca çık diyebiliyordu.
Bir sorununuz olduğunda Takım liderinizden developer arkadaşlarınıza herkes alakadar oluyordu.
Kısaca insalık hoşgörü hat safhadaydı. Kimsede size dik dik bakıp laf sokuşturma peşinde değildi!

Bu kadar şeyden sonra Cumartesi sorun çıktı bakar mısın dediklerinde seve seve bakıyorsunuz...
(Gerçi öyle bişey nasip olmadı :) )

Sonuç Rocket Internet gerçekten iyiydi...

Tüm çalışma arkadaşlarıma teşekkürü bir borç biliyorum. Hepsine başarılar diliyorum.

MySQL stres testleri için mysqlslap

noreply@blogger.com (Unknown) — Thu, 7 Jun 2012 14:45:00 +0300

MySQL stres testleri için mysqlslap kullanımı ile ilgili bir yazı yazdım.

http://www.gelistiricigunlugu.com/mysql-stres-testleri-icin-mysqlslap/

Subquery pişmanlık değildir!!!

noreply@blogger.com (Unknown) — Thu, 31 May 2012 15:29:00 +0300

Subquery pişmanlık değildir!!!

Neden mi ?

JOIN ile yaptığınız sql'i Explain ile kontrol edin. Sonrasında eğer bir tablonun binlerce satır gezdiğini görüyorsanız ve subquery yapılabiliyorsa direk select'e bunu alın...

Birde şimdi bakın hızına...

Büyük joinlerle yazdığınız SQL'ler sonrasında ORDER BY ile sıraya koyuluyorsa veya GROUP BY ile müdahale ediliyorsa bu müdahele öncesi bir joini tablodan çıkarmak akıllıca olacaktır...

Not: Asla unutmamak gerek ki bir durumda doğru olan bir şey her durumda doğru olmayabilir.
O yüzden diyoruz ki EXPLAIN kullanın.

Not2: Testler öncesinde şu komutları çalıştırmayı unutmayın, aynı zamanda test edilen iki query aynı anda çalıştırılmalı. Birini çalıştırıp daha sonra diğerini çalıştırmak büyük hata olacaktır.

SET GLOBAL query_cache_size = 0;
SET GLOBAL query_cache_type=0;

Not3: DISTINCT ile GROUP BY arasındaki fark GROUP BY'ın aynı zamanda ORDER BY özelliğinin bulunmasıdır. Ona göre bu komutları kullanın.

Git notlarım

noreply@blogger.com (Unknown) — Mon, 28 May 2012 20:18:00 +0300

Bunlar sadece çok kullandığımız komutların notları. Zaman zaman güncellenecektir.

git reset --hard origin/branch-name
local branch’i origin deki ile aynı duruma getirmek için kullanılıyor.
git reset --hard hash ile geri çektik
git push origin +master:master çekilen yere ana depo eşitlendi.

git push origin branch-name yeni dal uzakta oluşturma
git push origin :branch-name remote depo silme

git branch -a bütün depoları göster
git branch -r uzak depoları göster
git branch -l local depoları göster

git branch -m old-branch-name new-branch-name branch adı değiştirme

git push origin branch-name kendi kullanıcıma bağlı olan yerde dal açma

git remote add uzakdepo /home/username/myrepo uzak depo bağlama
Böylece uzakdepo benim için anahtar kelime oluyor

Belirli bir loga dönmek için
git reset --hard (hash)d6422a1266c4199cf772d960a172b7aceca66e3b

git reset --hard origin/master locali origine eşitlemek için

Bir dosyayı herhangi bir dala geri alma;
git checkout hash filePath
Stage de iken git checkout -- filePath

uzaktaki dalı localde oluşturmak için
git checkout -b BRANCH-NAME origin/BRANCH-NAME
git checkout -b BRANCH-NAME BRANCH-NAME
İki türlüde oluyor. Uzaktaki dalı sizin için çekiyor.

git fetch ile locale merge edilebilecek veya erişilebilecek dallar veya dosyalar çekilir
git pull ile hem fetch işlemi hemde merge işlemi yapılır

git diff branch-name bulunduğunuz branch ile yazdığınız branch arasındaki farkı gösterir
git diff branch-name > diff.patch göstereceği şeyi dosyaya yazar

Sadece git değil svn üzerinden aldığınız patchleride uygulayabilirsiniz.

Diff alma ve patch'e yazma
git diff > ../diff.patch
git diff BRANCH-NAME > ../diff.patch

Branch birleştirme
git merge BRANCH-NAME
Çakışma varsa
git mergetool

branchi hangi daldan oluşturduğunu bulma
git reflog show --all | grep -i "branch:" | grep -i created | grep -i BRANCH-ADI

comit edilmemiş dosyayı silme:
Önce fiziksel silme “rm file” sonra “git rm file” git add -u incele

for x in `git status | grep deleted | awk '{print $3}'`; do echo $x; done;
Statusu deleted olanları ekrana basma.

İki commit arasındaki farkları alma;
git log ile yapılan commitlerin hashi bulunur.
git diff hash1 hash2 şeklinde fark görüntülenir.

Alınan diff'i kontrol etme
git apply --check diff.patch

Alınan diff ile nelerin değiştiğini görme
git apply --stat diff.patch

Uygulama
git apply diff.patch

Diff olayı derin mevzu şurası iyi bir kaynak : http://learn.github.com/p/diff.html

Git commit lerini birleştirme; git commit -m 'mesaj' . ile çok sayıda commit yapıp sonra bunları teke çekmek isteyebilirsiniz. komut: git rebase -i HEAD~3 Burda 3 commit sayısı siz commit sayınızı yazacaksınız. vim açılacak; pick 73a45d3 mesaj1 pick b5f70f9 mesaj2 pick a2c63a4 mesaj3 sondan iki "pick" i "f" yapıyoruz; pick 73a45d3 mesaj1 f b5f70f9 mesaj2 f a2c63a4 mesaj3 :wq! işlem tamam. git log ile kontrol edebilirsiniz . daha fazla durum için açılan pencereden detaylar var oraya bakabilirsiniz. Çalıştığınız branch'e origin(master) den güncelleme almak. Sorun şöyle çıkıyor, bir branch de çalışıp push ettiniz front-end aldı bişeyler yaptı push etti. Locali son duruma getirmek için komut ; git pull --rebase origin BRANCH-NAME

Sürekli kullanıcı adı veya Şifre sorulması
Projenizde çalışırken bu sorunu yaşıyorsanız https şeklinde url set edilmiş demektir.
Şöyle değiştirebilirsiniz.
git remote set-url origin git@github.com:kullanici/proje.git
Tüm değerleri görmek içi: git config --list

Yapılan commiti geri alma
git reset --soft HEAD^

Uzak depo ekleme
git remote add zf2 https://github.com/zendframework/zf2.git
Depoyu çekme
git fetch zf2
Depoyu master ile birleştirme (çek birleştir)
git pull zf2 master
Kimi zaman birleştirme yerine araya girme yapılmalı, sizin branch geride kalmış olabilir.
git rebase zf2
Yaptıklarımızı gönderme
git push origin

Bulunduğunuz branch için güncelleme geldiğinde onu kolayca almak
git checkout zf2
git pull --rebase

Önce zf2 branchine geçtik, bu başka bir branchde olabilirdi.
Sonra yeni neler var diye baktık.
Son olarak zf2 için gelen yeni kodları ilgili branche aldık.

Değişiklikleri kaydet ve dalın içini değişim öncesi hale getir.
git stash save
Kaydettiğin değişiklikleri geri getir.
git stash pop

Hayat kurtarır (projeyi git te olmayan herşeyden temizler...)
git clean -d -f -x

Local branch silme
git branch -D ISSUE-NO
Uzak branch silme
git push origin :ISSUE-NO