ubuntu/linux: советы и решения

Хранилище паролей

noreply@blogger.com (morridzh) — Mon, 13 Jul 2015 08:58:00 +0000

Очень элегантное хранилище паролей на основе GPG.
Вот ссылка: the standard unix password manager

Так что для начала нужно иметь GPG ID. Сгенериться, если в-кратце, так:

gpg --gen-key

Допустим наш ID теперь foobar@foobar.com. Инициализируем хранилище:

pass init "foobar@foobar.com"

Пользоваться так. Добавление:

pass insert Business/root-password

Здесь Business/root-password запись root-password в подкаталоге Business.
Посмотреть пароль:

pass Business/root-password

удаление лишних пробелов в конце строки

noreply@blogger.com (morridzh) — Wed, 28 Dec 2011 19:40:00 +0000

Задача из области написания кода. Часто случается так, что в конце строки образуются лишние пробелы. Как их быстрее всего увидеть и удалить? Приходит на помощь sed.

На первый взгляд, задача тривиальна:

sed -ri 's/\s+$//g' foobar

Но есть в ней одна засада. Если исходный файл foobar имеет переводы строк системы DOS/Windows (т.е. два символа CR-LF), то символ \r в unix системах будет трактован тоже как пробел и соответственно удален. В итоге вместе с пробелами поменяются и переводы строк. Что может быть нежалательно.

Правильнее будет сделать так:

sed -ri 's/ +(\r)?$/\1/g' foobar

В данном случае мы запоминаем, был ли в конце строки символ \r и заменяем последовательность пробелов (именно пробелов, а не вообще пробельных символов) на этот символ (или его отсутствие, если исходный файл с переводами *nix).

Ну и еще пара моментов. Флаг -r, расширенные регулярные выражения, просто чтобы не писать лишние бэкслеши. Флаг -i замена файла in-place, т.е. и поток будет прочитан из файла и записан в него же.

Ну и наконец команда, чтобы выполнить данную операцию для всех файлов директории.

find . -name '*.java' -exec sed -ri 's/ +(\r)?$/\1/g' \{\} \;

смена пароля postgres

noreply@blogger.com (morridzh) — Mon, 28 Nov 2011 07:08:00 +0000

Если забыт пароль рутового пользователя postgres.

1. Редактируется конфиг postgres для входа без пароля.

vim /etc/postgresql/version/main/pg_hba.conf

Должна быть строчка:

local all postgres ident sameuser

2. Перезапускаем сервис:

service postgresql-version restart

3. Логинемся в postgres:

sudo su postgres -c psql template

4. Меняем пароль:

ALTER USER postgres with PASSWORD 'password';

5. Меняем строчку в pg_hba.conf обратно. Например:

local all postgres md5 sameuser

Тестирование скорости записи

noreply@blogger.com (morridzh) — Fri, 18 Nov 2011 18:33:00 +0000

Случайно наткнулся, отличная заметка как узнать скорость записи на диск в linux.

http://romanrm.ru/en/dd-benchmark

"Пул" процессов в bash

noreply@blogger.com (morridzh) — Thu, 14 Jul 2011 08:05:00 +0000

Интересный способ имитации пула процессов найден с помощью команды xargs.

Известно, что эта команда может выполнить некую процедуру для каждого элемента из входного списка (stdin). Оказывается, она способна выполнять процедуру не последовательно для каждого элемента, а поддерживать выполнение заданного количество копий. Т.е. если на входе у нас 1 2 3 4 5 6 7 8 9 10 и мы хотим одновременное выполнение 4 процессов, то xargs сразу же запустит 4 процесса для 1 2 3 4 и как только кто-то из них завершит выполнение запустит новый уже с аргументом 5 и так далее.

Очень удобно, на самом деле, в некоторых случая. В общем, все просто - опция --max-procs.

Создание "разреженного" (sparse) файла

noreply@blogger.com (morridzh) — Thu, 05 May 2011 18:49:00 +0000

Для виртуальной машины требуется создать образ диска в файле. Чтобы это быстрее сделать (если образ большой), и файл занимал меньше места на диске, можно создать "разреженный" файл. Делается так:


dd if=/dev/zero of=myimage.img bs=1 count=0 seek=16G

В данном случае размер образа 16G, но пока он не будет использован, на диске места он не займет.

Подсветка типов файлов в mc

noreply@blogger.com (morridzh) — Thu, 05 May 2011 18:45:00 +0000

В относительно свежих версия ubuntu, например, в стабильной 10.04 у mc поломана функция раскраски файлов разных типов. Починяется так:


apt-get source mc
sudo cp mc-4.7.0/misc/filehighlight.ini /usr/share/mc

Если не работает apt-get source нужно поставить пакет dpkg-dev

midnight commander и двойной путь

noreply@blogger.com (morridzh) — Mon, 21 Feb 2011 08:57:00 +0000

Midnight Commander дважды выводит путь своей командной строке (та что снизу). Если путь получается длинный - то он начинает занимать всю ширину экрана, а на собственно команду не остается места. Сей глюк проявляется только в терминальный программах (в консоли все отлично).
Решение найдено на убунтовском форуме.

Звук по завершении долгой консольной команды

noreply@blogger.com (morridzh) — Fri, 29 Oct 2010 08:29:00 +0000

Допустим, нужно выполнить в терминале команду, которая выполняется достаточно долго, чтобы ее дожидаться ничем больше не занимаясь. В тоже время, бывает такая потребность, что как только команда выполнится нужно сделать какое-то следующее действие. Ну и вообще, просто чтобы не забыть, что она вообще там выполняется.
Придумано такое решение. Можно в командной строке указать, что после требуемой команды выполнить еще одну, которая ... подаст звуковой сигнал!
В простейшем случае воспроизвести звук из терминала можно командой beep. Чтобы не спутать звук, с обычным сигналом bell из терминала, в параметрах beep можно указать длительность и частоту звука. Звук будет воспроизведен через встроенный динамик (pc speaker).
Пример:


do_time_consuming_task; beep -f 1000 -l 500 -r 3

upd В xterm обнаружилась интересная функция. Называется PopupOnBell, в простейшем случае активируется при запуске с ключом -pob. В таком режиме, если на терминал выводится символ ASCII BELL (код 0x07 или 8-ричный 007), то окно терминала уведомляет менеджер о наличии активности (точно не знаю как назвать), после чего Desktop Manager, например, Gnome отображает кнопку такого окна на панели задач мигающей (примерно так, как если свернутый Instant Messanger получает новое сообщение).
Соответственно, можно, например, чтобы каждый раз, как shell в терминале получает управление (выводит приглашение) терминал сообщал о активности.


PS1="\\007$PS1"
sleep 5

Если выполнить эти команды, а потом свернуть окно xterm, то через 5 секунд оно замигает в панели задач.

upd #2 Аналогичное решение для gnome-terminal.

Длинная командная строка через xargs

noreply@blogger.com (morridzh) — Wed, 20 Oct 2010 12:46:00 +0000

Иногда приходится выполнить команду с таким количеством аргументов, что '*' (звездочка) уже не работает - shell пытается создать слишком длинную командную строку. Выход - разбить список на несколько более мелких и выполнить команду для каждого из них. В том числе и для этого создана команда xargs.
Она получает список из stdin и выполняет переданную ей команду подставляя список в качестве ее аргументов. Для разбития списка на куски есть разные опции (-n или -s).
Но до сего момента я не подозревал, что список аргументов может быть не в самом конце нужной команды, но и в любом месте.
Для примера. Если нужно скопировать кучу файлов и cp * <dest> не работает. Пробуем писать:

ls * | xargs -n 1000 cp /dest

И оно тоже не будет работать, потому как список аргументов от xargs будет подставлен в конец команды cp и в итоге будет выглядеть примерно как:


cp /dest arg1 arg2 ... argn

Как поместить список аргументов в нужное место? А вот это в man'е не совсем очевидно при первом прочтении. А в итоге нужно делать так:


ls * | xargs -n 1000 -I FILES cp FILES dest

Что тут происходит? Опция -I сообщает xargs, что если подстрока 'FILES' встретится где-либо в части исполняемой команды (initial arguments), то именно в это место и нужно раскрыть список аргументов из stdin.

Консольная мышь

noreply@blogger.com (morridzh) — Mon, 18 Oct 2010 07:39:00 +0000

Заимев в пользование IP-KVM, осознал потребность в консольной мыше. Для этой цели в ubuntu наличествует пакет gpm.

apt-get install gpm

Удалить старые файлы и папки в корзину

noreply@blogger.com (morridzh) — Fri, 02 Apr 2010 12:34:00 +0000

Надоело чистить папку downloads руками? Можно добавить в crontab такую строчку:

/usr/bin/find /home/user/downloads/ -maxdepth 1 -ctime +30 -exec trash {} ;

Действует она просто - удаляет в коризну все файлы старше 30 дней из подкаталога downloads домашнего каталога. У меня настроен ее запуск при перезагрузке.

Считать пароль с клавиатуры

noreply@blogger.com (morridzh) — Wed, 10 Feb 2010 11:23:00 +0000

Как считать некий текст с клавиатуры, без его отображения на терминале? Для этого у внутренней bash'евской команды read есть специальный ключ -s (silent). Если в качестве последнего аргумента не указано имя переменной, куда нужно поместить результат, то результат помещается в переменную REPLY.
А нужно это было примерно для такого:


read -s && adduser2custombase.pl newuser $REPLY

После выполнения в терминале этой строчки приглашался пользователь, который задавал свой пароль.

посчитать кол-во некоторого символа в файле

noreply@blogger.com (morridzh) — Thu, 10 Dec 2009 12:59:00 +0000

Допустим, ищем количество запятых (,) в файле. Нашел в интернете несколько решений:

awk '{c+=gsub(s,s)}END{print c}' s=',' input.txt

```
grep -o \, input.txt | wc -l
```

```
tr -dc \, < input.txt | wc -c
```

Обновить список UUID дисков

noreply@blogger.com (morridzh) — Thu, 12 Nov 2009 05:59:00 +0000

Если создать новый раздел на диске, то список UUID известных ядру не обновляется. Т.е. несмотря на то, что UUID уже есть (как посмотреть), раздел не монтируется по идентификатору. Чтобы список UUID обновить нужно выполнить команду:


udevtrigger

Посчитать количество повторяющихся строк

noreply@blogger.com (morridzh) — Mon, 26 Oct 2009 12:51:00 +0000

Например, есть файл с таким содержимым:


A
B
A
C
B
A

Нужно получить такое:


A - 3
B - 2
C - 1

Можно это сделать с помощью awk, но еще проще сделать с помощью утилиты uniq с ключом -c.

сконвертить секунды unix в человеческий формат

noreply@blogger.com (morridzh) — Wed, 21 Oct 2009 09:49:00 +0000

Как, например, преобразовать число 1256118655, являющееся количеством секунд с начала Эпохи в нормальное представление?
Вот такой командой:


date -d @1256118655

Т.е. - отобразить (-d) дату, заданную строкой @1256118655. Здесь именно '@' указывает, что исходное число - unix time. А в man date об этом не сказано. Но зато сказано в info date. В этом отличие команды GNU date от аналогичной в BSD. Там формат исходой даты можно задавать явно, а в линукс команда в большинстве случае догадывается и парсит его сама, за исключением вот таких особых случаев, когда ей нужно явно на это намекнуть.

Рекурсивное назначение прав для директорий

noreply@blogger.com (morridzh) — Tue, 06 Oct 2009 06:14:00 +0000

Если нужно раздать права для всего дерева, но чтобы атрибут "x" прописался только для директорий можно использовать такую команду:


chmod -R +rwX somepath/

Раньше я пользовался для этих целей чуть более сложной конструкцией


find somepath/ -type f -exec chmod +rw \{\} \;
find somepath/ -type d -exec chmod +rwx \{\} \;

32-bit приложения на x64 ubuntu

noreply@blogger.com (morridzh) — Thu, 16 Jul 2009 06:19:00 +0000

Чтобы был возможен запуск старых бинарных 32-битных приложений под 64-битной убунтой нужно доустановить мета-пакет ia32-libs.

самосборные модули ядра

noreply@blogger.com (morridzh) — Wed, 15 Jul 2009 12:45:00 +0000

Пытался поставить ubuntu на сервер с Intel'овской платой (S5500BC), но оказалось, что имеющийся на плате soft-raid не поддерживается даже самой свежей версией ubuntu (не говоря уж о 8.04 LTS, которая не увидела даже DVD-дисковод).
На сайте Intel драйвера только для RedHat/SuSE. Однако, оказалось, что драйвер можно пересобрать и для другого конкретного ядра. Итак, вот такие шаги:

Скачал и распаковал драйвер

Прочитал The Linux Kernel Module Programming Guide откуда понял, что в прилагающемся Makefile не хватает собственно двух строк:
all: make -C /lib/modules/$(shell uname -r)/build M=$(PWD) modules clean: make -C /lib/modules/$(shell uname -r)/build M=$(PWD) clean
С первой попытки компиляция не удалась. Смысл я до конца не понял, но двух словах - версии ядра в убунту в пределах релиза не увеличиваются, хотя фичи в них встраивают новые, от свежих ядер. Нашел в исходниках директивы условной компиляции, где проверялась версия ядра, исправил циферки, чтобы "как бы старое" ядро распознавалось как "как бы новое". После этого все собралось.
Копируем файл в модули (в моем случае /lib/modules/<kversion>/kernel/drivers/scsi/)

Выполняем depmod -a

В-принципе, все. Если бы это был модуль не-дискового устройства. Для дисковых устройств нужно поместить модуль в initramfs. Для этого в /etc/initramfs-tools/initramfs.conf меняем MODULES=most, на MODULES=list, а в файл /etc/initramfs-tools/modules помещаем список все нужных модулей (можно посмотреть на работающей системе через lsmod).
Потом нужно пересобрать initramfs образ командой update-initramfs -u.

Комментарии:

Собирать драйвер можно на уже работющей системе с таким же ядром (к счастью у меня такая машина была)

Понятно, что если корневая система на изначально доступном блочном устройстве, то помещать модуль в initramfs не обязательно, можно просто прописать его загрузку в /etc/modules)

Программное перемещение в корзину

noreply@blogger.com (morridzh) — Tue, 07 Jul 2009 07:54:00 +0000

Нашел такой пакет - trash. Позволяет управлять корзиной из скриптов. Таким образом настроил автоматическое удаление старых файлов из downloads в корзину.

Мониторинг системы 2

noreply@blogger.com (morridzh) — Tue, 05 May 2009 11:27:00 +0000

Утилита sar, о которой я уже упоминал собирает довольно большой набор статистики, но результаты доступны для просмотра только в текстовом виде. Удобнее, по крайней мере часть этих данных, отображать в графической форме. Нашел скрипт sar2rrd.
Позволяет создавать на основе текстового вывода команды sar три набора файлов - rrd, xml и png. В png содержаться уже готовые графики. В качестве аргументов указывается диапазон времени, за который будет построен график, интервал агрегации данных ну и собственно по каким подсистемам (процессор, память, сеть) строить графики и какие параметры из доступных с помощью sar на них отображать.

имя файла, путь, расширение

noreply@blogger.com (morridzh) — Tue, 21 Apr 2009 13:17:00 +0000

Полезно при написании скриптов на bash, которые конвертят и/или переносят файлы.
Имеется полное имя файла. Как извлечь разные его компоненты (отдельно путь, имя с раширением, имя без расширения, отдельно расширение)


foo=/tmp/my.dir/filename.tar.gz

path = ${foo%/*}
file = ${foo##*/}
base = ${file%%.*}
ext = ${file#*.}

При этом получается следующее:


path=/tmp/my.dir
file=filename.tar.gz
base=filename
ext=tar.gz

Первые два выражения аналогичны командам dirname и basename соответственно.

источник

кодировки в gedit

noreply@blogger.com (morridzh) — Thu, 19 Mar 2009 06:43:00 +0000

Как упростить работу в gedit с файлами в разных кодировках?

С помощью gconf-editor расширить список кодировок в ветке /apps/gedit-2/preferences/encodings/auto_detected

Установить специальный плагин, позволяющий менять кодировки на лету. Плагин нужно распаковать в ~/.gnome/gedit/plugins и активировать в gedit (Edit --> Preferences --> Plugins --> Encoding)

Подсмотрено здесь:
кодировка в текстовом редакторе Gedit

Документы Excel, OpenOffice и кодировка

noreply@blogger.com (morridzh) — Fri, 13 Mar 2009 11:42:00 +0000

В некоторых кривых Excel'евских документах русские символы при открытии их в OpenOffice Calc отображаются кракозябрами. Решение найдено такое:

Скачивается дополнение CyrTools к OpenOffice

Устанавливается (Сервис->Управление расширениями->Добавить...). Дополнение проявляет себя как новый пункт главного меню (Кириллический документ)

После открытия "кривого" документа в меню выбираем "Кириллический документ->Перекодировка документа->Латиница-1 в кириллицу"