Но есть же git — ведь он поможет? Ведь поможет, да?

Git поможет!

Возникла тривиальная идея — вытащить эту информацию из гит-лога. Первый и последний коммиты — плюс-минус дадут требуемые рамки. Достаточно найти все коммиты определённого автора (в данном случае — себя) и взять первый+последний.

Git alias для поиска по автору

Чтобы не запоминать (или не искать в истории) довольно длинную команду — её удобно запихать в пользовательский alias (именно гита, не оболочки). Например — в ~/.gitconfig прописать (в секции [alias]):

[alias]
	first-last-by-author = "!f() { \
	 LOG=$(git log --pretty=format:\"%h%x09%an%x09%ad%x09%s\" --date=short --author=\"${1}\"); \
	 FIRST=$(echo \"${LOG}\" | head --lines=1); \
	 LAST=$(echo \"${LOG}\" | tail --lines=1); \
	 echo \"${FIRST}\"; echo \"${LAST}\"; \
	}; f"

В частном случае — это уже работает достаточно удобно и выглядит примерно так:

user@host:~/single-repo$ git first-last-by-author dmitry

f887e8aa55      Dmitry        2022-06-26
6f7a97ded7      Dmitry        2021-04-08

Когда репозиторий для поиска — один. Или парочка. Или… Нет, когда их парочка сотен — становится грустно. Идея явно требует развития!

One Function to find them all

Для решения задачи поиска по набору репозиториев — пришлось воспользоваться функциями оболочки. Они у меня сложены в отдельном файле ~/.config/bash/bash_functions.

На базе команды для обновления репозиториев и приведённого выше гит-алиаса для поиска по автору — сделал такую вот bash-функцию:

git-first-last-commit-by-author() {
	export GIT_SEARCH_AUTHOR_NAME="${1}"
	LOG=$(find . -type d -name '.git' | xargs -n1 -- \
	 sh -c 'cd "${0}/.." && git first-last-by-author "${GIT_SEARCH_AUTHOR_NAME}" | sed "/^[[:space:]]*$/d"' \
	 | sort --key=4,4 \
	)
	unset GIT_SEARCH_AUTHOR_NAME
	echo "${LOG}" | head --lines=1
	echo "${LOG}" | tail --lines=1
}

Теперь поиск работает и в общем случае (в каталоге multi-repo лежит куча git-репозиториев):

user@host:~/multi-repo$ git-first-last-commit-by-author dmitry

8f1d4ae         Dmitry        2022-08-16
83a8f89c        Dmitry        2023-02-15

Видно, что здесь порядок сортировки по датам — прямой. Мне так удобней, но всегда можно использовать ключ --reverse для sort внутри git-first-last-commit-by-author().

Задача проста — сделать удобно

1. Взять GitLab (много где используется, как self-hosted) и выкачать с него все репозитории проекта. Чтобы можно было локально работать с ними, не загружая каждый отдельно.
2. Обновлять эти репозитории одной командой

Загрузка списка репозиториев с GitLab

Тут всё несложно — надо получить сам список и по нему всё скачать. Удобнее это делать с использованием ssh ключа (добавляется в GitLab через веб-интерфейс). Но можно и git credentials включить. Сам список достаточно просто в браузере открыть и сохранить projects.json (название по умолчанию).

• Список репозиториев: https://your-gitlab-host/api/v4/projects?per_page=1000
• Или список для группы проектов: https://your-gitlab-host/api/v4/groups/{group-id}/projects?per_page=1000

group-id можно тоже через веб-интерфейс посмотреть, примерно так:

• Выкачать (в текущий каталог) репозитории по списку из файла: jq -r '.[].ssh_url_to_repo' < /path/to/projects.json | xargs -n1 git clone. Можно аналоги утилиты jq использовать, мне она привычней.
• Если авторизация по ssh-ключу не настроена — придется из json вместо поля ssh_url_to_repo извлекать поле http_url_to_repo. Можно хранить логин/пароль для GitLab в ~/.git-credentials (там они лежат в открытом виде!).

Первая часть на этом закончена. На очереди — обновление репозиториев.

Обновление списка репозиториев

Здесь всё ещё проще — достаточно одной команды. Перейти в каталог со склонированными репозиториями и выполнить:

find . -type d -name '.git' \
| xargs -n1 -- sh -c \
'cd "${0}/.." && echo \
&& basename -sa $(git rev-parse --show-toplevel) \
&& git pull --all'

Найдёт все каталоги с директорией .git внутри (а это и есть репозитории) и обновит их через git pull --all. Соответственно, каталоги, не являющиеся репозиториями, будут проигнорированы. Готово!

По итогам этой вялопротекавшей настроечной эпопеи могу сказать, что Conky я совершенно точно недооценивал. И хотя расширение при помощи LUA мне пока не пригодилось (да и возможность вывода нескольких окон с применением разных настроечных файлов тоже пока не требовалась), уже понятно, что Conky — это некий Emacs в мире системных мониторов

Меня в принципе интересовала возможность смотреть нагрузку на процессор и его температутру (поскольку ноут старый и я опасаюсь перегрева длительного), вывод свободного/занятого места на жестком диске, состояние сетевых подключений и съемных устройств (читай — флешек). Всё это реализуется простой правкой conkyrc на основе мануала. Вывод календаря с подсветкой текущей даты был утащен с форумов, еще в планах стоит вывод курсов валют с изменением относительно вчерашнего дня.

В общем-то расписывать установку Conky я не вижу особого смысла (в разных дистрибутивах может быть по-разному, а в целом сложностей нет — поставил через пакетный менеджер и пользуйся), так что просто приведу свой conkyrc с комментариями в качестве примера настройки.

Вот что сделано у меня в настройках (открыть conkyrc на отдельной странице):

• Отображается загрузка процессора, текущая рабочая частота, температура, обороты вентилятора, средняя загрузка системы. Выводится температура с датчиков на видеокарте, материнке и АКБ;
• Отображается использование ОЗУ, подкачки, нужных разделов HDD (корень и домашний раздел) без вывода типов файловых систем по ним;
• В зависимости от активного сетевого интерфеса (LAN/Wi-Fi/USB-modem) выводятся данные по подключению — активно/неактивно, уровень сигнала, прошедший через интерфейс трафик;
• Выводится календарик с подсветкой текущей даты (планировщиками типа Evolution не пользуюсь, так что его достаточно), думаю рядом с ним повесить курс валют (мне это актуально);
• В завершение всего идёт текстовый блок с подсказками по горячим клавишам, по мере отпадания необходимости в подсказке сокращаю его

Другие мои конфиги для Linux-утилит собраны на странице Конфиги / dotfiles

Порядок вывода аргументов в xargs

Как-то раз столкнулся с проблемой порядка подстановки аргументов в xargs. И man вроде почитал, и погуглил, и встретил нужный ключ -I, но ни из мана, ни из гугля не понять было точно, что он делает именно то, что надо. Итак, ключ -I задаёт нужный порядок вывода аргумента в xargs, используя подстановку.
xargs -I arg_name command arg1 arg_name arg3 — аргументы при вызове команды command будут выведены именно в таком порядке, тогда как в обычном случае arg_name будет подставлен в конец строки вызова команды.

Чтение N строк из начала файла

Совместно с предыдущим решением удобно использовать чтение из файла неких строк, которые затем и преобразовывать в набор аргументов. Банальный cat известен думаю всем. Обратный порядок — tac. Прочитать N строк с конца: tail -n N. Аналогично, но с начала файла: head -n N (возм. head отсутствует в BSD-системах). И прочтитать строки с X по Y: awk 'NR >=X && NR < =Y'
Или при помощи sed: sed -n 'X,Yp'

Прокси через SSH (ssh-туннель)

Банальная вещь, которую использую довольно редко (и потому приходится гуглить каждый раз) — прокси чеез SSH. Особенно помогает при необходимости скачать что-то с разных файлопомоек типа депозита, которые считают закачки по IP всей сети и регулярно предлагают подождать 7 часов. ssh user@host -D portN. Затем в программе, которую надо пропустить через прокси (напр. браузер) указать SOCKS-прокси с адресом localhost и портом portN.

Сохранение ключей SSH в памяти

Еще SSH: ssh-agent — хранит ключи (не требуется каждый раз вводить код от ключа), добавить ключ в агент: ssh-add /путь/до_ключа. Чтобы все процессы, запущенные из-под иксов, использовали ключи из ssh-agent, нужно запустить сессию WM через него ssh-agent, например (для Debian): в ~/.xinitrc дописать exec ssh-agent openbox-session.

Монтирование/размонитрование удалённой ФС через sshfs

Для монтирования без необходимости ввода пароля нужно настроить fuse, добавить пользователя в группу fuse и разрешить этой группе монтирование устройства /dev/fuse. Далее в дело вступает sshfs:
sshfs @:/путь /куда/монтировать
Примонтированная ФС будет доступна как локальный каталог. Размонитровать так:
fusermount -u /куда/примонтировано

Выполнение локального скрипта на удаленной машине через ssh

Чтобы не загружать на удалённую машину копию какого-то скрипта (например когда один и тот же скрипт нужно запускать на многих машинах или когда разработка идет локально, а тестирование — на сервере хостера и т.п.), можно запустить его на выполнение через ssh следующим образом:
ssh user@host 'perl' < /путь/к локальному/скрпту.pl
или для шелла bash:
ssh user@host 'bash -s' < /путь/к локальному/скрпту.sh

Создание образа CD-диска

Задача для меня тоже не слишком частая, поэтому с ходу решения не вспоминаются. Первое решение — банальное — использовать dd, указав на выход нужный файл, а на вход свой cd-rom, с которого образ снимается: dd if=/dev/sr0 of=/tmp/my.iso, CD должен быть отмонтирован; скопирует всё поблочно (т.е. если на диске реально записан 1 Мб данных, образ будет равен объёму всего диска).
Второе — использовать genisoimage, в Debian идёт из коробки, не факт, что так же везде. Создаёт «правильный» образ, диск должен быть примонтирован, на вход подавать точку монтирования диска: genisoimage -V 'disk label' -r -o /tmp/my.iso /mnt/cdrom

Прогресс работы dd

В дополнение к предыдущему или к форматированию флешки под Linux. При использовании dd на больших объемах (напр. когда флешку 16 Гб форматируешь) бывает полезно. Нужно передать сигнал USR1: kill -USR1 dd_PID — выведет прогресс записи и ее скорость. Если процесс dd один или не важно узнать прогресс конкретного, можно поступить проще: killall -USR1 dd. Для постоянного мониторинга kill можно запустить через watch: watch -n 5 kill -USR1 dd_PID — будет обновлять статус работы dd каждые 5 секунд.

Как склеить файлы построчно

Иногда возникает необходимость объединить несколько файлов построчно, например, чтобы свести их в таблицу (когда наполнение каждого столбца будущей таблицы оказалось в отдельном файле). В этом случае выручает команда paste, которая делает ровно то, что нужно — построчно склеивает файлы, разделяя строки указанным образом:
paste --delimiters=';' file1 file2 ... fileN > fileX
В результате получим fileX, выглядящий следующим образом:

строка1_из_файла1;строка1_из_файла2;...;строка1_из_файлаN
строка2_из_файла1;строка2_из_файла2;...;строка2_из_файлаN
...
строкаM_из_файла1;строкаM_из_файла2;...;строкаM_из_файлаN


Проверить подключение flash

fdisk -l
Выведет список подключенных дисков и их разделов. Обычно флешка — /dev/sdb, но нужно обязательно проверить, так ли это!

Проверить, примонтирована ли флешка

df -h
Если флешка примонтирована — покажет это и точку монтирования. Перед форматированием — отмонтировать: umount /dev/sdb.

Проверить защиту от записи и геометрию

При желании — можно проверить защиту от записи и геометрию (защита от записи в линуксе не важна):
hdparm /dev/sdb

Если нужно низкоуровневое форматирование — забить нулями

dd if=/dev/zero of=/dev/sdb
В выводе покажет объем флешки (должен соответствовать заявленному), скорость и время записи. Также покажет, сколько было записано байт на флешку, что полезно при проверке флешки на физические ошибки (см. ниже).

Проверить на физические ошибки

head -c N /dev/sdb | md5sum
head -c N /dev/zero | md5sum
где N равно числу байт, записанных на флешку при помощи dd. Если контрольные суммы не совпадают — флешка «битая» или были ошибки записи (в реальности сталкивался с форматированием microSD через плохой кард-ридер — даже когда не выскакивали ошибки ввода-вывода при операциях — контрольные суммы не совпадали, с заменой кард-ридера проблема ушла).
Пример:

dimio@ibm $ dd if=/dev/zero of=/dev/sdb
dd: запись в «/dev/sdb»: На устройстве кончилось место
3932161+0 записей считано
3932160+0 записей написано
скопировано 2013265920 байт (2,0 GB), 1010,99 c, 2,0 MB/c

dimio@ibm $ head -c 2013265920 /dev/zero | md5sum
5d0fd6273bed1c500c6fc22d86a59630  -

dimio@ibm $ head -c 2013265920 /dev/sdb | md5sum
5d0fd6273bed1c500c6fc22d86a59630  -

Ну и для полного счастья при желании:

dimio@ibm $ perl -we '
> print "OK" if q{5d0fd6273bed1c500c6fc22d86a59630}
> eq q{5d0fd6273bed1c500c6fc22d86a59630};'

OK

Разбиваем на разделы при помощи fdisk

fdisk /dev/sdb
Опции: m — справка, d — удалить раздел, p — просмотреть список разделов, n — создать раздел, t — поменять тип раздела, w — сохранить изменения.

Последний шаг — создать файловые системы на разделах флешки

mkfs.ext{2,3,4} /dev/sdbX
где X — порядковый номер раздела, на котором нужно создать файловую систему.

Также полезны

mkfs.msdos, mkfs.vfat (создаёт «стандартную» файловую систему флешек — vfat).

mkfs.ntfs — тут понятно, создаёт NTFS, не на всяком Андроид-устройстве может читаться потом.

mkfs.exfat — «расширенная fat», на старых устройствах не прочитается, зато файлы большого размера поддерживает, например (как и NTFS). В Убунте надо пакет exfatprogs поставить, чтобы создавать эту ФС.

Форматирование успешно окончено!

Если что-то осталось непонятным или есть дополнения и замечания — добро пожаловать в комментарии!