Исследователи этимологии утверждают, что никакого отношения к оригинальному Мюнхгаузену это выражение не имеет, хотя бы потому, что во всех сборниках историй про барона вплоть до XX века герой вытаскивал себя из болота за волосы (точнее, за косичку парика); распространенное в англоязычном мире соотнесение Мюнхгаузена и bootstraps, возможно, происходит из английского или американского пересказа истории, в котором переводчик использовал уже устоявшуюся идиому. Нельзя также исключать и возможность всеобщего литературного помешательства, подобно, например, фразе «Мавр сделал своё дело, мавр может уйти», ошибочно приписываемой Шекспиру или стихотворения «Зима! крестьянин, торжествуя…», приписываемого Некрасову.

С момента выхода романа «Улисс» Джеймса Джойса в 1922 году слово «bootstrap» начало широко применяться в разговорной и письменной англо-американской речи, а бутстрапперы — люди, которые сами себя сделали — и вовсе стали частью американской национальной идеи. Впоследствии термин bootstrap неплохо прижился в статистике, бизнесе и некоторых компьютерных концепциях, например, теории компиляторов (применительно к проблеме «чем скомпилировать первый компилятор?»). И тут уже сложно отследить, кто у кого заимствовал столь емкий термин. Поэтому, возвращаясь к computer science, совершенно неудивительно, что для обозначения процесса загрузки, когда компьютер загружает мелкие куски кода, «вытягивающие» в память ЭВМ еще бОльшие программы, было применено именно это словосочетание.

Первое печатное упоминание «bootstrap» применительно к процессу загрузки компьютера встречается в руководстве по архитектуре одного из первых промышленных компьютеров под названием IBM 701 Defense Calculator, выпущенному в октябре 1953 года (сам компьютер был построен в 1952 году, всего их было сделано 12 штук). Процесс загрузки описан там следующим образом (комментарии в скобках курсивом — мои):

Еще один пример того, как программы успешно заменили железо — это загрузка (в оригинале — loading) новой программы в компьютер. На машине есть кнопка загрузки и переключатель источника данных, но они просто запускают процесс. Остальное реализовано с помощью техники, которую иногда называют «bootstrap technique» (вот оно, первое упоминание!). Положение переключателя определяет, откуда программа будет загружена — с магнитной ленты, перфокарт или барабана. Нажатие кнопки «Load» приводит к загрузке одного полного слова (одно слово — 36 бит, термин «байт» будет изобретен автором этого руководства Вернером Бухгольцем чуть позже, в 1956 году при работе над суперкомпьютером IBM 7030 Stretch) в адрес памяти, предварительно выставленный оператором на панели, после чего управление переходит к заданному адресу и компьютер автоматически стартует. Фактически, кнопка Load выполняет программу:

+ Read x
+ Set Drum 0000 (только для барабанов)
- Copy y
+ Tr   y

где x — идентификатор устройства ввода, выставленный на соответствующем селекторе, а y — адрес ячейки памяти (чётный, это важно), введенный оператором. (инструкция Tr, от «Transfer» — взять адрес следующей инструкции из половины слова по адресу, указанному в операнде). Как видите, тут просто читается слово в память и ничего больше. Однако это слово может состоять из двух инструкций, одно из которых — инструкция Copy, в свою очередь копирующая очередную пару инструкций в соответствующий адрес (при чтении в память Copy также проверяет признак конца записи, если достигнут конец, то следующая инструкция пропускается). Новые пары также копируют дальнейшие инструкции до тех пор, пока это необходимо. Каждая новая инструкция Copy, размещенная в памяти, добавляет еще одну инструкцию, так что можно построить программный цикл, который способен загрузить нужную программу в память (понятия «операционная система» тогда, конечно, не существовало)

Очевидно, для описания данного процесса более точного термина, чем bootstrap, придумать сложно :) C незначительными изменениями этот термин дожил до середины 1960х. В частности, в описании процесса загрузки Multics на компьютере GE 645 задействованы кнопка «BOOT» на панели оператора и программы bootstrap1 и bootstrap2. Процесс запуска системы напоминал документ десятилетней давности: оператор настраивает устройство загрузки (устройство считывания перфокарт или магнитных лент), подключает загрузочную кассету Multics и нажимает кнопку BOOT. С кассеты загружается в память и выполняется программа bootstrap1, которая выделяет дополнительные сегменты памяти по фиксированным адресам, настраивает векторы прерываний, загружает с этой же кассеты bootstrap2 и передаёт ей управление. Bootstrap2, в свою очередь, загружает еще несколько программ и в итоге все заканчивается запуском init_proc в кольце защиты ring1 (тогда как в ring0 выполняется сама операционная система). С подробностями этого захватывающего процесса можно познакомиться на странице Multics Bootstrap Loading.

Еще несколько лет после Multics компьютеры загружались в таком же полуручном режиме, когда оператор должен на пульте выставить адрес программы, считывающей загрузчик из медленной внешней памяти в определенный адрес RAM, и затем нажать спец.кнопку, после чего программа будет считана в память и выполнена. В частности, страница документации Boot procedures» (страница 5 PDF-файла по ссылке) первой версии Unix описывает такую последовательность действий для «холодной» загрузки ОС на легендарном PDP-11/20: (обратите внимание, как bootstrap уже сократилось до boot и склоняется в различных вариациях):

- подключить ленту UNIX Init DECtape, перемотанную в конец, в привод 0;
- выставить на переключателях адрес 173740, нажать «load address»;
- выставить на переключателях «1″, нажать кнопку «start»

В адрес памяти 0 с ленты будет прочитана программа vcboot, которая загрузит с той же ленты в адрес памяти 0 программу vcboot и передаст ей управление; vcboot прочитает, скопирует в память еще 16к слов с ленты, этим будет проинициализирована read-only часть памяти. Затем будет считана и выполнена программа bos (Bootstrap Operating System), которая, в свою очередь, выполнит процедуру «Cold UNIX». Cold UNIX дождется подтверждения от оператора (нажатия кнопки «continue» на пульте), после чего инициализирует RF-диск (не совсем понял, что это такое). Далее запускается из 33 блока запускается процедура, которая прочитает инициализационные файлы с ленты и только затем запустит init.

И лишь с распространением мини- и микрокомпьютеров и появлением нормальной постоянной энергонезависимой памяти в середине 1970-х годов программы загрузки начали помещать в ROM. Уже в документации Unix v6, датируемой 11 февраля 1975 года и работающей на PDP-11/45 с программируемыми чипами ROM, описывается загрузка с использованием загрузчика в ПЗУ:
- программа tp помещает в неиспользуемый нулевой блок ленты программу tboot или mboot (в зависимости от типа ленты — DECtape или magtape)
- при загрузке ROM считывает программу загрузки с ленты, помещает ее в адрес памяти 0 и передаёт ей управление; в конечном итоге запускается init.
- если ROM отсутствует, оператору предлагается самостоятельно внести программу чтения программы с 0 адреса ленты в память путем выставления переключателей на пульте. Тем не менее, это уже большой шаг вперед по сравнению с первыми версиями Unix.

А микрокомпьютер Apple I, выпущенный в 1976 году, вообще содержал чип PROM, полностью искоренявший необходимость в контроле пользователя над процессом загрузки. Правда, настройки оборудования были жестко вшиты в загрузчик, так что заменить поставляемую с компьютером операционную систему на другую не представлялось возможным. Да и железо нельзя было просто так поменять.

Но это, пожалуй, совсем другая история, а американская обувная поговорка начала 19 века так и прижилась в computer science.

Функциональность запуска скриптов, содержащих путь к интерпретатору в заголовке «#!», теперь может быть собрана в виде модуля ядра, что позволяет легко запретить выполнение скриптов как программ.

Воображение быстро нарисовало переменные ядра, в которые можно записать пути к разрешенным и запрещенным интерпретаторам, еще переменные, позволяющие расширенно настраивать парсинг аргументов… Всё оказалось гораздо проще.

С момента вынесения функциональности по парсингу she-bang из fs/exec.c в отдельный модуль fs/binfmt_script.c в linux-1.3.71 в fs/Makefile вплоть до недавнего времени было написано следующее:

# binfmt_script is always there
BINFMTS += binfmt_script.o

Было это в 1996 году.

И только в 2013 году, в эпоху бурного развития встроенных систем, кому-то наконец понадобилось отключать поддержку выполнения внешних (по отношению к ядру) скриптов. Весь коммит, реализующий это, фактически только добавляет одну опцию в menuconfig и ничего больше.

И никаких sysctl’ов.

while(<>){
# do something with line
    chomp;
    print "got line: [$line]"\n;
}

Проблема в том, что для открытия файлов perl использует встроенный оператор open в форме с двумя аргументами (например, open FH, "$file" где имя файла содержит и режим доступа к нему). Если название файла содержит идентификатор режима доступа, интерпретируемый функцией open ("| cmd", "cmd |" или "> /path/to/file"), то вместо чтения файла выполнится соответствующая команда или файл перезапишется. Так что если приведенный чуть выше код записать в файл под названием getline.pl и выполнить с аргументом "| rm -rf /", то произойдет сами понимаете что.

Выстрелить себе в ногу легко, еще проще этого избежать:
– использовать ключ -T, запрещающий использовать непроверенные данные;
– использовать ключ -i .backup, интерпретирующий все переданные аргументы как файлы;
– преобразовывать @ARGV перед обработкой файлов, как это сделано в ARGV::readonly;
– не использовать конструкцию while(<>) в критичных скриптах;
– иногда перечитывать perlsec.

Такие дела.

with open('/tmp/fail','w') as f:
   f.write(u'привет!')

вываливается исключение:

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-6: ordinal not in range(128)

можно не перечитывать судорожно Python Unicode HOWTO, а открывать файл с помощью функции codecs.open, обеспечивающей прозрачное перекодирование из внутреннего формата python в нужную кодировку:

import codecs
with codecs.open('/tmp/success','w','utf-8') as f:
   f.write(u'привет!')

• включен по умолчанию режим upstream certs (когда mitmproxy получает детали сертификата у родительского сервера);
• добавлен специальный WSGI-контейнер для размещения веб-приложений прямо внутри прокси;
• поддержка полностью прозрачного проксирования для Linux и OSX;
• часть кода вынесена в общую для mitmproxy и веб-сервера pathod библиотеку netlib;
• полная поддержка SNI — расширения протокола TLS, в котором клиент имеет возможность указать, имя хоста, к которому он подключается;
• цветовые схемы оформления для светлых и тёмных терминалов;
• запись потоков в файл по мере поступления (кнопка «W»);
• в язык фильтров добавлены операторы ~d (поиск по домену) и ~a (по содержимому: js, css, изображения);
• режим следования («F»), для слежения за потоками по мере их поступления а-ля tail -f;
• опция –dummy-certs для указания и сохранения каталога dummy-сертификатов;
• воспроизведение потока сервера из текущего буфера;
• множество улучшений в просмотрщике контента, теперь есть вьюеры для AMF, HTML, JSON, Javascript, изображений, XML, URL-encoded форм, а также шестнадцатеричный режим и режим «сырого» просмотра;
• возможность установки дополнительных заголовков, которые добавляются к запросам и ответам при соответствии шаблонам;
• графический редактор компонентов пути;
• набор стандартных строк User-Agent, которые можно использовать в редакторе заголовков;
• аутентификация для ограничения доступа к прокси;

Также анонсирован выход HTTP-сервера Pathod 0.9.

Общепринятые инструменты, прослушивающие трафик (tcpdump, ngrep, tshark), либо не поддерживают http в полной мере (хочется, как минимум, нормальное отображение заголовков по одному на строке и отображение сжатого gzip или deflate контента), либо в силу своей универсальности слишком сложны в настройке и использовании в контексте конкретной задачи (wireshark). Да и не всегда есть возможность перевести интерфейс в состояние promisc, чтобы получать трафик, хотя бы по причине недостатка прав.

Установка nginx, squid, 3proxy или любого другого известного прокси-сервера также связана с многими трудностями, да и не везде можно нормально настроить полное журналирование заголовков запросов и ответов.

Идеальным решением был бы сервис, работающий как HTTP-прокси, способный работать с правами пользователя, не требующий множества действий для конфигурации логов и запуска, отображающий куда-нибудь заголовки запросов и ответов в человекочитаемом формате, а при необходимости — и тела запросов и ответов.

После недолгих поисков нашел инструмент, идеально соответствующий таким требованиям: mitmproxy — прокси-сервер, написанный на Python, умеющий перехватывать HTTP и HTTPS, менять трафик на лету, воспроизводить записанный трафик, декодировать и отображать основные типы документов. Под катом — подробный обзор.

Для его запуска необходимо всего ничего:

- поставить mitmproxy одним из способов:

sudo aptitude install mitmproxy

или

easy_install mitmproxy

или

pip install mitmproxy

или

wget -O - http://mitmproxy.org/download/mitmproxy-0.8.1.tar.gz |tar -xf -
cd mitmproxy-0.8.1
python setup.py build
python setup.py install

Последние три годятся даже в случае, когда нет root’а на машине и окружение python установлено локально, например, по этому руководству;

- запустить в режиме прокси-сервера:

mitmproxy -p 3128 -a 127.0.0.1

Если все зависимости установлены, появится пустое окно, выйти из него можно по кнопке Q или Ctrl+C, а по знаку вопроса «?» можно получить справку;

- указать своему приложению использовать прокси для HTTP и HTTPS, например, с помощью переменных окружения:

$ HTTP_PROXY=http://127.0.0.1:3128 HTTPS_PROXY=http://127.0.0.1:3128 python testproxy.py

Теперь, если все сделано правильно, в окне mitmproxy появится лог запросов.

Чтобы не быть голословным, приведу пример небольшого скрипта с микротестом сервиса отладки запросов httpbin.com. Для его запуска требуется установленная библиотека requests. Код неидеален, т.к. его цель — не протестировать весь httpbin.com, а просто проиллюстрировать работу прокси-сервера:

После того, как я запустил скрипт указанным выше способом, в mitmproxy появились запросы:

По ним можно перемещаться стрелками и выбирать для просмотра нажатием кнопки Enter:

Между вкладками Request/Response можно перемещаться кнопкой Tab. Перехваченный Response:

Выход в основное окно — «q», очистка истории запросов, если их много — «C». Отфильтровать запросы по регэкспу — кнопка «l» (первая буква в слове «limit»).

С помощью фильтра i можно перехватывать и задерживать запросы по различным условиям и оперативно исправлять в них данные или вовсе обрывать. Например, я нажал кнопку «i», задал выражение «post», и при отправке запроса к httpbin.com/post соединение было приостановлено до одобрения. Одобрить можно отдельно request и response, предварительно отредактировав нужные данные. На скриншоте я одобрил request, а response сейчас будем редактировать (всё это время скрипт ожидает соединения).

Нажал «e», внизу появился выбор, что редактируем: код и сообщение ответа («HTTP 200 OK»), заголовок или тело ответа. В скриншоте выбрано тело ответа:

В args с помощью внешнего редактора (конечно, vim) заменили "q": "1" на "q": "100500":

И нажали «a». В результате соединение завершилось, клиенту вернулся «неправильный» ответ и тестовая функция завершилось с ошибкой:

$ HTTP_PROXY=http://localhost:3128 HTTPS_PROXY=http://localhost:3128 python u.py
F
======================================================================
FAIL: test_cookie_post (__main__.TestHttpBin)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "u.py", line 19, in test_cookie_post
    self.assertEqual(response.json()['args']['q'], '1')
AssertionError: u'100500' != '1'

----------------------------------------------------------------------
Ran 1 test in 53.721s

FAILED (failures=1)

Конечно, сидеть и вручную переписывать данные неправильно (да и вообще неправильно переписывать данные, но мы тестировщики, нам можно), поэтому mitmproxy предоставляет возможность автоматического исправления пропускаемого трафика. Подробно эти и многие другие возможности описаны в документации.

Такой функциональности было бы более чем достаточно для отладки небраузерных HTTP-клиентов, однако аббревиатура «MiTM» (man in the middle) всё же ассоциируется с перехватом SSL-трафика, и тут mitmproxy на высоте! Указав дополнительную переменную окружения

HTTPS_PROXY=http://localhost:3128

, можно перенаправить все запросы к https через запущенный прокси, и они также будут видны. Конечно, при этом клиенту будет отдаваться самоподписанный сертификат, и нормальная ssl-библиотека будет ругаться на неправильную подпись, однако в отладочных целях можно подавить эту ругань (опция ‘verify=None’ у requests), а в Firefox и вовсе импортировать сертификат CA mitmproxy, как написано здесь.

Вкратце коснусь некоторых фич mitmproxy, полезных в основном для тестировщиков, особенно для pen-tester’ов:
- anticache: подавление заголовков if-modified-since и if-none-match в запросе, таким образом гарантируется полный ответ от сервера, даже если браузер сообщает, что документ есть в кэше;
- client-side replay: можно записывать трафик от клиента к серверу и воспроизводить его, например, записать сессию получения каких-нибудь данных и при необходимости получать их, почти полностью имитируя при этом клиента;
- server-side replay: можно воспроизводить для клиента записанные ранее ответы от сервера, если параметры и/или заголовки запроса соответствуют заданным;
- замены: можно заменять один текст на другой в разных местах. В документации предлагается use-case для этой фичи: заменять XSS на длинный код эксплойта из файла;
- добавление дополнительных заголовков, кук или авторизации ко всем проксируемым запросам
- режим reverse proxy, когда все запросы отсылаются к вышестоящему серверу. В таком режиме mitmproxy можно использовать как временную прослойку между nginx и http upstream и в реальном времени наблюдать и перехватывать запросы. Конечно исключительно в режиме отладки или на тестовом сервере, в production такое пускать нельзя из-за периодических падений.

Удачной отладки!

P.S. Если при запуске mitmproxy возникает ошибка импорта Image из PIL, например:

Traceback (most recent call last):
  File "/home/user/bin/mitmproxy", line 5, in 
....
  File "/home/user/lib/python2.7/site-packages/mitmproxy-0.8.1-py2.7.egg/libmproxy/console/flowview.py", line 18, in 
    import common, grideditor, contentview
  File "/home/user/lib/python2.7/site-packages/mitmproxy-0.8.1-py2.7.egg/libmproxy/console/contentview.py", line 3, in <module>
    from PIL import Image
ImportError: No module named PIL

это значит, что у вас устаревшая версия mitmproxy и нужно применить патч.

Также заслуживает внимания его персональная страница, содержащая некоторое количество интересных материалов об истории computer science, в частности, воспоминания участников разработки и эксплуатации первого компьютера общего назначения ENIAC. Кстати, впервые ENIAC был представлен публике ровно 67 лет назад, 14 февраля 1946 года.

Однажды, на моей позапрошлой работе (2008 год), к нам приезжал клиент из Франции, которому мы установили демо-версию нашего продукта, работавшего исключительно под RedHat 9. Продукт был русский, локаль для всех иностранных клиентов была en_US, и выяснилось, что региональные настройки не соответствовали французскому языку и, в частности, французской раскладке AZERTY. Я тогда битый час, сидя за этим ноутом, разбирался в редхатовских скриптах loadkeys, setsysfont, setfont, consolechars, вызывавших друг друга по очереди, параллельно пытаясь привыкнуть к непривычному расположению клавиш a, z, q и m, а также необходимости нажимать Shift для ввода цифр и не нажимать его для ввода двоеточия и вертикальной палки «|». Правда, удобство ввода двоеточия «:» в vim меня очень впечатлило и я даже начал что-то подозревать о причинах использования именно его для перехода в командный режим. Короче говоря, локаль поменял, раскладку настроил и клиент уехал довольный тестировать результаты наших усилий.

Под впечатлением от французской чудо-клавиатуры, вспомнив заодно известную статью Артемия Лебедева «трагедия запятой», поменял обычную русскую раскладку на «русская печатная машинка». Процесс привыкания к новым кнопкам занял неделю: спинной мозг боролся с необычным расположением спецсимволов, зато через полтора месяца эксперимента выяснилось, что набирать русские нетехнические тексты стало намного удобнее: для ввода знаков препинания, использующихся в русском языке чаще, чем в английском, не требуется нажимать Alt, Shift или что-нибудь ещё, и расположение буквы «Ё» гораздо лучше (слева от правого шифта). С тех пор и использую эту раскладку.

Кстати, в вышеупомянутом параграфе Лебедев грешит против истины в отступлении «Существует раскладка, имитирующая русскую пишущую машинку. Ее отличие в том, что знаки препинания находятся в верхнем ряду клавиш, но не в нижнем регистре. Это еще хуже, потому что в этом случае и точку надо набирать с подъемом каретки (shift).» Наоборот, в этой раскладке спецсимволы доступны как раз в нижнем регистре.

P.S. на самом деле двоеточие для перехода в командный режим vim пришло из vi, автор которого, Билл Джой, тестировал его на PDP 11/40, PDP 11/45, PDP 11/70 (см. William N. Joy, Ex reference manual, November, 1977, стр. 29­-30), для доступа к которым использовался терминал, соответствующий требованиям стандарта ANSI X4.14-1971, регламентирующего раскладки клавиатуры, например, выпущенный в 1972 году Decwriter-II LA36. На фотографии в начале поста отчетливо видно, что двоеточие находится там же, где и сейчас, и доступно в верхнем регистре, т.е. требует нажатия Shift. Аналогичную раскладку использовал и легендарный терминал DEC VT100. Поэтому домыслы о выборе двоеточия из-за его доступности в нижнем регистре подтверждения не нашли.

Помогла установка пакета linux-headers-generic, содержащего все необходимые файлы для сборки модулей ядра. Баги на launchpad: bugs.launchpad.net/ubuntu/+source/nvidia-graphics-drivers-updates/+bug/1068341, bugs.launchpad.net/ubuntu/+source/ubiquity/+bug/1068488 и далее по ссылкам.

1. Государственная дума — место для политических дискуссий;
2. Партия, которая:
— имеет своей целью обеспечение беспрепятственного прохождения абсолютно любых законопроектов в государственной думе;
— монополизировала и фактически подменила собой власть;
— законодательно обеспечила большинство в последующих думах при отсутствии фактической поддержки среди населения;
— без стеснения использует административный ресурс для обеспечения своей поддержки на выборах, явно нарушая законодательство, и ей сходит это с рук;
— указывает в своих заслугах то, что она, являясь властью, и так должна делать;
— грозит лишением федеральных денег целых регионов за то, что часть их населения не поддерживает;
— в начале своих федеральных и региональных списков указывает людей, которые заведомо не будут и не могут быть депутатами, а иногда даже и не являются членами этой партии —

не должна иметь большинство в Думе.

3. Коррупция, fail’ы космической программы, провалы конкурсов на поставки военной техники союзникам, провал совместных тихоокеанских учений с Индией, слабость внешней политики, сомнительная олимпиада — всё это тоже заслуги Единой России.

Сходите на выборы и явно выразите свое мнение, иначе неявно ваш голос отойдет этой партии.

gem install hiredis

не работает, т.к. где-то внутри жестко зашито название утилиты make, а FreeBSD-версия /usr/bin/make серьезно отличается по синтаксису от GNU Make, который все привыкли использовать, поэтому в STDERR сыпятся ошибки:

# gem install hiredis
Fetching: hiredis-0.4.1.gem (100%)
Building native extensions.  This could take a while...
ERROR:  Error installing hiredis:
	ERROR: Failed to build gem native extension.

        /usr/local/bin/ruby18 extconf.rb
"Makefile", line 11: Missing dependency operator
"Makefile", line 21: Need an operator
"Makefile", line 22: Missing dependency operator
"Makefile", line 33: Need an operator
"Makefile", line 43: Need an operator
"Makefile", line 44: Need an operator
"Makefile", line 82: Need an operator
"Makefile", line 86: Need an operator
"Makefile", line 88: warning: duplicate script for target "hiredis-example-ae" ignored
"Makefile", line 89: Need an operator
make: fatal errors encountered -- cannot continue
creating Makefile

make
cc -I. -I/usr/local/lib/ruby/1.8/amd64-freebsd8 -I/usr/local/lib/ruby/1.8/amd64-freebsd8 -I. -I/usr/include -fPIC -I/usr/include -O2 -pipe -fno-strict-aliasing -fPIC -I/usr/local/lib/ruby/gems/1.8/gems/hiredis-0.4.1/vendor/hiredis -c connection.c
cc -I. -I/usr/local/lib/ruby/1.8/amd64-freebsd8 -I/usr/local/lib/ruby/1.8/amd64-freebsd8 -I. -I/usr/include -fPIC -I/usr/include -O2 -pipe -fno-strict-aliasing  -fPIC  -I/usr/local/lib/ruby/gems/1.8/gems/hiredis-0.4.1/vendor/hiredis -c hiredis_ext.c
cc -I. -I/usr/local/lib/ruby/1.8/amd64-freebsd8 -I/usr/local/lib/ruby/1.8/amd64-freebsd8 -I. -I/usr/include    -fPIC -I/usr/include -O2 -pipe -fno-strict-aliasing -fPIC  -I/usr/local/lib/ruby/gems/1.8/gems/hiredis-0.4.1/vendor/hiredis -c reader.c
cc -shared -o hiredis_ext.so connection.o hiredis_ext.o reader.o -L. -L/usr/local/lib -Wl,-R/usr/local/lib -L. -L/usr/lib  -rpath=/usr/lib:/usr/local/lib -pthread -rdynamic /usr/local/lib/ruby/gems/1.8/gems/hiredis-0.4.1/vendor/hiredis/libhiredis.a -Wl,-soname,hiredis_ext.so   -Wl,-R -Wl,/usr/local/lib -L/usr/local/lib -lruby18  -lcrypt -lm -L/usr/lib  -rpath=/usr/lib:/usr/local/lib -pthread
cc: /usr/local/lib/ruby/gems/1.8/gems/hiredis-0.4.1/vendor/hiredis/libhiredis.a: No such file or directory
*** Error code 1

Stop in /usr/local/lib/ruby/gems/1.8/gems/hiredis-0.4.1/ext/hiredis_ext.

Gem files will remain installed in /usr/local/lib/ruby/gems/1.8/gems/hiredis-0.4.1 for inspection.
Results logged to /usr/local/lib/ruby/gems/1.8/gems/hiredis-0.4.1/ext/hiredis_ext/gem_make.out

GNU-версия make в freebsd называется gmake. Чтобы исправить вызов make в gem’е, пришлось его пересобрать. Вот полная версия установки пакета:

$ mkdir ~/hiredis && cd ~/hiredis
$ gem fetch hiredis  # в текущем каталоге появляется файл hiredis-0.4.1.gem
Downloaded hiredis-0.4.1
$ gem unpack hiredis-0.4.1.gem
Unpacked gem: '/home/bvk/hiredis/hiredis-0.4.1'
$ gem spec  hiredis-0.4.1.gem > hiredis.spec # извлекли спецификацию gem'а, по которой будем собирать пакет
$ cd hiredis-0.4.1
# тут в ext/hiredis_ext/extconf.rb нужно поменять "make static" на "gmake static",
# а в Rakefile "make clean" на "gmake clean"
# собираем пакет
$ gem build ../hiredis.spec
WARNING:  description and summary are identical
  Successfully built RubyGem
  Name: hiredis
  Version: 0.4.1
  File: hiredis-0.4.1.gem
# устанавливаем
$ sudo gem install hiredis-0.4.1.gem
Building native extensions.  This could take a while...
Successfully installed hiredis-0.4.1
1 gem installed
Installing ri documentation for hiredis-0.4.1...
Installing RDoc documentation for hiredis-0.4.1...

Теперь внимательно читаем porters handbook, делаем порт и далее действуем по правилам.

У них было два сервера, один в интернете показывал контент посетителям, а второй располагался в офисе и содержал интерфейс администрирования сайта. Все хозяйство работало под FreeBSD 6.1 на очень стареньких машинах, на основном сервере был Pentium 3 и 384 мегабайта памяти (однако много лет назад о такой конфигурации можно было лишь помечтать). Apache 2.2.2 вёл лог посещений в режиме «combined», а по ночам всё накопленное за последние сутки обрабатывалось штатной программкой logresolve (преобразовывает IP-адреса посетителей в имена хостов) и копировалось в отдельный файл resolved.log. Затем офисный сервер забирал получившийся файл по HTTP (в целях безопасности все «альтернативные» способы обмена файлами решили не использовать) и парсил его awstats’ом. Такая вот нехитрая схемка. Но проработала она ровно два месяца до середины декабря 2006 года и перестала.

Кроме нескольких программных ошибок обнаружилось еще пара стратегических провалов. Во-первых, офисный сервер иногда отключался из-за проблем с электричеством, и лог не забирался вовремя, а на следующий день просто дополнялся; после двух-трёх пропущенных дней файл с логами разросся до таких размеров, что даже в сжатом виде слишком долго передавался бы по http, и забирающий скрипт просто отваливался по таймауту. Во-вторых, установленный там logresolve натурально портил логи: читал из строки первые 1024 байта, обрабатывал IP-адрес и печатал их в STDOUT, завершив переводом строки; затем читались следующие 1024 байта и т.д. В результате строки, содержащие, например, длинные реферрерские URL, оказались разбитыми на несколько строк по 1024 байта каждая, что, возможно, не имело значения для awstats, но крайне затрудняло дополнительную обработку такого лога.

В итоге с декабря 2006 года лог-файл увеличился в размерах до полутора гигабайт. Я решил, что лучше его разбить на месяцы и скормить эти месяцы парсеру поочерёдно, однако сначала нужно было разобраться с лишними разрывами строк. Быстренько набросал однострочник на sed, который удаляет лишние переводы строк, если в третьем поле не содержится даты.

Однако несмотря на то, что на как на небольших, так и на довольно больших отрывках resolved.log данный скриптик отрабатывал относительно нормально, из реального лога читались только первые 170 мегабайт с копейками и скрипт надолго зависал. Решил, что, возможно, чего-то не учёл из-за малого опыта написания такого рода сценариев на sed, и переделал тот же самый алгоритм на perl и c — безуспешно: после прочтения первых 170 мегабайт ничего не происходило.

my $b='';
while(<>){
        chomp;
        if(/\[[0-9]+\/[a-zA-Z]+\/[0-9:]+\ \+0300\]/){
                print "$b\n";
                $b=$_;
        } else {
                $b.=$_
        }
}
print "$b\n";

Я несколько раз прогнал эти скрипты через valgrind с максимальными проверками утечек, избавился от некоторых ошибок, в конце концов перечитал кучу документации по freebsd на тему возможных ограничений на размер процесса в памяти (хотя больше восьми килобайт программа в памяти не занимала) и т.д. В общем, на два дня выпал из жизни, проводя это время в отладке…

В конце концов нашел причину моих мучений: в регулярном выражении, определявшем признак начала записи лога, была жестко прописана временная зона +0300, тогда как при переходе на летнее время она изменялась на +0400. Поэтому, когда цикл доходил до марта 2007 года, несколько сотен тысяч строк до следующего октября просто пропускались, а поскольку сервер был медленный, то на Ctrl+C и kill -TERM скрипты реагировали не сразу, и тем создавалось ощущение зависания.

После того, как я исправил этот регэксп, всё пошло как по маслу: скормил awstats’у старые логи, прикрутил logrotate, научил скрипты забирать статистику через scp; параллельно крону поставил anacron, благодаря чему забор и анализ логов стал производиться ежедневно вне зависимости от того, включен ли «офисный» сервер в 4 часа 15 минут утра. А потом и вовсе уговорил начальство поставить внешние счетчики. Теперь там стоит google analytics и все счастливы, а я немного прокачал скилл профайлинга.

Однако визуалам типа меня удобнее постоянно иметь перед глазами списки файлов и папок, а не помнить, какой файл где находится и что здесь есть еще. Кроме того, пользуясь исключительно командами cd и ls --color, можно легко проглядеть что-нибудь ненужное, типа оставшихся от vim бэкапов в текущем каталоге (если бэкапы нужны, см :help backupdir) или папок с именем из пробела.

Конечно, сначала mc производит немного гнетущее впечатление, но если разобраться и привыкнуть, то может оказаться, что даже с конфигурацией из коробки он очень облегчает жизнь разработчика и системного администратора. Поделюсь собственными хитростями, используемыми каждый день. За кадром осталось еще множество интересных фич, типа кастомной раскраски файлов в панели, смены цветовой схемы на черно-зеленую, сниппетов в редакторе mcedit, настраиваемых VFS, но поскольку я ими не пользуюсь, то ничего про них не скажу. Примеры их настроек и использования можно посмотреть в /etc/mc и в /usr/share/mc.

Сначала полезные мелочи, для многих очевидные.

• Если до mc по каким-то причинам не доходят коды кнопок Fn, их можно заменить Esc-n. А Alt, иногда перехватываемый панелью меню, успешно заменяется кнопкой Esc
• Режим просмотра файлов «Full file list» лучше, чем «Short file list». При желании можно добавить туда показ прав на объекты файловой системы, например:

  half type name | size | mtime | mode:3

• Панели подсказок над и под командной строкой внизу и меню сверху можно отключить в Options — Layout, будет больше пространства для списка файлов. Заодно там можно включить отображение свободного места в текущем разделе — очень полезно для нетбуков с мелкими экранами
• При навигации по списку файлов сочетание Ctrl+S перекидывает на файл, начинающийся с вводимых символов
• Alt+Y перекидывает в предыдущую папку. Иногда это бывает полезно при восстановлении после ошибки «The shell is already running the command», за все время существования mc ставшей его визиткой
• Встроенный редактор ужасен. В ~/.bashrc добавьте строчку export EDITOR=vim, а в пункте меню Options — Configuration снимите галку «Use internal editor». Точно так же можно использовать переменную окружения PAGER=view для просмотра файлов (опция «Use internal view»)
• Alt+I покажет текущую папку в противоположной панели, а Alt+O — папку под курсором, а если под курсором файл, то родительскую.
• Начиная с ветки midnight commander 4.7.1, в меню сортировки появилась сортировка по версиям, она работает точно так же, как ls -v, т.е. показывает список 1.2.1, 1.2.2, 1.2.10 именно в этом порядке, а не в алфавитном (1.2.1, 1.2.10, 1.2.2). Сам делал :).
• Ctrl+X c — просмотр и редактирование прав на файл
• Ctrl+X d — три варианта сравнения двух каталогов: быстрое (по спискам файлов), по размерам (то же самое, только с учетом размеров), полное (по содержимому файлов)
• Alt+C — быстрый переход в нужную папку без изменения командной строки. По Esc-Tab показывает список подстановки (в командной строке mc Esc-Tab тоже иногда работает)
• По Ctrl+\ имеется многоуровневое меню быстрого доступа к папкам, в т.ч. и через FTP и SSH. При желании его можно отредактировать вручную в ~/.mc/hotlist

На данный момент самой полезной фичей для меня является пользовательское меню. Про него я уже писал пару раз (1, 2), сейчас расскажу более подробно.

Я поддерживаю несколько сайтов под mod_perl, и после изменений в коде startup.pl необходимо перезапускать процесс apache, свой для каждого сайта. Каждый сайт находится в /home/sites/sitename, а конфиг apache для этих сайтов — в /usr/local/apache/conf/httpd-sitename.conf.

Когда мне надоело вручную писать /usr/local/apache/bin/apachectl-sitename restart после каждого изменения, в ~/.mc/menu добавились строчки:

s Restart apache for sitename
   sudo /usr/local/apache/bin/apachectl-sitename restart

Первая строка задаёт быструю клавишу и название пункта меню, а все за ней следующее — команду, в которой можно использовать ряд макро-подстановок:

• %f — имя файла под курсором, %x — расширение, %b — имя файла без расширения
• %d — каталог в активной панели, %D — каталог в неактивной панели
• %t — выбранные файлы в активной панели, %T — в неактивной

и т.д.

Потом появилось еще пять подобных пунктов, для каждого сайта. В конце концов, мне надоело выбирать стрелками нужную команду или искать в длинном списке, какая буква соответствует соответствует нужному пункту. Внимательно перечитав справку, появляющуюся при нажатии F1 в меню F2, добавил еще по строчке к каждому определению пункта меню:

+= d /home/sites/sitename | f httpd-sitename.conf
s Restart apache for sitename
   sudo /usr/local/apache/bin/apachectl-sitename restart

Первый символ «=» означает начало условия, при котором пункт меню становится активным по умолчанию (при вызове меню курсор уже стоит на этом пункте, так что остаётся только нажать Enter); если перед ним стоит +, то пункт появляется в меню только при выполнении этого условия. Следующий символ — тип условия, например:

• f шаблон — имя файла соответствует шаблону (если в начале файла меню не указана опция shell_patterns=0, то под шаблоном имеется в виду шелл-шаблон, в противном случае — регулярное выражение)
• d шаблон — текущий каталог соответствует шаблону
• t type — то, что под курсором, имеет тип:
  • n не является директорией
  • r обычный файл
  • d каталог
  • l ссылка
  • c последовательное устройство
  • b блочное устройство
  • f FIFO
  • s сокет
  • x исполняемый файл
  • t отмеченный файл

  Различные типы можно комбинировать, например, t rdl означает файл, каталог или ссылку

• остальные тесты можно подсмотреть в упомянутой справке

Условия можно комбинировать и объединять, например:

# если находимся в папке /home/sites/sitename и под курсором — файл .sql, показать этот пункт меню
+= d /home/sites/site_name & f *.sql
S import sql-file to database sitedb
   mysql sitedb < %f

Таким образом, приведенный ранее кусок означает «если находимся в каталоге сайта или стоим на конфигурационном файле apache для него, показать команду перезапуска сервера и встать на нее курсором».

Остальное — дело фантазии и техники. Достаточно подумать о том, какие рутинные действия выполняются достаточно часто, и просто автоматизировать их.