Puzan's Pages

Kotlin

2021-07-23T23:34:18+03:00

Данный материал я написал примерно год назад. Была идея переработать его, но сейчас я решил его опубликовать в изначальном виде.

Первое впечатление

После перехода в новую компанию оперативно изучил Kotlin. Главная причина — 99% проектов, с которыми связан, используют этот язык. До смены работы Kotlin видел только в докладах на конференциях и один раз писал мини-задачки в поезде по дороге с Jpoint 2018. Kotlin освоить легко. Java опыт и увлечение функциональными языками помогают в этом. Я почти влюбился в этот язык. Из-за "влюбился" и "почти", родилась идея записать мысли о Kotlin в этой статье.

Kotlin чудовищно прагматичный язык. Похоже, каждая синтаксическая конструкция родилась из практических задач, которые приходится решать разработчикам каждый день. Оригинальный конструкций мало — даже затрудняюсь назвать хотя бы одну. У создателей не было задачи удивить мир новыми подходами. Kotlin — это компиляция практик, которые выжили и доказали успех в других языках. Напоминает подходы Apple — найти рабочие решения у конкурентов и соединить в одном идеальном продукте.

"Влюбился"

Nullability

Когда пишут о Kotlin, в 90% случаях касаются темы Nullability и безопасных программ без NPE. Null safe подходами Kotlin пропитан насквозь. При этом больше впечатляет система типов с Nullable, чем синтаксический сахар, который вырос вокруг не. Прощайте @Nullable, @NotNull и, вероятно, @NonNull! А также решения, построенные на договоренностях, IDE и сторонних плагинах.

Перегрузка операторов и конвенции

Перегрузка операторов и конвенции позволяют существенно упростить код. Пример, из практики. Есть такая конструкция c DateTime:

now.isEqual(date) || now.isAfter(date)

Ее можно, конечно, смело поменять на следующую конструкцию, в попытках что-то сэкономить:

now.compareTo(date) >= 0

Но Kotlin дает простой и понятный всем (всем ведь?) вариант:

now >= date

Посмотрите внимательнее на конвенции, связанные с операторами. Они сократят и улучшат ваш код.

DSL

Двинемся дальше и чуть-чуть поговорим про DSL. Продают эту тему очень активно. Иногда кажется, что процентов 80% в Kotlin было сделано для DSL. У меня за пару месяцев использования Kotlin появилось дикое желание написать свой DSL для описания BPMN. Язык буквально подталкивает тебя к тому, чтобы все заDSLить. Вот список крутых фич, которые делают Kotlin настолько благоприятным для написания своих DSL:

Расширения
Инфиксные функции
Перегрузка операторов
Конвенции — тут еще напомню про get метод
Вынос lambda за скобки
Lambda with a receiver

И еще немного

И еще чуть-чуть про любимые конструкции:

Если все же вернутся к сахару, то ?. и ?: выглядят прекрасно. Отличная компактная замена Optional.
as? — безопасность везде, в том числе во время приведения типов.
Активно продается идея immutability через пропаганду использования val.
Почти все является выражениями: и if, и when, и try.
Data классы. Без комментариев.
А еще замечаешь, что перестал ставить ; в java на автомате.

"Почти"

Перейдем к поведениям, которые вызывают вопросы.

`also` vs `apply`

Для начала хочется отметить also vs apply. Сама фича lambda with a receiver очень крутая, но иногда она позволяет изрядно запутать код. В практике столкнулся со следующим. Дано: много сгенерированных java объектов с конструктором без аргументов и толпой getter/setter'ов (в примерах указаны только поля для экономии пространства):

class User {
    int id;
    int systemId;
    String name;
    Account account;
}

class Account {
    int id;
    String name;
}

apply позволяет вызывать конструктор с инициализацией нужных полей в достаточно компактном стиле:

val account = Account().apply {
    id = 2
    name = "Test account"
}

Выглядит красиво. Но мешанина начинается при инициализации вложенных объектов:

val user = User().apply {
    id = 1
    name = "Test user"
    account = Account().apply {
        id = 2
        name = "Test account"
        systemId = 3
    }
}

Напутать в такой структуре очень легко. Держать в голове, где какой this непросто. Есть вариант использовать labels, но код становится загроможденным. Можно заметить, что systemId никакого отношения к Account не имеет, но его смело можно обновлять в ламбде, привязанной к account. Есть DslMarker для ограничения скоупа, но он подходит в случае, если мы контролируем классы. Это доступно не всегда. Поэтому в таких случаях я считаю лучше использовать also. Чуть больше кода, но и больше понимания, что происходит.

val user = User().also { user ->
    user.id = 1
    user.name = "Test user"
    user.account = Account().also { account ->
        account.id = 2
        account.name = "Test account"
        user.systemId = 3
    }
}

Хочется, чтобы вложенные apply можно было запретить, но, к сожалению, не видел правила в линтере, которое это могло проверять во время сборки (например в detekt).

Companion object

Очень странный концепт. Существует, на мой взгляд, исключительно для того, чтобы протащить статические методы внутрь классов для полной совместимости с java. Больше похоже на подпорку и выглядит инородно. Есть вероятность, что я пока просто не полностью проникся этой идеей. Хотя есть один пример, в котором мне нравится использование компаньона:

companion object: KLogging()

Приоритет расширений

Немного вводит в замешательство то, что расширения имеют приоритет меньше чем функции в классе. Например:

class Foo {
    fun bar() = println("member")
}

fun Foo.bar() = println("extension")

fun main() {
    Foo().bar()    // Выведет "member"
}

Возникают вопросы, так как по определению кажется, что расширения призваны наращивать функциональность. И мое первое ощущение — они должны быть приоритетнее членов класса, так как в любом случае сначала определяется класс, а потом уже расширение к нему. В общем, тут следует помнить, что это не так. И обращайте внимание на предупреждения от IDEA.

Kotlin MPP

Для меня очень спорная тема. Видимо, я наелся в свое время работой с GWT и у меня автоматом есть некое недоверие к подходу: давайте на всех платформах писать на одном языке. Раньше это была Java, теперь Kotlin. Но с той разницей, что надо собрать все компоненты своими руками. Не совсем понятно как происходит дебаг в браузере — снова плагин или просто source maps? Как вводить новых разработчиков в технологию — сразу учим js и kotlin, android и kotlin и т.д.? Без знания платформы все равно не обойтись.

Nullsafe и платформенные типы

Стоит помнить, что при вызове Java из Kotlin и Kotlin из Java ничто не гарантирует null-safe на стыке языков. Нету никаких магических проверок и гарантий для не null типов. Что использовать определяем сами. Иногда надо просто довериться java коду и местами использовать не-nullable типы. Отсюда совет — почитываем код библиотек, которые используем.

Материалы

Пару слов хочется уделить материалам, которые использовал во время знакомства с Kotlin.

kotlinlang.org - вся информация по языку
https://play.kotlinlang.org/byExample - неплохой tutorial для быстрого знакомства с языком
Kotlin in Action - отличная книга закрывающая все базовые концепции Kotlin. Читал английское издание, воспринимается очень легко.

И в конце

Есть несколько тем, которые я пока обошел стороной. Очень хочется посмотреть, как работают корутины. Также в закладках лежит книга Effective Kotlin — надеюсь из нее почерпнуть еще полезные концепции.

В целом интересно наблюдать, как компания, делающая IDE, наращивает мощь и влияет на мир разработки. Раньше был только софт, помогающий лучше работать с кодом. Теперь новый jvm язык, который стремительно захватывает популярность.

У меня есть предположение, что Kotlin родился на основе статистики, которая доступна JetBrains через ее IDE. Это богатейший источник для дизайна и развития языка. Нет необходимости доверять мнению людей. Как известно все люди врут, но данные же так не могут. Мысль несколько утрированная, но все же хочется, чтобы Kotlin без остановки развивался и приносил еще больше полезных практических фич.

WebDav за https proxy

2020-06-19T22:55:22+03:00

Регулярно читаю различную литературу. Зачастую в pdf формате. Pdf книги читаю через GoodReader на iPad (liara). Постоянно отмечаю и комментирую текст через аннотации, которые сохраняются непосредственно в pdf файл. А для синхронизации книжек использую webdav, настроенный на домашнем сервере с помощью nginx. Ранее все крутилось почти на голом CubieBoard (edi2), а теперь на HP MicroServer (edi3) в контейнерах. В скобках указаны имена девайсов в моей локальной сети. Называю железки по именам героев из Mass Effect. edi3 — это уже третья реинкарнация моего центрального домашнего сервера.

Как-то раз я задумал скрыть все сервисы, запущенные на сервере за proxy. Задача proxy сводится к распределению трафика на основе имени домена и поддержке https. Внутренний (фактически межконтейнерный) трафик остается нешифрованным. Изначально роль proxy выполнял nginx. На нем же был настроен webdav для книг. Но достаточно быстро я перешел на Fabio. Решение судя по всему не сильно популярное, но гибкое и динамичное. Работает примерно так:

Настройки задаются в labels контейнеров
Registrator копирует информацию в consul
Fabio читает данные из consul и строит Routing Table. Обновления динамические, ничего ребутать или релоудить не надо.

Вот пример кусочка docker-compose для gitea:

services:
  gitea:
    image: gitea/gitea:1.11
    labels:
      SERVICE_3000_NAME: gitea
      SERVICE_3000_CHECK_HTTP: /api/v1/version
      SERVICE_3000_CHECK_INTERVAL: 15s
      SERVICE_3000_TAGS: urlprefix-gitea.puzan.info:443/
      SERVICE_22_NAME: gitea-ssh
      SERVICE_22_CHECK_TCP: true
      SERVICE_22_CHECK_INTERVAL: 15s
      SERVICE_22_TAGS: urlprefix-:2222 proto=tcp

Вернемся к webdav. В этой схеме webdav переехал в отдельный nginx (80 порт в контейнере), доступ к которому осуществляется через fabio через https (443 порт на edi3). Ничего не предвещало беды, но я столкнулся вот с такой ошибкой во время обновления файлов (nginx лог):

read_1  | 172.21.0.7 - puzan [18/Jun/2020:20:49:46 +0000] "PROPFIND /current/ HTTP/1.1" 207 2657 "-" "GoodReader"
read_1  | 172.21.0.7 - puzan [18/Jun/2020:20:49:46 +0000] "PUT /current/temp1 HTTP/1.1" 201 0 "-" "GoodReader"
read_1  | 2020/06/18 20:49:46 [error] 6#6: *7 client sent invalid "Destination" header: "https://read.puzan.info/current/some_book.pdf", client: 172.21.0.7, server: www.read.puzan.info, request: "MOVE /current/temp1 HTTP/1.1", host: "read.puzan.info"
read_1  | 172.21.0.7 - puzan [18/Jun/2020:20:49:46 +0000] "MOVE /current/temp1 HTTP/1.1" 400 173 "-" "GoodReader"

Как видно сначала происходит поиск файлов через PROPFIND. Затем выполняется PUT обновленного файла во временный файл /current/temp1. Дальше выполняется попытка MOVE. Но MOVE выполняется для Destination="https://read.puzan.info/…". И как видно nginx ничего не знает про https сервис. Тут встает вопрос почему GoodReader не использует относительные пути. Но это немного другая история, которая не поддается быстрому исправлению.

Починить проблему на серверной стороне (без поднятия внутренней https точки) помогает модуль Headers More. Суть фикса заключается в том, чтобы переписать значение Destination заголовка c https://…, на http://…. Nginx конфиг для webdav теперь у меня выглядит примерно так:

server {
    listen 80;
    server_name www.read.puzan.info read.puzan.info;

    location / {
        # Rewrite destination header if it starts with https
        set $destination $http_destination;
        if ($destination ~ ^https://(.+)) {
            set $destination http://$1;
            more_set_input_headers "Destination: $destination";
        }

        root /data/read;

        dav_methods PUT DELETE MKCOL COPY MOVE;
        dav_ext_methods PROPFIND OPTIONS;
    }
}

Установка модуля в debian:

apt-get install -y nginx libnginx-mod-http-headers-more-filter

Использую базовый образ debian в контейнере для webdab, чтобы не искать и собирать нужные nginx модули (тут есть еще зависимость на dav_ext_module). Изначально пробовал alpine, но быстро сдался.

PS. Решение было найдено на каком-то китайском форуме (ссылку потерял уже), который вывел на идею с перезаписью заголовка.

Рабочее место

2020-06-17T22:35:55+03:00

Во время карантина я не выдержал и взялся за переоборудование рабочего места. В целом и так все было хорошо — у меня отдельная комната, а-ля кабинет, с оборудованным рабочим местом. До самоизоляции мой рабочий угол представлял собой следующее:

Стол из IKEA
Табуретка из IKEA. Похожа на эту, но только круглая.
MacBook Pro 13 Mid 2014
iMac 21.5 Mid-2014, используемый как 1080p дисплей, плюс его родная клавиатура и Apple Magic Mouse.

Здесь я как работал, так и занимался личными делами (что я вообще делаю кроме работы? 🤪). Так уж сложилось, что на личном ноутбуке я проработал последние лет 5. Существенно привык к такому подходу и научился жестко разделять работу и личные технические увлечения. Но накопились следующие «но»:

На новой работе, которую я сменил недели за 2 до карантина, выдали MacBook Pro 16 2019.
Я устал от сложнейшего интерфейса переключения iMac в режим монитора. Сперва надо подключить Thunderbolt кабель. Потом залогиниться в iMac со своим аккаунтом, если ранее это не было сделано. И наконец нажать волшебное сочетание клавиш (Fn-Cmd-F2) на клавиатуре, которая используется только для этого и занимает место на столе.
Перестал использовать iMac по прямому назначению — мне уже не нужен еще одни компьютер с macOS. Особенно после приобретения HP MicroServer, который в том числе заменил долгий эксперимент с CubieBoard.

В общем пришло время оптимизировать, используемые железки и прибраться на столе. В итоге я прикупил и получил в подарок еще железок. Теперь мой рабочий стол выглядит вот так в рабочее время:

И вот так вне работы (просто убираю рабочий ноут в сторонку):

Монитор

Основное изменение — я убрал iMac и купил монитор LG UltraFine 4k. И надо сказать он великолепен. Наконец пропало легкое раздражение из-за того, что ты видишь как расплываются буквы при переводе взгляда с Retina экрана на 1080p. Были опасения, что старенький MacBook не потянет 4k картинку. Но все работает отлично. Если и есть какой-то дополнительный лаг, я его не замечаю.

Из рисков, на которые пошел: высокая цена и исключительно Thunderbolt 3 (USB Type-C) интерфейсы. Также пришлось докупить переходник с Thunderbolt 2 на Thunderbolt 3 для подключения MacBook’а 14-го года. Из небольших дополнительных радостей: можно заряжать новый MacBook от монитора — не нужен еще один провод. На такое же питание я повесил iPad Pro, который использую как дополнительный экран во время работы для Slack.

iMac сначала перекочевал на кухню. На нем с женой на Кинопоиске сериалы смотрели во время еды. Примерно за месяц я нашел ему нового хозяина на авито - парень с Ямайки, который учится в Нижнем Новгороде. Необычный новый опыт:

первая продажа на авито
продажа во время карантина
покупатель — слабо разговаривающий по-русски чернокожий ямаец

Клавиатура и тачпад

В плане интерфейсов ввода произошли следующие изменения. Я решил, что следует личный ноутбук подвинуть в сторону и поставить на подставку (ее к сожалению пока добыть не удалось). Соответственно возникла необходимость во внешней клавиатуре и тачпаде. От мышек я давно отказался. Ну и Apple Magic Mouse, которая была в комплекте с iMac, откровенно ужасна. Тут как тут подоспели мой день рождения и любимая жена с подарком: серый Apple Magic TrackPad. Он заметно больше встроенного в MacBook Pro 13 Mid 2014. В плане удобства использования очень похоже на ноутбучный. Я пока экспериментирую с его расположением: то справа от клавиатуры поставлю, то под нее, как на ноутбуке.

Сначала я достал свою старую клавиатуру Logitech K800. Но достаточно быстро заказал себе Apple Magic Keyboard. Очень мне нравиться клавиатура максимально похожая на MacBook’чную: переключение минимальное и разницу я почти не чувствую. Ну и теперь почти все в темном цвете. Я доволен.

Наушники

Небольшая история про наушники. Нового ничего не добавилось, но формат использования несколько изменился. Обычно я использую 3-е наушников:

Проводные Apple EarPods c Lightning во время прогулок с собакой. Слушаю подкасты и музыку.
Apple AirPods для звонков и музыки в остальное время
Bose QuietComfort 35 во время игры в PS4, чтобы не мешать жене (шумоизоляция в доме очень условная). Ну и во время перелетов.

В итоге с началом самоизоляции я вдруг понял, что AirPods сажаются за часовой митинг в ноль. Ранее я такого не замечал, так как использовал наушники недолго и постоянно складывал их в чехол на подзарядку. Также начал замечать низкое качество звука в AirPods’ах. Наблюдается какое-то дополнительное потрескивание и шуршание — раньше такого не было. В итоге пересел на Bose как основные наушники для работы и звонков. Но в итоге я начал замечать, что и они тоже умеют разряжаться. Похоже скоро потребуется достать еще проводные наушники с классическим mini jack.

Стул

Особо больным вопросом был стул. Точнее табуретка. Рабочий день на таком я высидеть могу с трудом. Ну а рабочие месяцы вообще не реально. Тут на помощь также пришла моя любимая жена, которая давно задумала добыть мне качественный стул в кабинет. Были мечты и мысли о Aeron или Okamura. Но в итоге решили взять компромиссный более дешевый вариант в онлайн магазине — METTA Samurai S-3.03.

Выбор был сделан по наводке из подкаста devzen. Стул очень удобный. Регулируется будь здоров. Похоже я впервые в жизни начал сидеть ровно и удобно. Есть маленький вопрос о качестве деталей. Например, подлокотники слегка болтаются. Но это пока не мешает. В целом я очень доволен данному подарку от жены без “примерки”.

Работа vs Дом

Остается у меня следующий открытый вопрос: как переключаться между «работой» и «домом». Пока я остановился на варианте, который был обозначен на фотографиях в начале: просто закрываю рабочий ноут, отцепляю провод к монитору и двигаю в угол. При этом во время работы я пользуюсь встроенными клавиатурой и тачпадом. Легкого переключения клавиатуры между ноутами пока не нашел, да и так мне пока нравится.

Также внимательные читатели могли заметить, что во время работы мне полноценно может помочь только валютная уточка 😀. Это конечно сильно помогает сосредоточиться во время работы на зарабатывании денег 💰.

Старые рабочие места

Пока готовил эту заметку, нашел фотографии моих старых домашних и офисных рабочих мест. Капелька ностальгии в конце.

~2008 год. Познаю Linux на Студеной еще будучи студентом Физического факультета ННГУ.
2013 год. Работа в ЮАР
2013 год. Какой-то перевалочный пункт (потенциально у родителей)
2014 год. Московское шоссе
2014 год. Первый запуск iMac
2015 год. Работа в InTech
2017 год. Деревня Крутая
2020 год. Работа в Qligent

PS. За коллекцию уточек огромное спасибо моей маме и лучшему другу Степе.

Жизнь в самоизоляции

2020-05-24T22:05:17+03:00

Со всеми разнообразными событиями в мире моя жизнь не сильно изменилась. Я живу в загородном доме в деревне в 10 километрах от Нижнего Новгорода. У меня есть ежедневная возможность спокойно погулять — привет моему любимому псу! Да и без собаки также не было бы проблем. Я и ранее периодически работал из дома — у меня есть удобный оборудованный личный кабинет. За это спасибо моей любимой жене. Пока не хватает комфортного стула, но я думаю этот вопрос решится в ближайшее время. Захотел отметить пару интересных перемен, на которые я все же обратил внимание. Эта мини заметка посвящена изменениям на кухне.

Мы с женой начали работать удаленно еще до объявления «Путинских каникулов». Ранее мы обедали в столовых и кафешках, а ужинали на работе едой из дома, приготовленной женой. Подобная хитрая схема помогала нам зачастую разгрузить вечер и реализовывать различные планы. Но это немного другая история. Суть в том, что питание наше было достаточно разнообразным. И откровенно хотелось сохранить это разнообразие не смотря на самоизолированность. А также по возможности сократить поездки в магазин за продуктами — напряженной стала эта процедура.

В итоге на выручку пришел Шефмаркет. Если кто не знает, это очень удобный сервис доставки продуктов для приготовления конкретных блюд. Кухня разнообразная — индийская, европейская, японская, русская. Я думаю можно подобрать меню на любой вкус. Мы с женой берем 5 блюд из Оригинального меню на двоих и нам хватает примерно на неделю. Но мы конечно готовим также и другую еду — иногда все же ездим закупаться в Ашан. Комбинация из Шефмаркета и домашней еды на текущий момент полностью закрывают наши потребности по питанию. Немаловажно, что доставка к нам в деревню работает без проблем. В итоги мы даже перешли на подписку. Я думаю подержим ее до окончания самоизоляции.

Но что же тут особенного? Я стал готовить с женой почти каждый день. Для нас это похоже на некий совместный квест или головоломку, которые каждый раз поднимают настроение, так как мы совместно делаем что-то вкусненькое и новенькое. Также я заметил, что чеснок и лук похоже самые главные ингредиенты любого вкусного блюда. Скоро стану профи по мелкому нарезанию этих овощей.

В общем совет простой - вливайтесь в тему. Разнообразная и вкусная еда ждет вас. Держите промокод (puzan) для получения небольшой скидки на первый заказ.

Параметризованные роли в Ansible

2020-05-10T13:45:00+03:00

Никогда не было и вот снова

В очередной раз возвращаюсь к своему маленькому бложику. На этот раз после 4-х летнего перерыва. Будем считать на это повлияли смена работы и самоизоляция. Продолжить я решил с небольшой заметки про нежно любимый мной Ansible. А точнее про его волшебные особенности работы с переменными и ролями. Мне всегда хотелось видеть в ролях Ansible жесткую изоляцию. Но это конечно совсем не так. Разберу на примере, то что я имею в виду, основываясь на поведении Ansible 2.9.7.

Ansible я очень активно использовал на работе в Qligent для автоматизации ручных инструкций по установке продукта. В результате за 3-4 года сформировалась достаточно большая база кастомных ролей и плейбуков. Ну а сейчас я использую Ansible исключительно для настройки домашнего HP MicroServer, на котором крутится парочка локальных сервисов в docker контейнерах. Каждый сервис фактически представляет собой docker-compose.yml, специфичные конфиги и директории, с которыми он работает.

Итак, во время написания ролей для локальных сервисов я решил вынести повторяющиеся действия необходимые для инициализации в отдельную роль. Назовем ее puzan_service. Туда попали:

создание отдельного пользователя
assert'ы
создание директории с именем сервиса
определение необходимых фактов

Ну и роль сама получила как минимум один параметр, который определяет ее поведение - puzan_service_name. В упрощенном варианте это имя директории, в которую в последующем копируется compose файл. Теперь для инициализации сервисов достаточно в meta добавлять нечто вроде:

dependencies:
  - role: puzan_service
    vars:
      puzan_service_name: usefull_service

Примерно тут мои ожидания несколько расходятся с реальностью. Указанный подход отлично работает. Более того на текущий момент похоже это официальный подход для подключения ролей с параметрами в качестве зависимостей. Но есть нюанс — после выполнения роли в контексте останется переменная puzan_service_name. В целом может показаться, что это не страшно. Но меня это не устраивает: puzan_service предназначена для множественного использования, а это значит каждый ее запуск не должен быть связан с предыдущим. В текущем примере puzan_service_name обязательный параметр и его каждый раз необходимо определять. Но что, если у роли будет еще необязательный параметр или кто-то допустит опечатку в имени переменной? Это приведет к неожиданному поведению и вероятно сложному поиску причины ошибки, так как роль может выполнится со старыми значениями переменных.

Я начал работать с Ansible где-то около версии 1.9. И как ни странно там был немного другой метод определения зависимостей с переменными:

dependencies:
  - role: puzan_service
    puzan_service_name: usefull_service

Данный метод также до сих пор работает. Но более удивительно то, что он работает, как я хочу: puzan_service_name не попадает в глобальный контекст. Я подготовил небольшой репозиторий с тестами данного поведения. Кроме использования meta dependencies там также продемонстрирована работа использования ролей в playbook'ах, а также разница поведения import_role и include_role.

Следует отменить, что из всех конструкций только include_role на текущий момент имеет явный механизм контроля доступа к переменным снаружи. Это реализовано через параметр public.

Уже давненько имеются issues на github'е на эту тему:

Исправляться они не спешат. Один из моих PR'ов в ansible, был замержен всего лишь за 3 года. Поэтому я не думаю, что тут что-то быстро изменится.

В целом мои рекомендации свозятся к следующему:

Используйте только вариант передачи параметров в роль без vars
Не используйте import_role и include_role с public: yes
Есть конечно исключения: В любой непонятной ситуации — думай!

В итоге. Будьте внимательны и пишите больше тестов. Даже на роли в Anisble. Переменные и факты в Ansible здоровенная перемешенная куча. Ansible к сожалению сам не дает никаких явных инструментов по ограничению доступов к ним. Поэтому тут надежда только на Вас самих и на практики, которые вы используете. Ниже небольшая сводка по описанному поведению для версии Ansible 2.9.7

Использование в playbook'ах и meta dependencies

Поведение одинаковое при подключении ролей в playbook'ах и через dependencies.
- Без vars
  
  Playbook пример:
```
- name: Playbook
  hosts: localhost
  roles:
    - role: some_role
      some_role_var: some
```
  Meta role пример:
```
dependencies:
  - role: some_role
    some_role_var: some
```
  some_role_var не доступна во внешнем контексте до и после запуска роли
- C vars
  
  Playbook пример:
```
- name: Playbook
  hosts: localhost
  roles:
    - role: some_role
      vars:
        some_role_var: some
```
  Meta role пример:
```
dependencies:
  - role: some_role
    vars:
      some_role_var: some
```
  some_role_var доступна во внешнем контексте до и после запуска роли
Использование import_role
```
- import_role:
  name: some_role
  vars:
    some_role_var: some
```
some_role_var доступна во внешнем контексте до и после запуска роли
Использование include_role с public: no
```
- include_role:
    name: some_role
    public: no
  vars:
    some_role_var: some
```
some_role_var не доступна во внешнем контексте до и после запуска роли
Использование include_role с public: yes
```
- include_role:
    name: some_role
    public: yes
  vars:
    some_role_var: some
```
some_role_var не доступна во внешнем контексте до запуска роли, но доступна после.

И в виде таблички:

Кейс	Переменные до	Переменные после
`roles` без `vars`	Не доступны	Не доступны
`roles` с `vars`	Доступны	Доступны
`import_role`	Доступны	Доступны
`include_role`, `public: no`	Не доступны	Не доступны
`include_role`, `public: yes`	Не доступны	Доступны

Маленькие тулы

2016-04-06T22:25:00+03:00

За последние пару недель узнал несколько маленьких, но удобных тулов. Источники как обычно подкасты (Радио-Т, Разбор Полетов) и бложики.

Fzf

Подслушал в Разборе Полетов.

Github: https://github.com/junegunn/fzf

Данная утилита делает очень удобный поиск по спискам в консоли. Например, поиск по истории, по файлам и в принципе по любой информации, переданной на стандартный ввод fzf. Для меня очень удачно fzf зашла, в качестве замены Ctrl-R в консоли.

Пользуюсь локально на ноутбуке. Есть интеграция с tmux, но я на него так и не переехал со screen. Хотелось бы осуществлять поиск локально, используя данные с удаленной машины, но я плохо представляю подобную возможность без танцев с бубном.

Borgbackup

Прочитал на OpenNet.

Github: https://github.com/borgbackup/borg

Данная программа для бекапов скорее всего заменит obnam на моем cubieboard. Бекапы с помощью borg в моих тестах показали 10-ти кратное преимущество в скорости по сравнению с obnam. Это меня мелко сказать восхитило и я планирую как можно скорее переделать сбор резервных копий на эту систему.

sudolikeaboss

Подслушал в Радио-Т.

Github: https://github.com/ravenac95/sudolikeaboss

sudolikeaboss — утилита позволяющая вводить пароли из 1password в консоли. В частности, это очень удобно делать для ssh, sudo и других паролей. Так все пароли продолжают лежать в одном защищенном месте и в тоже время к ним есть удобный интерфейс. Все необходимые инструкции можно найти на github'е.

Docker: Инициализация postgres

2015-09-06T00:39:07+03:00

Где-то полгода назад по личной инициативе я стал разворачивать компоненты в docker контейнерах для разработки и тестирования продуктов. При этом самая сложная система состояла из базы данных (postgres) и пары tomcat'ов. Самое оно чтобы попробовать новую технологию. Такой подход позволял в чем-то эмулировать production окружение и не засорять рабочую машину.

В то время я столкнулся с несколько проблематичным способом инициализации бд из официального postgres образа во время старта контейнера. Тогда все сводилось к тому чтобы написать скрипт, который стартует postgres в single режиме и выполняет нужные sql запросы. Например вот так:

#!/bin/bash

gosu postgres postgres --single < ${INIT_SQL}/create-testdb.sql
gosu postgres postgres --single -j testdb < ${INIT_SQL}/date-db.sql

Затем скрипт и sql файлы надо было добавить в контейнер во время build в папочку /docker-entrypoint-initdb.d/. Пример Dockerfile:

FROM postgres:9

ENV INIT_SQL /init-sql

COPY init-db.sh /docker-entrypoint-initdb.d/
COPY *.sql ${INIT_SQL}/

А далее на старте контейнера запускался docker-entrypoint.sh, который выполнял все скрипты из /docker-entrypoint-initdb.d/.

Это работало, но было очень не удобно. Главная проблема - необходимость запускать postgres в single режиме, так как на момент выполнения postgres еще не был стартован. Из-за этого возникают ограничения в SQL запросах, а также невозможно подложить dump сделанный pg_dump'ом либо подключиться с помощью psql.

Пока я собирался с мыслями чтобы опубликовать вышеописанный метод, docker-entrypoint.sh был переписан. Теперь на время инициализации базы запускается полноценный экземпляр базы, с которым можно взаимодействовать с помощью psql. Также появилась возможность создавать базу и пользователя через определение переменных окружения. Плюс shell скрипт теперь писать не обязательно. Просто складываем sql файлы в /docker-entrypoint-initdb.d/, а они передаются на выполнение в psql. Красотень.

В конце хотел бы отметить, что нынче технологии развиваются и меняются очень быстро. Надо быть все время на чеку. По идее вышеописанные изменения в docker-entrypoint.sh для postgres образа могут привести к вероятным проблемам (особенно если ранее sql скрипты складывали в /docker-entrypoint-initdb.d/ папку), а вот версионирования образов в зависимости от изменения Dockerfile на хабе нету. Отсюда вывод - без своего docker registry никак не обойтись и на внешние образы лучше не надеяться.

Операционные системы?

2015-05-04T19:25:00+03:00

Возникло у меня несдержимое желание написать про свое отношение к современным операционным системам. Этакое лирическое отступление. Один из мотивов: структурировать информацию и самому разобраться, что мне больше нравится в каждой из ОС. Но похоже получился некий экскурс в историю моего знакомства с операционными системами. Есть малая надежда, что кому-то это будет интересно. Ну по крайней мере я получил огромное удовольствие от набора этого текста.

Windows

Начну пожалуй с Windows. Это похоже первая система с которой я столкнулся в жизни. Возможно я сначала видел DOS, но не осозновал еще этого, мал был. Сейчас я счастлив, что почти нигде не вижу «окна» вокруг себя. Я перестал вообще понимать, как живет этот далекий от меня «оконный» мир. Windows добил меня в свое время очередным синим экраном. После этого месяц в консоли Linux казался раем. Да, я похоже малясь извращенец. В то время я пользовался pidgin в консольном режиме (на базе ncurces) и был в восторге от подобных интерфейсов.

Как-то я сильно ухожу от того, что конкретно мне не нравилось в операционной системе от Microsoft. Но при этом с наслаждением вспоминаю, как заканчивалось наше с ней общение. Будучи студентом физического факультета я видимо не видел какой-то академичности в Windows. Точнее я видел ее в Unix мире. Он завораживал своей открытостью, а понимать, как устроены внутренности Windows, становилось все сложеннее. Но, судя по статистике, мои стремления мало кто разделял на факультете.

Также шагу в сторону Unix систем поспособствовало мое воспитание. Меня всегда коребило от использования нелицензионного ПО. Это как бы сказать слегка не правильно :). Мир Open Source же открыл огромные границы для познания и развития без борьбы с моральными устоями. Я и сейчас не понимаю людей, которые работая в сфере разработки компьютерного обеспечения открыто используют «крякнутые» продукты. Мне кажется, что это сравнимо с подпиливанием ветки на которой сидишь.

Опыт программирования в Windows у меня был совсем невелик. Основное — это Delphi и немного C++. Слишком там все пестрило окошками и интерфейсами. Но почти никто не учил писать консольные или серверные приложения без GUI. Кроме того ядро системы было тесно переплетено с графической подсистемой (сейчас ведь что-то поменялось?). Вообще дикостью было открывать ужасную Windows консоль (как там она называлась?). И WinAPI я так и не познал. А строить пользовательские интерфейсы, я уже тогда понял, совсем не мое.

Но при всем при этом надо отдать должное разработчикам и менеджерам Microsoft. Они можно сказать полностью захватили рынок персональных компьютеров. Для среднестатистического пользователя — это видимо идеальная система. Там были (сейчас не уверен, не знаю) удобные графические интерфейсы для своего времени. И самое главное это офисная система. Microsoft Office это как не крути стандарт де-факто в документообороте. В этом сигменте ближайшие конкуренты очень далеко.

Еще один из недостатков Windows: я никогда не понимал, как там все устроено в нутрях. Если я увидел синий экран смерти, то что это значит? Как найти проблему? Где логи? Почему не запускается очередная программа? Эти вопросы были для меня загадкой. Решение большинства проблем: перезагрузка, а в худшем случае переустановка системы. Как разобраться и решить возникающие проблемы я не знал (вру конечно, как-то ведь жили). Абсолютно противоположная ситуация в Linux мире. На мой взгляд конечно.

Linux

Выше уже упоминал, как сел на Linux. Помню даже подписывался на LinuxFormat дабы познавать истину. С интернетом похоже тогда еще был напряг. Познавал Linux в консоли, больше как системный администратор (хотя таким себя никогда не считал и на подобной должности не работал). В Gentoo разбирался, что как устроено. Узнавал зачем существует определенный сервис, как раздавать интернет в домашней сети, как поднять иксы на своей древней видеокарте и зачем все же нужно это волшебное ядро. Примерно в то время я перестал играть и начал копить на Xbox.

Далее хочу рассказать несколько примеров общения с Open Source программами, которые достаточно сильно меня впечатлили. Нельзя конечно сказать, что это как-то сильно связано с Linux, но именно он дал мне возможность повернуть сознание несколько в другую сторону.

Сначала пару слов про OpenOffice. Так уж сложилось, что во время учебы многие работы необходимо было оформлять в формате Microsoft Office. Как альтернативу я начал использовать указанный выше открытый офисный продукт. В нем впечатлил подход форматирования текста, который на первый план ставит работу со стилями. Там без этого было проблематично. Да в Office от Mircosoft конечно же есть подобная функция и сейчас насколько знаю она реализована намного лучше. Но было время, когда про стили в офисе знали не многие (хотя думаю сейчас тоже ситуация не лучше). В результате мы имели гигантские файлы диссертаций отформатированные полуручным способом. OpenOffice же научил меня грамотно пользоваться стилями и не связывать контент с форматированием. Апофеозом этого подхода стала моя магистерская диссертация, которую я полностью подготовил в LaTeX. Это был мой своеобразный протест против офисных пакетов, которые на факультете использовали как универсальные инструменты в том числе для научных измерений (при этом я говорю про Word).

Во время курса программирования на C++ я опять же устроил некое подобие бунта и выполнял работу на Linux, который грузил с флешки. По-моему, эта была Fedora. Финальный проект моделирования сделал на Qt. Во время сдачи работы преподаватель спрашивал меня: «Зачем ты все делаешь в этой системе? Ты же придешь в будущем на работу и там везде будет Windows и все твои умения окажутся напрасными». На это я отвечал, что «Qt и то что было мной написано вполне себе кроссплатформенно, в отличии от того, что представляли мои однокурсники. На работе я буду пользоваться Linux. А если там будет Windows, то либо поменяем его на Linux, либо уйду на другую работу». Тадам тадам, конечно же я сейчас работаю рядышком с Linux, и как указывал выше, Windows вижу достаточно редко.

В середине обучения на физфаке на один из дней рождения мой друг Шурик подарил мне старенький офисный комп (в соседнем посте я ищу ему нового хозяина). Из этого компа я сделал нечто вроде домашнего сервачка. На нем был развернуто куча сервисов. С помощью gitolite организовано хранилище git-овых репозиториев, а до этого еще и svn. Кроме того, он представлял из себе и некую файловую помойку, доступную через samba, а также пропускал через себя весь домашний трафик и был доступен для моих нужды из внешней сети. Много я на нем игрался с различными сервисами. В итоге он стал таким пухленьким роутером, который включал в себя еще больше. Суть этого абзаца в следующем. Пока я разбирался как это все поднять и настроить, я изучил многие сетевые технологии и стеки протоколов, про которые я раньше ничего не знал. В итоге смог хорошо себя проявить на работе — фундаментальных знаний по информационным технологиям у меня было мало, но я вышел на практике.

Если вернуться все же конкретно к Linux, то лучшими качествами этой операционной системы все же являются ее серверные функции. Все, что касается графики и desktop в Linux, зачастую сильно перегружено и далеко от чувства прекрасного. Графические интерфейсы выполненные в инженерном дизайне не часто мешают работе, но вот глаза от них постоянно болят.

Про блеск и нищету Open Source. Когда-то я любил KDE. Помню как 3-я версия двигалась к стабилизации и пришла к ней. Это был достаточно долгий путь. И я с удовольствием пользовался KDE. Я даже репортил какой-то минорный баг. Но пришла KDE 4 и тут все поплыло. Снова кучи багов, нестабильная работа. В результате я долго еще сидел на 3-ей версии. По-моему, до тех пор пока не обновил компьютер. К этому времени из портов Gentoo KDE 3 уже успели убрать. Даже пробовал форки, но что-то пошло не так. Это все к тому, что вообще говоря в этом волшебном мире свободы никто ничего не гарантирует. Да можно исправить что-то самому, но готовы ли вы сами поддерживать в одиночку целую систему? А когда захочется новых фичей все это вмержить и переписать? Печально, когда курс проекта уходит, от того, что хотелось бы именно тебе, а единомышленников ты не смог найти. Кроме того, мейтенер может просто потерять интерес к проекту, а другого разработчика просто не найтись.

Я не хочу сказать, что Open Source — это беда. Нет, наоборот, это чудесный результат человеческого сообщества, результат дружбы и бескорыстия. Я иногда поражаюсь, что в нашем мире подобное возможно. Надо просто иметь ввиду, что во всем есть свои подводные камни и надо их знать. А то, что крупные компаний поддерживают множество открытых проектов — это просто великолепно. Без Linux теперь как ни крути никуда.

OS X

С друзьями недавно смеялся на тему выбора очередного телефона. Будучи ярым любителем Linux и открытых систем, я около года использовал Nokia N900. На нем до кучи я установил emacs — для полного погружения. Но, не смотря на это, за время использования этого телефона я понял, что поддерживать софт телефона — очень накладно. Да, ты понимаешь кишки и устройство, но тратишь на это слишком много времени. А потом в какой-то момент не можешь взять трубку, потому что часть памяти, отвечающая за приложения телефона, ушла в swap и возникло небольшое недоразумение. Консоль на телефоне конечно впечатляла, но следующим моим телефоном был iPhone, а не Android, который казался тогда мне аналогом Maemo.

И тут я прикоснулся к миру чудесных яблочных интерфейсов и сервисов. И ощущение от использования заточенного продукта оказалось в 100 крат лучше постоянного копания в настройках телефона в попытках поднять производительность.

Linux зачастую заставляет погружаться слишком глубоко в технологии и поддерживать довольно широкий спектр вещей. Например, чтобы поднять KDE надо было разобраться, как работают иксы, правильно их настроить. Потом понять какой драйвер лучше будет работать с твоей карточкой. Собрать его, обнаружить, что в ядре не включен какой-нибудь флажок. Пересобрать ядро, снова пересобрать драйвер и вуа-ля получить рабочую систему. Но потом Nvidia выкатит релиз нового видеодрайвера и система при загрузке будет показывать черный экран. И топаем по выше указанному пути снова. Это конечно пример из Gentoo, где надо много доделывать ручками и самому обновлять конфигурацию. В современных дистрибутивах все обстоит по дружественнее, но казусы тоже бывают.

Так вот, после того как я сел за MacBook, я понял, что на подобные вещи я больше тратить время не буду. Да тут меньше возможности для кастомизации, но как раз ее я порой не люблю. OS X дает отличную (не без косяков) готовую posix совместимую операционную систему, которая отлично ложится на задачи, которые я обычно решаю за компьютером. В ней я вижу идеальный симбиоз графического интерфейса и Unix-утилит, построенный на лучшем железе. Mac позволяет лучше фокусироваться на решении задач без необходимости отвлекаться на побочные неприятности.

Но тут я хотел бы конечно заметить следующее. Если бы мне 10 лет назад, дали возможность выбрать OS X или Linux, я бы сделал тот же самый выбор в пользу открытых систем. Тогда мне необходимы были знания и Open Source, на мой взгляд, лучший источник. Сейчас я склонен решать конкретные задачи, не отвлекаясь на подпиливание системы в целом. Но я также активно использую Emacs и целевая система продуктов, над которыми я работаю, несомненно Linux.

Еще раз хотел сказать, что с большим удовольствием повспоминал последние 10 лет своей жизни в свете моего общения с небольшим зоопарком операционных систем. Совсем кратенькое резюме:

Windows — не мое;
Linux — ужасные графические интерфейсы, но великолепные серверы. Как результат это выбор номер один для построения различных сервисов. Сейчас старый домашний компьютер больше работает как небольшая ферма docker контейнеров, а не по прямому назначению. А описанный выше сервак переехал в CubieBoard;
OS X — отличная рабочая система для десктопа. Удобство использования железа и яблочной инфраструктуры перекрывает некоторые неудобства. В последнее время в OS X не мало глюков (я тоже попал на баг с 5 Гц-вым WiFi), но надежда на светлое будущее есть.

Полоса загрузки в OS X

2015-03-15T10:48:45+03:00

Одно из чудовищных нововведений Yosemite — это полоса загрузки. Звучит немного громко, но все же Apple всегда славилась своим вниманием к мелочам, особенно в дизайне. И вот эта полоска стопудово лишняя.

Когда я впервые включил свой MacBook, это был вау эффект. Он просто включился и проиграл «Таааам» (этот звук еще использовался в WALL-E для имформирования о его полной зарядки). Это было чудовищно быстро по сравнению с тем, чем я пользовался до этого (Gentoo). Экран просто включался и через пару секунд можно вводить пароль от аккаунта. По идее, некоторые задержки можно было заметить, но все было такое плавное и воздушное (Air'ом долго пользовался :) ).

С приходом полосы загрузки, я подумал: «Вот блин, снова Windows». Там ведь была подобная полоса загрузки? Если раньше особо не замечал, сколько грузится Mac, то теперь это просто видно по полосе загрузки. При этом она заполняется не плавно, а рывками. Ощущения сомнительные. Одно хорошо: видишь данную полоску редко, так как перезагрузка бывает необходима только после некоторых системных обновлений.

Когда-то давно я настраивал подобную полосу загрузки в Gentoo. Но там была совсем другая ситуация. Я явно хотел видеть статус загрузки: не произошло ли какого сбоя и долго ли еще ждать. Кроме-того развлекался с оптимизациями загрузки системы и опять же визуализация этого процесса была необходима.

Сейчас же от системы я привык получать минимальный отклик. После включения ноутбука я сразу хочу иметь доступ ко всему функционалу без промедлений. Требования высоки, Apple сами себя загоняют в жесткие рамки. Но вот реализация как известно у программных продуктов яблочной компании в последнее время подхрамывает. Судя по всему они берут курс на стабилизацию системы. И это не может не радовать. Будем надеятся, что OS X будет грузится так быстро, что полоса загрузки точно не понадобится.

Evernote виджет на Today экране (iOS)

2015-03-01T18:58:53+03:00

Это небольшая заметка с картинками про мой опыт использования Evernote на iPhone 4S. Она была задумала под «вау» эффектом после находки полезной галочки в настройках этого удобного приложения для ведения заметок. Потом «вау» прошел, но я решил все же немного порисовать на скриншотах в Skitch (еще одни Evernote продукт) и составить этот текст.

Итак к сути! На днях подумал, что Evernote плагин на Today экране (не знаю как его переводят на русский язык, сам пользуюсь исключительно английскими интерфейсами) занимает существенно много места, но при этом не несет для меня полезной нагрузки.

Сам по себе плагин изначально был предельно прост: 5 кнопок для создания заметок. Они полностью повторяют ярлыки с главного экрана приложений. Это позволяет создать заметки из произвольного состояния. Единственный минус — для этого открывается само приложение Evernote и далее работа происходит внутри него. Так вот после очередного обновления в этот виджет был добавлен список последних обновленных заметок, как видно на картинке выше. Из-за этого плагин стал занимать почти весь экран моего iPhone 4s.

Так как за последние месяцы я ни разу по ним не тыкнул, то возникло логичное желание избавится от списка записок на Today экране. В качестве радикальных вариантов даже рассматривал удаление плагина. Но чуток пошарив по настройкам нашел нужную галочку! Она находится в самом конце General секции.

После этого виджет принял прежний вид и снова стал маленьким.

В идеале конечно хотелось бы, чтобы при создании заметки с Today экрана появлялось небольшое окошко для текста, как это сделано в share плагине Evernote (смотрим последнюю картинку). Оно конечно начало слегка не влазить в пределы экрана 4s, но мне бы это больше нравилось, так как загружается Evernote у меня не сильно быстро. А иметь быструю возможность создавать заметку очень хочется.

Куда отдать компьютеры?

2015-02-21T00:00:00+03:00

Как уже писал недавно в твиттере, есть у меня немного старой техники, которую я уже не использую и хочу найти ей новое место. Выкидывать немного жалко, но и склад дома устраивать нет желания.

Было бы здорово узнать, куда люди уносят отработавшие компьютеры. Свое железо отдам даром, но надо понимать, что для того чтобы оно заработало придется приложить некторое усилие. Нижеописанная техника нуждается явно в некоторой доработке. Ноутбукам нужны жесткие диски и на каждый девайс надо будет устанавливать какую-нибудь операционную систему. Поэтому отдавать это железо в детский дом или подобные заведения мне кажется издевательством (переубедите?). Наиболее подходящим, на мой взгляд, было бы отдать технику в какую-нибудь лабу для образовательных целей. Либо в личное пользование для знакомства с темами, связанными с устройством компьютеров. Есть ли сейчас радио кружки, где ребятам интересно поставить на старое железо какой-нибудь дистрибутив Linux в качестве образовательных целей?

Я собрал немного характеристик по каждому девайсу и для наглядности добавил фоточки. Итак смотрим, выбираем. Может у кого появятся идеи, куда это все пристроить. И было бы интересно узнать опыт в подобных вопросах.

HP G62 - Нашел нового хозяина

CPU Intel i5 2.53 GHz
ОЗУ 4 Gb
Видео ATI Radeon HD 5470
Без жесткого диска!

Это ноутбук моей любимой девушки. На нем был установлен Windows 7. Последнее время любимая на него сильно ругалась, в связи с чем получила в пользование MacBook Air, а данный аппарат перешел в категорию утиль. И есть конечно у него кучка проблем:

Выключается от перегрева. Есть подставка с вентилятором. Ее тоже отдам. Возможно, если на него установить Linux, либо старый Windows, проблему можно будет побороть. Точно есть связь с подключением дискретной графики.
Дохлая батарея. Работает только от розетки.
Требуется докупить жесткий диск.

DELL Inspiron 1501 - Нашел нового хозяина

CPU AMD Turion 64 800 MGz
ОЗУ 2 Gb
Видео ATI Radeon Xpress 1150
Без жесткого диска!

А этот экземпляр - бывший ноутбук мамы. Работал под управлением Windows XP. Также был заменен на Air и отправлен на списание. Проблемы с ним почти такие же:

Дохлая батарея. Работает только от розетки.
Требуется докупить жесткий диск.
Грязноватый и потертый.

PC aka «server»

CPU Intel Celeron 1,8 GHz
ОЗУ 2 Gb
Какое-то интегрированное видео (работал в headless режиме)
Дохлый Ethernet на материнской плате, но есть еще дополнительная сетевая карточка, которая успешно работает.
3 жестких диска (IDE)
- 149.1 Gb
- Два диска по 37.3 Gb

А это мой доблестный «сервак». Верой и правдой помогал мне изучать Linux системы. Долгое время был центральной точкой в домашней сети. Раздавал интернет и внутренние сервисы (http server, file server, seafile, git и другое) как по Ethernet, так и по Wifi (если необходимо приложу и Wifi карту). Из очевидных недостатков, кроме принципиальной старости железа, могу отметить только шум. Весь его функционал был успешно заменен с помощью CubieBoard. Который кстати совсем не шумит.

Linux бекапы на Apple Time Capsule (Obnam)

2015-02-10T00:00:00+03:00

Решил наладить бекапы с CubieBoard, на которой крутится подточеный Debian (Cubian), на Time Capsule. Туда через Time Machine уже делается резервная копия MacBook'а. Захотел организовать аналогичные инкрементальные бекапы для Linux коробки. Попытаюсь далее изложить свой опыт.

С доступом к Time Capsule особых проблем в Linux нету. Ее можно подмонтировать с помощью cifs (не забываем установить cifs-utils). В fstab закидываем следующую строку и все должно работать после монтирования.

//<TC.local or direct ip>/Data /mnt/tc cifs passwd=thebestpass,sec=ntlm,iocharset=utf8 0 0

Но при этом в /var/log/messages порой валит вот такие ошибки:

[151119.364105] ------------[ cut here ]------------
[151119.375676] WARNING: at fs/inode.c:280 drop_nlink+0x54/0x5c()
[151119.380041] Modules linked in: sunxi_cedar_mod mali ump gpio_sunxi
[151119.394514] [<c0015430>] (unwind_backtrace+0x0/0x134) from [<c003322c>] (warn_slowpath_common+0x54/0x64)
[151119.403340] [<c003322c>] (warn_slowpath_common+0x54/0x64) from [<c00332d8>] (warn_slowpath_null+0x1c/0x24)
[151119.411578] [<c00332d8>] (warn_slowpath_null+0x1c/0x24) from [<c00f0738>] (drop_nlink+0x54/0x5c)
[151119.419177] [<c00f0738>] (drop_nlink+0x54/0x5c) from [<c0248cfc>] (cifs_unlink+0x224/0x654)
[151119.426644] [<c0248cfc>] (cifs_unlink+0x224/0x654) from [<c00e64d0>] (vfs_unlink+0x78/0x104)
[151119.434358] [<c00e64d0>] (vfs_unlink+0x78/0x104) from [<c00e66a0>] (do_unlinkat+0x144/0x16c)
[151119.447019] [<c00e66a0>] (do_unlinkat+0x144/0x16c) from [<c000ec40>] (ret_fast_syscall+0x0/0x30)
[151119.451059] ---[ end trace fddecabeb4cc4bce ]---

Вроде ничего страшного, но логи забиваются.

Далее стоит вопрос, чем и как бекапить. Для Linux популярны системы бекапов на основе rsync и hard links. Например, rsnapshot. Но тут возникает проблема, связанная с отсутствием поддержки жестких ссылок в cifs. Есть еще rdiff-backup, он вроде как хранит файлы с изменениями. Но это мой следующий шаг для тестов, а пока я использую obnam. И сразу скажу: он очень тормозной.

На obnam натолкнулся когда-то давно, но начал разворачивать после приобретения CubieBoard. Первоначально obnam мне очень понравился. Гигабайт системных данных бекапил минуты за 2-3. Я с радости поднял ежечастные бекапы. Вроде как настроил систему аналогичную Time Capsule c чисткой старых поколений бекапов (см. поле keep в настройках ниже). Для всего этого написал небольшой скрипт следующего содержания и положил это добро в крон:

#!/bin/sh

logger "Start backup"

if ! (df | tail -n +2 | awk '{print $6}' | grep -q '^/mnt/tc$')
then
    logger "Backup fails: tc is not mounted"
    exit 1
fi

nice -n 19 ionice -c2 -n7 obnam backup

if [ $? -eq 0 ]
then
    logger "Backup forget"
    nice -n 19 ionice -c2 -n7 obnam forget
else
    logger "Backup failed"
fi

logger "End backup"

А вот и obnam конфиг:

[config]
repository = /mnt/tc/backup
log = /var/log/obnam.log
log-max = 10M
log-keep = 10
log-level = warning
one-file-system = True
root = /etc, /home, /opt, /root
keep = 24h,7d,15w,24m,5y
upload-queue-size = 512
lru-size = 512
compress-with = deflate

Все это прекрасно работало до того момента, как я перенес seafile с ~100 гигабайтами данных. Первичный бекап занял около 30 часов. Следующие занимали более часа. К сожалению подробную статистику не сохранил. После этого нашел пост, посвященный тестированию obnam параметров, влияющих на производительность. На основе информации из указанной заметки добавил параметры upload-queue-size и lru-size в конфиг (см. выше). Бекап ускорился до 15 минут.

Но далее я обновил seafile через несколько версий, и вдруг количество файлов в его базе увеличилось примерно в 2-е (в основном жестки ссылки). Это привело к росту времени бекапов до 1 часа 15 минут. Я боюсь представить за сколько будет проходить бекап почти забитого 1 Тб диска. Надеюсь у меня не будет столько данных. Соответственно бекапы теперь запускаются раз в день. Вроде бы этого для меня вполне достаточно.

И еще один шаг, который как раз заканчиваю тестировать: положить obnam репозиторий в encfs. Выбор на этот вариант шифрования также пал за счет поддержки cifs. Также encfs хороша тем, что нет необходимости делать некий виртуальный диск, который возможно в будущем придется расширять. Позже добавлю информацию про эти успехи.

Данный пост был создан, чтобы поделиться собственным опытом и возможно найти более эффективные альтернативы. Добро покалывать в комментарии. Высказывайтесь! obnam явно не лучший вариант для бекапов больших объемов информации поверх cifs.

P.S. К слову сказать, бекапы уже меня успели спасти. Пусть они и идут медленно, но и меняются не сильно часто. После выключения электричества файловая система на диске с данными слегка поплыла. Чиниться через fsck и монтироваться отказывалась. Данные в принципе можно было бы восстановить с диска, но быстрее и проще оказалось воспользоваться бекапом. Бекаптесь - пригодится!

C++ party

2014-09-07T19:27:00+04:00

Посетил на днях (2014-08-20, задержался с постом) c++ party, организованную Яндексом в Нижнем Новгороде. Решил оставить тут свои впечатления от этого мероприятия. Как раз под категорию Misc подходит. Все было очень позитивненько и познавательно. Интересные люди и занимательные доклады. Ощутилась этакая Яндекс культура.

Особо понравился первый доклад. Он был посвящен corutine'ам и простому асинхронному коду. Я так понял разработчики были впечатлены gorutines при построении своего решения. Очень хорошо и доступно было продемонстрировано упрощение кода. Основной упор был направлен на объяснение концепций позволяющих избавиться от сложных и запутанных конечных автоматах. Выглядит очень красиво и просто. Кода в презентации было достаточно много, но весь он был легко читаем и понятен. Последнее нельзя сказать про второй доклад.

Второй доклад был посвящен обобщенному программированию на C++. Муть мутная с моей точки зрения. Напомнило статью на хабре о разработке игры жизнь на C++ шаблонах. Там весь процесс игры осуществляется на этапе компиляции и к старту приложения все уже мертвы. Рассказчик серьезно так углубился в реализацию Boost.Geometry. И в результате чего, по-моему, зал немного приуныл. Вообще говоря из этого доклада я вынес следующую мысль. Очень удобно использовать библиотеки, позволяющие использовать некие внешние типы (например, собственные геометрические структуры. Смотрим Boost.Geometry с ее замечательными макросами). Но вот реализация и поддержка подобных библиотек не является такой уж простой задачей. Об этом как минимум говорит реакция одного слушателя, который яростно критиковал доклад.

Наибольшее впечатление произвело то, что в Яндаксе ребята умудряются убедить начальство в необходимости выполнить такой крупный рефакторинг (по мотивам первого доклада: переход от конечных автоматов к корутинам). Кроме того, видимо, руководство само заинтересовано в подобном развитии проектов. Очень впечатляет. Я в своей рабочей деятельности такого пока не видел.

Голдинг У. - Повелитель мух

2014-09-07T00:00:00+04:00

На прошлых выходных осилил чудную историю про мальчишек, которые застряли на необитаемом остове после авиакатастрофы. До того как их нашли, они успели спалить почти весь остров, превратиться в обезумевшее племя и чуть не переубивать друг друга.

Похоже я нашел для себя еще один любимый жанр (после антиутопий): поведение людей в замкнутых пространствах. Особенную изюминку конечно в данном приключении придают главные герои: дети. Из-за этого все выглядит еще более жестоко. А когда доходит до убийства, возникает жуткое чувство беспомощности.

Автор — чудовищный гений. Ловко манипулирует эмоциональным состоянием читателя. Заставляет испытать различные чувства, притом в основном негативные: злость, страх, полная несправедливость и беспомощность. Особенно ярки эти чувства из-за того, что вызывают их именно дети. А в голове постоянно крутится вопрос: "Ну как же так?".

Все это происходит на фоне войны в большом мире. Дети не могут договориться на меленьком острове. Соответственно не возникает вопростов, почему взрослые тоже решают проблемы силовым методом.

Приятности от Apple

2014-09-04T00:00:00+04:00

На днях случайно обнаружил приятную фичу от Apple. Точнее сказать со второго раза понял, что это действительно фича, а не мой глюк. Речь идет о передаче Wifi паролей между Apple девайсами. Судя по всему информация хранится в icloud'е и привязана к соответствующему AppleID.

В первый раз я заметил что-то странное, когда поставил домой новую Wifi точку. Отчетливо помню как подключил MacBook Air и iPhone. А вот как подключал iPad не помню, но он оказался подключенным. Я решил списать данное действие на дырьковатую память, но как оказалось память у меня еще о-го-го.

Собственно вчера подключил ноутбук к точке на новой работе и вуа-ля! iPhone тут как тут: тянет данный через Wifi, а не через 3G. Приятно и удобно. Apple действительно умеет удивлять в мелочах.

Не очень давно в Радио-Т Бобук говорил о том, что Wifi пароли не сохраняются при переходе на новое устройство (iPhone 4 -> iPhone 5s). Там еще речь шла про бекапы мобильных устройств. Но похоже все должно работать после привязки нового девайса к вашему AppleID. В общем надо будет протестировать, когда созрею на новый телефон.

Интересно, как дела обстоят у конкурентов? Видимо у Microsoft может быть тоже подобное решение с их унифицированной операционной системой на всех устройствах. Хотя сомнительно - не в их стиле. У Google тоже подобное возможно. Но кто нынче пользуется Chrome OS? Какие еще варианты? Может приложения или сервисы какие-нибудь хитрые есть?

EDE боль

2014-08-19T00:00:00+04:00

Примерно раз в год я возвращаюсь к работе над некоторыми C/C++ проектами. И каждый раз я сталкиваюсь с неудобствами работы CEDET + EDE. Сначала я попробую описать свои невзгоды, а в конце предложу свой вариант сделать жизнь чуточку лучше. Комментарии приветствуются.

Какова вообще задача использовать EDE? Я хочу указать где-то все зависимости для конкретного проекта и передать эту информацию в semantic для навигации по коду и авто дополнений. И есть (по-моему здравое) желание не смешивать эту информацию для различных проектов. По-идее большего от EDE мне не надо. Ну может еще команду для сборки проекта добавить. Хотя предпочитаю делать подобное в отдельно взятой консоли. Итак, что нам предлатает Emacs Development Environment.

Пара слов про проекты по-умолчанию (то что создается с помощью ede-new). Больше всего меня бесит настройка через customize-подобный интерфейс. Им вообще не пользоваться для настройки Emacs'а в принципе. Если пойдешь сам что-то править в EDE файле, то точно натолкнешься на беду. Как минимум придется перезапускать Emacs или пересоздавать проект. Кроме того, либо я что-то потерял, либо в проекте по-умолчанию нельзя указать список include папок. Смысла в данном типе EDE-проекта на мой взгляд нет. Можно видимо использовать его для генерации make-файлов, но как показывает практика их писать и поддерживать лучше самому. Automake и подобное вам в помощь.

Также с помощью EDE можно добавить и работать с некоторыми существующими проектами. Например, есть проекты для C/C++ (ede-cpp-root-project), Java (ede-java-root-project) и другие. В них как раз можно указать внешние зависимости, и Semantic с переменным успехом их обрабатывает. Но есть одно но: почему-то эти настройки нельзя положить в Project.ede файл для полного счастья.

Видел такое решение: указать настройки всех проектов в конфигурационных файлах Emacs. Это мне тоже не нравится. Моя Emacs конфигурация все пухнет и пухнет, как я не пытаюсь ее аккуратно структурировать. Если еще там будет информация о всех проектах жизнь станет ужасна.

Была у меня идея положить все настройки в .dir-locals.el. Но тут мы сталкиваемся с проблемой множественного создания одного и того же проекта для каждого открытого файла. По-идее можно написать всю обработку этого случая внутри .dir-locals.el, но так пришлось бы тянуть и копировать это решение в каждый проект. Не айс. Хочется более универсального решения.

В общем к чему это я все. Для себя я написал небольшой хук для c-mode, который загружает конфигурацию проекта из .Project файла, если он еще не был загружен. Также он обновляет список include путей для clang, который используется в auto-complete-clang и flycheck.

(defun init/project-update ()
  (let* ((proj-file ".Project")
         (ede-proj (ede-current-project))
         (proj-dir-tmp (locate-dominating-file buffer-file-name proj-file))
         (proj-dir (when proj-dir-tmp (expand-file-name proj-dir-tmp)))
         (root-dir (when ede-proj
                     (expand-file-name
                      (ede-project-root-directory ede-proj)))))

    (when (and proj-dir (not (equal proj-dir root-dir)))
      (message "load project %s" proj-dir)
      (let ((default-directory proj-dir))
        (load (expand-file-name proj-file)))))

  (let* ((ede-proj (ede-current-project))
         (root-dir (when ede-proj
                     (ede-project-root-directory ede-proj))))
    (when root-dir
      (setq flycheck-clang-include-path
            (mapcar (lambda (item)
                      (concat root-dir item))
                    (oref ede-proj include-path)))
      (make-variable-buffer-local 'ac-clang-flags)
      (setq ac-clang-flags
            (mapcar
             (lambda (item)
               (concat "-I" item))
             flycheck-clang-include-path)))))

А сам .Project файл лежит в корне проекта и содержит только описание проекта (как видите реальной проверки на это нету). Например вот такое:

(ede-cpp-root-project "NewProject"
                      :name "NewProject"
                      :file "Makefile"
                      :include-path '("/inc")
                      :system-include-path '("/usr/include/")
                      :spp-table '(("PROJECT_EXPORT" . "")))

В душе я надеюсь, что я что-то делаю не так, что все в реальности легко и просто настраивается. Что на самом деле я просто где-то пропустил правильный вариант настройки в мануале CEDET. Если это действительно так, укажите на мою ошибку. Если же эти хуки являются единственным вариантом для удовлетворения моих запросов, то оформлю минорный мод для поддержки автоматической загрузки проектов. В общем делитесь вашими вариантами и впечатлениями от использования EDE.

P.S. Все эти негативные впечатления от использования EDE видимо возникли в результате годового использования Eclipse и Idea для программирования на Java. Пробовал Emacs заточить для Java, но затея не увенчалась успехом. Но для C/C++ проектов только Emacs, только хардкор.

Для тех кто за proxy

2014-08-09T00:00:00+04:00

Как не крути, а бывают такие ситуации, когда надо залезть на свой сервачок через злобное прокси, которое режет, например, ssh трафик. Также бывают такие ситуации, когда некоторые программы не поддерживают работу через прокси. Это тоже беда. Для себя я нашел 2 запасных способа, которые позволяют решить указанные выше неудобства.

Когда-то я отчаялся подключиться к домашнему серверу через прокси, которое беспощадно режет ssh трафик. Пробовал хитрые схемы с переносом sshd на другой порт, надеясь, что закрыт просто 22-ой. Но оказалось дела обстоят сложнее.

Httptunnel

Сначала в своей практике столкнулся с httptunnel. Клиент/серверная штука, позволяющая пустить необходимый тебе трафик поверх http. Это первое решение, с помощью которого мне удалось достучаться до домашнего сервака по ssh из-за прокси. Неудобство данной утилиты состоит в том, что необходимо предварительно установить серверную часть на машину, до которой хотим добраться. И запустить например так:

hts -F localhost:22 8080

Далее на своей рабочей машине запускаем клиентскую часть, дабы создать туннель:

htc -P <proxy.server.com>:<port> -F 8022 -w <home.server.me>:8080

После этих телодвижений можно подключаться к локальному порту 8022 с помощью ssh дабы добраться до своего сервака:

ssh -p 8022 user@localhost

Для Gentoo я в свое время добавил стартовый скрипт для hts в свой репозиторий.

Proxychains

Недавно случайно наткнулся на proxychains. Удивительная штука. Главная идея подменить socket вызовы так, чтобы они шли через указанные в конфиге прокси. Как подробно это работает не разбирался, но результат меня очень порадовал. Добавляем в конфиг необходимую информацию:

[ProxyList]
http    <proxy_ip>      <proxy_port>
https   <proxy_ip>      <proxy_port>

И теперь можем спокойно подключаться к своему серверу:

proxychain4 ssh <home.server.me>

Также успешно через proxychain4 запускаю десктопную версию Viber'а, которая не поддерживает работу с proxy:

proxychain4 </path/to/Viber>

Указанные решения регулярно использую на Mac'е. В основном proxychains. Все устанавливаю через brew. В любом линуксе они тоже должны быть доступны и успешно работать. Было бы здорово узнать, какие решения есть еще. Ну и надеюсь эта информация будет кому-то полезна. Сам долго искал эти утилиты. Лучше конечно, когда на вашем пути нету прокси.

Direnv

2014-05-14T00:00:00+04:00

Как-то раз в одном из выпусков Разбор Полетов услышал про отличную и удобную консольную штуку: direnv. Она позволяет выставлять необходимое окружение в зависимости от текущей директории. При этом для вложенных папок direnv окружение сохраняется (если не было переопределено), а при выходе из папки возвращается предыдущее рабочее окружение.

На Mac можно установить из brew. Или из исходников с github репозитория (пакетов для популярных дистрибутивов не видел). Для компиляции понадобится Go. Для Gentoo я добавил простенький ebuild в свой оверлей.

Использование предельно простое. Для начала надо добавить в файл инициализации вашего shell'а подобные строчки:

if which direnv > /dev/null; then
    eval "$(direnv hook $0)"
fi

Далее переходим в нужную директорию и обновляем для нее окружение:

$ cd <path/to/project>
$ direnv edit .

При этом открывается .envrc файл из текущей директории в вашем любимом $EDITOR. Сюда и добавляем необходимое окружение в достаточно привычном виде: export VAR=value. Например, для Android проектов я использую нечто вроде следующего:

export ANDROID_SDK=/Users/puzan/apps/android-sdk
export ANT_ARGS="-Dsdk.dir=${ANDROID_SDK}"

Теперь при переходе в папку <path/to/project> мы увидим следующее:

$ cd <path/to/project>
direnv: loading .envrc
direnv: export +ANDROID_SDK +ANT_ARGS
$ echo $ANDROID_SDK
/Users/puzan/apps/android-sdk
$ echo $ANT_ARGS 
-Dsdk.dir=/Users/puzan/apps/android-sdk

При выходе из директории, например на уровень выше, окружение выгрузится:

$ cd ..
direnv: unloading
$ echo $ANDROID_SDK

$ echo $ANT_ARGS 

$

Для Python проектов можно добавить создание внутреннего виртуального окружения. Помещаем слудующую строчку в .envrc:

layout python

При этом в папке ./.direnv/virtualenv/ будет создано виртуальное окружение и в $PATH будет добавлен правильный путь. Другие подобные возможности можно найти здесь или в исходниках.

Есть легкая возможность добавить свои функции. Наприме я добавил для себя возможнось указать, какое существующее Python виртуальное окружение из ~/.virtualenvs/ использовать. Для этого добавляем в файл ~/.direnvrc вот такую функцию:

# Usage: use venv <venv>
#
# Loads the specified python virtualenv
#
use_venv() {
    export VIRTUAL_ENV="${HOME}/.virtualenvs/${1}"
    PATH_add "$VIRTUAL_ENV/bin"
}

После этого в .envrc можно использовать следующую кострукцию:

use venv <venv_name>

В общем, возможности для расширения есть. Думаю можно разширить практически под любую задачу. На мой взгляд direnv очень удобная штука, позволяющая забыть про дополнительную настройку окружения новых проектов. Кроме того эта методика позволяет избежать захламления файлов инициализации.

VirtualBox проблемы с Bridged network через Wifi на Mac

2014-05-08T00:00:00+04:00

На днях столкнулся с проблемой настройки сети в VirtualBox на MacBook. В качестве гостевой системы пробовал Gentoo и CentOS (от Puppet). Ноутбук у меня естественно подключен к сети через Wifi. После некоторых опытов выяснилось, что Bridged Network не работает. Точнее говоря виртуалка не получает DHCPOFFER от dhcp сервера. Вот логи с сервера:

May  6 21:03:41 edi dnsmasq-dhcp[9996]: DHCPDISCOVER(enp1s0) 10.0.2.15 08:00:27:af:18:1e 
May  6 21:03:41 edi dnsmasq-dhcp[9996]: DHCPOFFER(enp1s0) 192.168.0.209 08:00:27:af:18:1e 
May  6 21:03:45 edi dnsmasq-dhcp[9996]: DHCPDISCOVER(enp1s0) 10.0.2.15 08:00:27:af:18:1e 
May  6 21:03:45 edi dnsmasq-dhcp[9996]: DHCPOFFER(enp1s0) 192.168.0.209 08:00:27:af:18:1e 
May  6 21:03:57 edi dnsmasq-dhcp[9996]: DHCPDISCOVER(enp1s0) 10.0.2.15 08:00:27:af:18:1e 
May  6 21:03:57 edi dnsmasq-dhcp[9996]: DHCPOFFER(enp1s0) 192.168.0.209 08:00:27:af:18:1e

И то что видно в виртуалке (время немного не то, но это не страшно: логи были такие же):

May  6 21:56:32 learn dhclient[3262]: DHCPDISCOVER on eth1 to 255.255.255.255 port 67 interval 15 (xid=0x3a4517ed)
May  6 21:56:47 learn dhclient[3262]: DHCPDISCOVER on eth1 to 255.255.255.255 port 67 interval 8 (xid=0x3a4517ed)
May  6 21:56:55 learn dhclient[3262]: DHCPDISCOVER on eth1 to 255.255.255.255 port 67 interval 14 (xid=0x3a4517ed)
May  6 21:57:09 learn dhclient[3262]: DHCPDISCOVER on eth1 to 255.255.255.255 port 67 interval 1 (xid=0x3a4517ed)
May 6 21:57:10 learn dhclient[3262]: No DHCPOFFERS received.

Соответственно этот DHCPOFFER где-то и теряется. Пока еще не искал конкретное место потери этого сообщения. Постараюсь на днях поснифить трафик. Возможно, что Wifi точка от D-Link не пускает через себя часть DHCP запросов. Если кто сталкивался с подобной проблемой и нашел путь настроить Bridged Network через Wifi на Маке милости прошу в комментарии.

Хочу заметить, что все отлично работает если Mac подключать через Ethernet. Также нашел багрепорт 2-х летней давности на подобную ошибку. И еще где-то полгода назад настраивал аналогичное дело, но вроде бы (могу ошибаться) подобных проблем с сетью не было.

Сам нашел для себя следующий обходной путь. Добавил 2 сетевых адаптера для виртуалки. Первый настроил через NAT (для доступа к интернету). Второй через Host-only Adapter (для SSH из внешней системы). Соответственно первая сетевуха внутри виртуалки нормально поднимается через dhcp. А вот для второй надо указать статический ip. Пробовал использовать dhcp сервер для Host-only сети (галочка в настойках соответствующей сети в VirtualBox), но ip так и не был получен. В принципе мне достаточно пока статического адреса, но все же было бы удобнее получать его автоматом.

Какое решение тут будет самым оптимальным? Есть подозрение, что моя схема несколько избыточна. Для меня достаточно иметь SSH доступ к гостевой системе и чтобы она имела доступ в интернет.

Новый блог

2014-04-18T00:00:00+04:00

После многих раздумий и рассмотрения нескольких ваиантов, я решил перенести все свои блоги в одно место. Когда-то давно я использовал ЖЖ для общих тем. Потом сделал отдельные бложики для линукса и книг на blogger'е. Еще была музыкальная тема, но онп как-то совсем у меня не прокатила. Теперь я решил соединить все что пишу в одном месте, но публиковать соответствующие записи в разных категориях.

Итак сегодняшний вариант моего присутствия в сети - это статический сайт, сгенерированный с помощью Pelican и выложенный на Github.

Пару слов про хостинг. В качестве него я решил использовать Github Pages. Вариант с доставкой контента на сервер с помощью git очень удобен. Репозиторий связанный с этим сайтиком представляет собой 2 несвязанные ветки. Одна для исходных текстов в Markdown (source). Другая для сгенерированных html страничек (master). Для публикации на master ветку использую ghp-import. Для удобства поправил Makefile следующим образом:

github: ghp
    git push origin master

ghp: publish
    ghp-import -b master -m "Site update $(NOW)" $(OUTPUTDIR)

Мне очень нравится писать тексты в Markdown, поэтому я смотрел в сторону движков, генерирующих статику из этого формата. На блоггере я тоже сначала писал в Markdown, потом конвертировал в html и с помощью googlecl публиковал заметки. Немного про публикацию с помощью этого варианта описано здесь. Сначала думал об Octopress (Ruby), но где-то на Радио-Т услышал или прочитал о Pelican (Python). И выбор пал именно на этот вариант, так как Python мне несколько ближе, чем Ruby. Смогу в случае чего подправить что-нибудь под свои нужды.

В общем сейчас уже работают disqus-комментарии. В ближайшее время обновлю RSS-ленты на feedburner. Ну и потихоньку перетащу старые заметки, которые я еще в muse писал. Также буду постепенно править тему. Если есть предложения - высказывайтесь!

Как создать bridge на nfs root

2013-09-03T00:00:00+04:00

Для поднятия сети на одной железке возникла необходимость создать bridge. Но загвоздка в том, что система должна при загрузке монтировать nfs в корень. Данное условие необходимо для возможности быстро изменить что-то в системе без необходимости лезть на флешку. Отладка идет полным ходом. Но основная проблема как раз в том, что при создании bridge сеть придется в любом случае оборвать. Nfs такого пережить не может и отваливается. Соответственно система дальше грузиться не может так как нету корневой файловой системы и сеть также сама вернуться не может.

Я уже думал искать какое-то альтернативное решение: как неожиданно мой коллега натолкнулся на небольшую заметку, в которой описано как обойти указанную проблему.

Сущность данного решения сводиться к тому, что надо все файлы, необходимые для настройки bridge, скопировать в раздел с tmpfs, который будет доступен после обрыва сети. Я, например, использовал /tmp. А потом запустить создание bridge из нового окружения. Данный метод работает на ура, нареканий не заметил.

Вот собственно решение с моими малюсенькими изменениями:

set -x
mount -o remount,exec /tmp
R=/tmp/root
IPADDR=192.168.0.159/8

mkdir -p "$R/proc"
cp -r /sbin /bin /lib "$R"
cat > "$R/script" <<EOF
mount -t proc none /proc
brctl addbr br0
brctl addif br0 eth0
ifconfig br0 "$IPADDR"
ifconfig eth0 0.0.0.0
umount /proc
EOF

chroot "$R" sh script
rm -r "$R/sbin" "$R/bin" "$R/lib"

В нутрь script в принципе можно вставить все, что вам будет необходимо.

Хорош ли метод? Мне по крайней мере понравился. Есть еще предложения, как возможно решить данный вопрос?

Emacs + Java

2013-08-25T00:00:00+04:00

Появилась у меня в последнее время необходимость основательно познать Java. Очень долго не смотрел в его сторону, были у меня некоторые предубеждения. Я всегда думал, что plain C и Lisp это наше все. И этого достаточно. А сейчас работа повернулась стороной с Java лицом и соответственно захотел быстренько познать его особенности, а также настроить свой любимый редактор для удобной работы с этим популярным языком программирования.

Для каждого языка программирования в Emacs я стараюсь настроить следующие возможности:

Подсветка синтаксиса (есть из коробки)
Авто дополнения (желательно через auto-complete)
Навигация по коду
Работа с проектами (опционально, люблю работать в консоли вне Emacs)
REPL (также опционально, но очень помогает во время обучения)

Из коробки в java-mode фактически работает только подсветка синтаксиса. Cedet идущий с Emacs'ом также позваляет настроить автодополнения и навигацию внутри классов. Но вот, например, системные вещи наотрез отказывается предлагать в качестве дополнений.

В общем я решил посмотреть, какие сейчас есть удобств для работы с Java в Emacs. При этом я наткнулся на следующие вещи:

Немного впечатлений о каждом расширении. Все пробовал на MacBook Air, OS X, Emacs 24.3.1 из MacPorts.

JDEE

Старое и похоже переставшее развиваться расширение. Сразу не понравилось, что тянет с собой свою цветовую схему. Мелочи, но они всегда бросаются в глаза. Также JDEE каким-то образом умудряется нарушить работу whitespace-mode, который перестает подсвечивать вообще что-либо. Данную проблему решить не смог. Есть у меня подозрение, что это связано с перекрашиванием буфера, но глубока не капал за ненадобностью. Нечто похожее сейчас есть в markdown-mode. Ну и каких-то особых возможностей здесь не нашел. Все плюшки сделаны через Cedet, соответственно их можно получить и без JDEE.

Malabar-mode

Завязан на Maven, про который ранее слышал совсем чуть-чуть и отдаленно. Быстренько глянул, как работать с этим менеджером проектов. Создал тестовый проект, но производительность malabar-mode вообще не порадовала. Он как я понял использует Groovy console для формирования дополнений. И это похоже порой не быстрый процесс. В общем от этого варианта тоже отказался. Кроме того проект также загибается. Хотя в знакомстве с malabar-mode есть свой плюс: я узнал что такое Maven и как с ним работать.

Eclime

Вот это вообще монстр. Идея затащить в Emacs (изначально в Vim) функционал Eclipse через некий интерфейс тоже на деле оказывается не шибко производительна. В данном случае eclime запускает Eclipse на заднем плане и общается с ним, чтобы получить автодополнения и еще некоторый функционал (рефакторинг, навигация по коду и т.п.). Скорость отзывчивости данной системы еще меньше, чем у Malabar.

Auto Java Complete

Смысл данного расширения прост: сгенерировать теги необходимых Java библиотек и предоставить интерфейс для auto-complete. Я попробовал использовать готовые теги и это работает достаточно быстро и удобно. Но тут мы получаем только информацию системных библиотек и того что сами укажем ручками при генерации тегов. В принципе в связке со стандартным Cedet идущим с Emacs'ом должно всего этого хватить.

Cedet Dev

Самый удобный, как мне кажется, вариант это использовать последнюю версию Cedet из Bazaar репозитория. Тут сейчас Java хорошо поддерживается. Maven проекты кстати тоже отлично воспринимаются. По работе и настройке Cedet лучше обращаться к статье Alex Ott'а.

На данный момент я остановился на последнем варианте: Cedet Dev + auto-complete. Есть у кого еще предложения как улучшить жизнь в Emacs при работе с Java? Или все таки Cedet это наше все и смотреть в другие стороны лучше не стоит?

Панов В. - Анклавы

2013-08-20T00:00:00+04:00

За последний год я познакомился с тремя произведениями Вадима Панова, связанными с миром Анклавов:

Поводыри на распутье
Костры на алтарях
Продавцы невозможного

Первую книгу из серии я читал ранее, про нее был отдельный пост. Так как отдельно про указанные выше произведения не писал, то решил скомпоновать все свои анклавские заметки в одном месте.

Анклавы сначала мне очень понравились. Помню, во время прочтения первой книги, я был восхищен новым технологическим миром. Борьба корпораций, новый источник энергии, наноштуки и супер программисты. Затем возник некоторый дискомфорт при появлении всякой мистики, волшебных и религиозных вещей. Да, это все было с самого начала, но не так сильно выпячивалось.

Очень удивило, что главного героя первой книги, хакера Чайку, автор засунул в Африку (я кстати сам сейчас в ЮАР) и держал там аж до 4-ой книги? В общем пока его мусолили в Африке я совершенно охладел к серии. И в итоге последнюю книгу, Хаосовершенство, я даже не открывал.

На протяжении всей серии каждая книга заканчивается почти счастливым концом. Все главные герои умудряются остаться в живых после ого-го каких передряг. Урзак точно должен был прихватить кого-нибудь на тот свет. Но нет. В этом плане видимо "Костры на алтарях" несколько отличились: Дорадо все таки погибает.

В серии видимо ставится будоражащий вопрос сосуществования религии и технологий, но раскрывается он методами, которые меня совсем не захватывают. Да экшен, да полюбившиеся мне рваное повествование. Но я ожидал качественную технологическую историю, а не борьбу религиозных фанатиков.

Понравился стеб над Европой, которая в мире Анклавов вступила в Исламский союз: "для правоверного европейца помолиться в мечети Трех имамов почти столь же важно, как совершить хадж в Мекку". Весело да смешно, да только похоже именно до этого докатится современная Европа когда-нибудь.

Ну и на последок надо сказать, что всегда на жизнь будут большое влияние оказывать чувства и вера. Технологии это только побочный продукт жизни. В то время как наши чувства и есть сама жизнь. Данная мысль, по-моему, периодически поднималась во всех книгах серии. И это конечно здорово.

Хранение конфигурационных файлов (RCS & Git)

2013-06-11T00:00:00+04:00

Когда-то давным давно, я впервые познакомился с системами контроля версий. Наверное это была CVS. Git'а тогда еще в планах думаю не было. Возникла у меня примерно в то далекое время логичная идея хранить все настройки в какой-нибудь подобной системе. Так совпало, что тогда же я активно изучал Emacs. И наткнулся тагда я на Version Control расширение. Именно оттуда я узнал о более древней системе: RCS. Как ни странно, именно в эту систему Emacs предлагает добавить файлы по умолчанию (C-x v v).

Так вот, с тех давних пор у меня все хранилось в RCS. Вообще говоря это достаточно удобно, если единственная задача: хранить историю изменений на одной машине. Все управление через Emacs. Я даже не особо знаю ключи команд ci и co.

Теперь же у меня фактически 4 компьютера, на которых я хотел бы иметь одинаковые, хотя бы, пользовательские настройки. Например, для bash или того же git. Для этого я задумал поместить все необходимые файлы из домашней директории в git репозиторий. Но положить в git всю или часть домашней директории похоже нехорошая идея. Однозначно будут глюки с git prompt. Если не добавить все файлы в .gitignore, то git prompt просто подвесит консоль: сканирование всей домашней директории не быстрое дело. Думаю это не единственная проблема.

Я решил воспользоваться следующей схемой. Нужные файлы скопировать в специальную папочку. В ней организовать git репозиторий. А в домашней директории создать ссылки на файлы из этой папки. Для автоматизации последней задачи я написал небольшой скриптик. Когда доработаю, выложу на github.

Еще одна проблема: специфичные настройки определенных машин. Например, PATH в Linux и OS X местами различаются (избыточности не хочется). В .gitconfig у меня даже различие есть. Для решения этого вопроса я создал для каждой машины, которой необходимы какие-то особенности, специальную ветку. Общие настройки хранятся на master ветке. Неудобство этой схемы связанно с тем, что надо постоянно сливать изменения с master'а в специфичные ветки. Может есть какое-то более простое и элегантное решение?

Ну а системные настройки (/etc/) я так и продолжаю хранить в RCS. Если будет задача настройки нескольких одинаковых машин, то можно будет подумать на тему синхронизации через git. Пока это не нужно. RCS хранит историю и этого достаточно. Насколько знаю portage в gentoo можно настроить для сохранения истории в RCS (см. /etc/dispatch-conf.conf). Но сам я этой возможностью не пользуюсь. Что-то там не состыковывается с моими привычками.

Замятин Е. - Мы

2013-06-06T00:00:00+04:00

Полюбил я антиутопии! Просто красота! "Мы" было прочитано мной примерно год назад. Имен героев даже не помню. Хотя, как их запомнишь? Они же все нумера. А вот память на цифры у меня ужасная.

Замечательный стройный и ровный мир цифр. Читаешь и думаешь, что все они там сумашедшие. Нереально современному человеку спокойно выжить в этом гладком мире. Наверное именно эта абсурдность антиутопий меня и привлекает. Вообще думаю умение понять, когда что-то или кто-то начинает перебарщивать и вовремя его остановить очень полезно. Для людей в целом.

Во время развития сюжета, чувствуется как у героя изменяется ощущение мира. В самом начале мир изображен очень четко. Резкие границы, прямые линии. К середине все уже в тумане. Появляются длинные, красивые лирические отступления. Герой видит все немножко расплывчатым, не обращает внимания на этот угловатый мир. Ему это все становится не важно. Он влюблен…

"-" (минус) — просто чудеснейшее из известных мне ругательств ("Все в рот!!!" нервно курит в сторонке). Как просто и стройно оно вписывается в общую концепцию представленного мира. Интересно, что в тексте ни разу само слово минус не было использовано. Только знак. Так автор еще больше придает отрицательную окраску данному ругательству. Мнимая единица наверное это вообще что-то нереально грубое. Придумать аналог из современного мира мне сложно. Я не ругаюсь.

Вообще говоря удивительно, как произведение Оруэлла "1984" похоже на детище Замятина. Сюжеты одинаково завязаны на женщинах. Герои благодаряя им (или из-за них) попадают в некое подобие сопротивления. Ну и в итоге все конечно же срывается. Но есть существенная разница в концовках. Герой Замятина прогибается под научный прогресс и лишает себя чувств. Наука побеждает в этом мире т тут не остается места эмоциям. А герой Оруэлла не выдерживает психологического давления и признается в любви Большому Брату. Даже не знаю, что хуже. Однозначно только то, что все это печально.

Надо бы обязательно прочитать еще "Утопию" Мора. Вся история про утопии и антиутопии как раз с этого произведения началась, а я и не знаю точно, что там внутри. Государство Платона, кстати, тоже думаю из той же оперы.

Gems и другие пакетные менеджеры

2013-06-04T00:00:00+04:00

Только недавно столкнулся и попробовал использовать rubygems. Ранее все устанавливал через portage. Но частенько стали попадаться статьи, в которых пишут нечто вроде следующего:

gem install git-up
gem install bundle

Это добро у меня вызывало, некоторое недоумение (что еще за левые пакетные менеджеры???) и я бежал искать аналоги в portage. Частенько этого не находилось даже в различных overlay'ях. И вот в один из таких моментов, решив сэкономить время на поиск ebuild'ов, я все-таки выполнил указанную команду. И получил необходимое приложение в ~/.gem/ruby/1.9.1/bin.

Но тут пользователи gentoo столкнуться с некоторым затруднением. Этот дистрибутив не очень дружелюбен для ruby. То, что установится, не будет доступно в PATH. В других используемых мной системах аналогичной проблемы замечено не было. В OS X и Windows (Cygwin) PATH сам без дополнительных движений обновляется.

На bugs.gentoo.org нашел следующее универсальное решение. Создаем в папке /etc/profile файл следующего содержания:

if [[ -L "/usr/bin/ruby" ]]; then
    RUBY=$(readlink /usr/bin/ruby 2> /dev/null)

    case "${RUBY}" in
        *18) VERSION="1.8" ;;
        *19) VERSION="1.9.1" ;;
          *) VERSION="${RUBY##*/}" ;;
    esac

    export PATH="${HOME}/.gem/ruby/${VERSION}/bin:${PATH}"
fi

После этого все будет доступно как надо.

Похоже использовать gem намного удобнее, чем стандартный пакетный менеджер. Тем более на своей локальной машине с фактически одним пользователем (root не считается). Конечно можно добавлять себе постоянно новые overlay и писать новые ebuild. Но как показала моя практика это занимает существенно больше времени. Да и кроме того написание однотипных ebuild не особо интересное занятие. Генератора нету случаем? Не знаю как дело обстоит в других дистрибутивах, но думаю как-то также.

Еще в последнее время натолкнулся на pip для python и npm для node.js. Идея общественных хранилищ для программ, написанных на определенном языке как никак популярна сейчас. И это реально удобно.

Личный Firefox Sync

2013-06-03T00:00:00+04:00

Для синхронизации браузерной информации я использую Firefox Sync. Но совсем недавно замучили проблемы синхронизации. Постоянно появлялась ошибка, что сервер не доступен, хотя на сайте mozilla не было сообщений о каких-то ошибках и неполадках в работе сервиса. Сейчас кстати есть:

The Firefox Sync service is undergoing some load issues, if you are experiencing problems please wait and try again soon. We are working on it presently.

Помучившись так недельку, я решил поднять личный Firefox Sync сервер на своем псевдо сервере. Быстренько нашел ebuild'ы для gentoo. И, вуа-ля, у меня рабочий сервер для синхронизации. Еще я написал init скрипты и выложил свой overlay на github. Если кому-то нужно — пользуйтесь на здоровье.

Плюсы которые обнаружил во время использования личного Firefox Sync сервера:

Нет проблем с доступом, точнее их я могу решить сам. Более того, так как я единственный пользователь своего сервера, то нет проблем с загруженностью. А вот доступной поддержки для Firefox Sync не нашел. Признаюсь не сильно и искал.
Фактически нет ограничения на размер хранимых данных. Стандартный 5-ти мегабайтный предел я умудрился превысить.

Git: Объединение merge коммитов

2013-06-01T00:00:00+04:00

Возникла у меня на работе необходимость объединить два merge в один. Делал большое и несколько конфликтное слияние. А во время этого в Gerrit на мою ветку успели залить что-то новое, вызвавшее новые конфликты с моим merge. Соответственно необходимо было слить эти изменения тоже. На тот момент я видел следующие варианты:

Самый простой способ: сделать еще один merge. В итоге получаем еще один дополнительный commit и разветвленную историю.
Сделать полный merge заново. Повторять уже сделанное не хочется.

Я решил найти вариант, позволяющий в результате первого простого способа получить один коммит. Оказалось эта операция не совсем очевидна. Как всегда в последнее время, нашел решение на stackoverflow. Опишу весь процесс с начала до конца с историей тестового репозитория (git log --oneline --graph --decorate):

Итак, мы сделали какой-то абстрактный merge master в feature ветку с исправлением всех конфликтов:

$ git checkout feature
$ git merge origin/master

*   b8c37f7 (HEAD, feature) c'
|\
| * 7020561 (origin/master) b
* | 2a55e67 (origin/feature) b'
|/
* b888f61 a

Далее кто-то добавил что-то новое на feature ветку:

* 3820f07 (origin/feature) c'
| *   b8c37f7 (HEAD, feature) c'
| |\
|/ /
| * 7020561 (origin/master) b
* | 2a55e67 b'
|/
* b888f61 a

Делаем дополнительный merge и видим не особо приятную историю:

$ git merge origin/feature

*   781dea7 (HEAD, feature) d'
|\
| * 3820f07 (origin/feature) c'
* |   b8c37f7 c'
|\ \
| |/
|/|
| * 7020561 (origin/master) b
* | 2a55e67 b'
|/
* b888f61 a

А теперь собственно решение с выправлением истории. Делаем reset на коммит, с которого надо делать merge:

$ git reset --soft origin/feature

* 3820f07 (HEAD, origin/feature, feature) c'
* 2a55e67 b'
| * 7020561 (origin/master) b
|/
* b888f61 a

Далее симулируем merge с origin/master и делаем commit:

$ git rev-parse origin/master > .git/MERGE_HEAD
$ git commit

*   3b01bf0 (HEAD, feature) d'
|\
| * 7020561 (origin/master) b
* | 3820f07 (origin/feature) c'
* | 2a55e67 b'
|/
* b888f61 a

Как видим в итоге получилась аккуратная история с необходимым полным слиянием веток. Теперь можно делать push. Данный способ можно использовать для объединения любого количества merge коммитов.

По идее надо запрещать людям добавлять новые изменения во время крупных слияний. Так будет возникать меньше затруднительных ситуаций.

Git + кириллические имена файлов на OS X

2013-05-24T00:00:00+04:00

Не ожидал, что в мире современного ПО могут быть проблемы с Unicode. Мне казалось, что все неприятности с кодировками закончились с приходом Unicode'а. Давно по крайней мере с ними не встречался. Но, как оказалось, git несколько некорректно работает с русскими именами файлов на Mac'е.

Есть у меня репозиторий, в котором я храню все свои заметки. Половина из них была написана в muse-mode, остальное в Markdown. Соответственно имена файлов с текстом содержат заголовки, содержащие кириллицу. Мне так удобнее. Ранее с таким подходом ни разу проблем не встречал.

И вот проблема на Mac'е. Все русские буквы в выводе git status отображаются в восьмеричном виде. И более того все файлы содержащие в именах кириллицу помечаются как untracked. Пример:

$ izonov:text izonov$ git status
# On branch master
# Your branch is ahead of 'origin/master' by 1 commit.
#   (use "git push" to publish your local commits)
#
# Changes not staged for commit:
#   (use "git add <file>..." to update what will be committed)
#   (use "git checkout -- <file>..." to discard changes in working directory)
#
#   modified:   "linux/2013-05-24 - Git + \320\272\320\270\321\200\320\270\320\273\320\273\320\270\321\207\320\265\321\201\320\272\320\270\320\265 \320\270\320\274\320\265\320\275\320\260 \321\204\320\260\320\271\320\273\320\276\320\262 \320\275\320\260 OS X.md"
#
# Untracked files:
#   (use "git add <file>..." to include in what will be committed)
#
#   "linux/2013-05-24 - Git + \320\272\320\270\321\200\320\270\320\273\320\273\320\270\321\207\320\265\321\201\320\272\320\270\320\265 \320\270\320\274\320\265\320\275\320\260 \321\204\320\260\320\270\314\206\320\273\320\276\320\262 \320\275\320\260 OS X.md"
#   .....

Вторая проблема (untracked файлы) решается достаточно легко. Подсмотрено в вопросе на Stackoverflow:

git config --global core.precomposeunicode true

После этого видим следующее:

$ izonov:text izonov$ git status
# On branch master
# Your branch is ahead of 'origin/master' by 1 commit.
#   (use "git push" to publish your local commits)
#
# Changes not staged for commit:
#   (use "git add <file>..." to update what will be committed)
#   (use "git checkout -- <file>..." to discard changes in working directory)
#
#   modified:   "linux/2013-05-24 - Git + \320\272\320\270\321\200\320\270\320\273\320\273\320\270\321\207\320\265\321\201\320\272\320\270\320\265 \320\270\320\274\320\265\320\275\320\260 \321\204\320\260\320\271\320\273\320\276\320\262 \320\275\320\260 OS X.md"

Решения отображения русских букв в git status я не нашел. Кириллические символы в именах новых и измененных файлов все равно отображаются в восьмеричном виде. Как вариант можно использовать git add -i. Там все символы отображаются в привычном виде.

P.S. [2013-05-28]: Вчера Konstantin Khomoutov подсказал, как решить проблему отображения русских букв в git:

git config --global core.quotepath false

Evernote Web Clipper. Опять забыл пароль?

2013-05-23T00:00:00+04:00

Довольно часто пользуюсь Evernote. Это действительно удобный инструмент для ведения заметок. Пользуюсь им с iPhone и через веб интерфейс с остальных систем (дом - Linux, работа - Windows). А теперь еще и оригинальным приложением для Mac'а пользоваться начал.

Все это к чему? Есть у этого замечательного сервиса казалось бы отличное дополнение для Firefox: Evernote Web Clipper. Но! После одного из последних обновлений он напрочь отказывается запоминать пароль и с жуткой периодичностью просит авторизоваться.

В Firefox на Mac'е подобные проблемы не наблюдаются. Логиниться часто не просит. Думаю это связано с тем что последнее обновление клиппера было установлено на чистый профиль.

Буду завтра на работе (до домашнего компа пока добраться не могу) пробовать установить Evernote Web clipper поверх нового профиля Firefox'а.

P.S. [2013-05-24] На работе поставил поверх чистого профиля клиппер. Он пароль вроде как перестал агрессивно спрашивать. Когда до стационарного компьютера доберусь, попробую найти файлы, которые надо почистить, чтобы профиль не менять.

Xbox One. Впечатления

2013-05-22T00:00:00+04:00

Во время написания вчерашнего поста одним глазом смотрел презентацию Xbox One. Похоже уже давним являюсь поклонником Xbox'а. Давным давно купил Xbox 360 пополам с сестрой. Веселая была история! Чтобы уговорить сестру на подобную сделку, был куплен специальный розовый джойстик. До этого я долго не играл на PC, так как снес Windows и погрузился в мир Linux. Было в общем не до компьютерных развлечений. После приобретения приставки я вернулся в новый для меня мир игр. Сейчас же играю в основном в хоккейчик, но и то редко.

Вернемся к Xbox One. Девайс однозначно крутой. Начинка его будет покруче всех моих девайсов вместе взятых. И видимо надо будет брать, если будет желание порвать всех в новом хоккейчике. А он то однозначно будет.

Не понравились некоторые маркетинговые и дизайнерские фишки. Например само имя "Xbox Единственный" (не знаю как лучше перевести. "Xbox Один"?). У меня по крайней мере сразу складывается впечатление, что вот он венец игровых технологий и лучше точно не будет. Привередливый я. Напомнило iPad New и следующий за ним iPad 4. Напридумывают всяких хитрых имен для устройств, а потом мучаются. Кстати почему Xbox 360 я тоже не знаю. Не интересовался.

Сам вид нового устройства с первого раза больше напомнил страшно сказать Play Station. Черный, квадратно-прямоугольный. Где элегантность предыдущих Xbox'ов? Также ожидал, что все поместят в одну небольшую коробочку, а в итоге их две. Сенсор Kinect снова в отдельной коробке. В принципе понимаю почему так сделали (удобнее и легче Kinect устанавливать отдельно над или под телевизором). Но было бы думаю круто иметь одну компактную коробку вместо нескольких. Надеюсь они общаются без проводов. Пропустил этот момент.

В джойстике порадовало, что кнопку Xbox передвинули подальше вперед. На старых (ох, они уже старые) контроллерах периодически случайно эта кнопка нажимается. И это уж очень мешает игре.

Можно заметить, что мои претензии достаточно мизерны. Это все последствия моего дурного вкуса. Но мой совет всем: надо брать. Чего только стоит устроить танцевальную вечеринку (Dance Central). Сколько с друзьями не собирались все в полном восторге. Xbox однозначно лучший продукт Microsoft (как бы я недолюбливал эту компанию). Если игры и компьютерные развлечения, то только Xbox.

Macbook Air, блог и bash crash

2013-05-21T00:00:00+04:00

Со вчерашнего дня решил писать по записи в день в данный блог, но умудрился уже проштрафиться. Просто напросто не успел. Этот план направлен на структуризацию своих мыслей. Хочу лучше понимать куда стремиться и чем лучше интересоваться, заниматься. Кроме того довольно часто начал сталкиваться с различными вопросами, решения которых не получается с первого раза найти в google (искать наверное разучился). Буду выносить все это дело в виде постов сюда. Постараюсь чтобы сюда попадали исключительно околотехнические темы. Остальное в Google+ или Twitter.

Итак начну с того, что любимая девушка подарила мне на день рождение MacBook Air. Поэтому с этого момента на данном блоге будут появляться посты посвященные и данному замечательному устройству, а также OS X (название блога видимо надо немного поменять). Все они будут помечены с помощью тега mac.

На Mac'е как раз и столкнулся с одной неприятной мелкой проблемой, которая несколько меня раздражает, но на данный момент я не знаю, как ее решить. Сразу же при получении этого девайся я начал устанавливать привычное мне консольное окружение. Для этого я использовал macports.

Настроил git completion и prompt, используя скрипты из git-core порта. Были установлены следующие версии портов:

bash 4.2.42_0
bash-completion 2.0_1
git-core 1.8.2.3_0

И теперь, время от времени после выхода из свящего режима, bash падает вот с такой ошибкой:

-bash(23573,0x7fff75972180) malloc: *** error for object 0x7fb1cb40c530: pointer being freed was not allocated
*** set a breakpoint in malloc_error_break to debug

При этом я не совсем уверен, что эта ошибка связана с bash-completion или git. Буду искать решение, но отказываться от completion и prompt совсем не хочется. Думаю попробовать bash из homebrew, ну или ручками собрать. Какие еще варианты? Куда копать на mac'е?

PS. Вот и ушло у меня пару часов на написание казалось бы небольшого текста.

P.S. [2013-05-25] bash все равно продолжает падать даже с выключенными completions и git-prompt. Происходит это стабильно раз в день.

Infinality патчи на стабильной ветке

2013-02-12T00:00:00+04:00

Как-то я пропустил тот факт, что похоже уже давно infinality патчи находятся на стабильной ветке в gentoo portage. До этого ставил их из lcd-filtering. Теперь все намного проще. Добавляем USE-флаг infinality в make.conf и пересобираем freetype:

emerge -1q freetype
eselect fontconfig enable 52-infinality.conf
eselect infinality set infinality
eselect lcdfilter set infinality

Как видим теперь необходимо несколько раз дополнительно запустить eselect. При этом вариантов для выбора eselect infinality и eselect lcdfilter предоставляют многовато. Я с ними не экспериментировал. Если кто пробовал, поделитесь впечатлениями.

Использование Gitolite вместе с Redmine

2013-02-05T00:00:00+04:00

Появилась необходимость добавить git репозиторий в Redmine проект на домашнем сервере. Для управления git репозиториями использую Gitolite. Как оказалось по-умолчанию Gitolite запрещает доступ всем кроме пользователя, которым он обслуживается. В моем случае доступ есть только у пользователя git. Redmine же запускает пользователь redmine. В общем главная загвоздка — найти umask опцию в настройках Gitolite.

Решение со Stackoverflow:

Добавляем в Redmine путь к необходимому репозиторию. Например: /home/git/repositories/repo.git.
Добавить пользователя, который запускает веб-сервер с Redmine в git-группу:
```
  usermod -a -G git redmine
```
В файле .gitolite.rc (находится в домашней директории git) поменять значение UMASK с 0077 на 0027. Теперь новые файлы Gitolite будет создавать с правами на чтение для группы git.
Также необходимо поменять права доступа для всех существующих репозиториев. В директории с репозиториями запускаем следующее:
```
  chmod -R g+rX
```

Есть еще варианты решения этого вопроса?

Svn to Git

2013-02-03T00:00:00+04:00

Краткая инструкция миграции с svn на git

Руководство к действию

Найти всех авторов с помощью скрипта

#!/usr/bin/env bash
authors=$(svn log -q | grep -e '^r' | awk 'BEGIN { FS = "|" } ; { print $2 }' | sort | uniq)
for author in ${authors}; do
    echo "${author} = NAME <EMAIL>";
done

Все записи NAME и EMAIL вручную заменяем на необходимые значения.

Склонировать svn репозиторий
```
git svn clone [-s] --no-metadata --username=USER --authors-file=SVN-AUTHORS SVN_URL
```
Пара слов про опции:
- -s — необходима, если используются стандартные svn папки (trunk, tags, branches).
- --no-metadata — удаление записей git-svn-id из логов.
- --username — тут все понятно.
- --author-file — список авторов в svn репозитории (см. пункт выше).
Импорт ignore файлов

На каждой ветке необходимо сделать следующее:
```
git checkout BRANCH
git svn create-ignore
git commit -a -m "Import svn:ignore."
```

Полезные ссылки

Весь этот небольшой материал основан на следующих статьях:

Blogger пост из Emacs? Markdown + Googlecl script

2013-01-24T00:00:00+04:00

Побаловался с googlecl. Умудрился случайно наделать множество постов, состоящих всего лишь из одного слова в своем читальном блоге. Сейчас вроде бы все исправил. Постараюсь подобное предотвращать в будущем. Но главное — проверил, что googlecl работает. Далее хочу обсудить варианты публикации сообщений из Emacs.

Ранее для написания заметок я использовал muse-mode. Каждая muse-заметка экспортировалась в html. А далее я ручками копировал в форму Блоггера нужный контент. Долго я пользовался именно этой схемой. Muse в какой-то момент перестал удовлетворять моим требованиям. Были у него некоторые проблемы со вложенными списками и вставками кода. А всякие списки я ой как люблю. Это наверное последствия долгого использования org-mode. Ну а потом я вообще перестал что-либо публиковать в сети.

Также когда-то я пробовал наладить google интерфейс, который шел в поставке с emacsspeak. Но безуспешно. Интересно в каком состоянии он сейчас? Давно не слышал.

Теперь я собираюсь изобрести новый велосипед. В его основе Markdown и Googlecl. Собственно смысл в том, чтобы написать мини скрипт на bash, который переведет md-файл в html (python-markdown). При этом он должен вырезать избыточные поля. Например, заголовок, который в блоггере в отдельное поле вводится. Далее отправить это добро в googlecl, который успешно опубликует новую заметку с правильным заголовком и тегами в нужном месте. То есть из Emacs надо будет дернуть этот скриптик и собственно все.

Как вариант можно написать полностью тоже самое на elisp, но хочется простой возможности публиковать файлы из консоли. Также я пока не совсем понимаю, как настроить раскраску кода при конвертировании md в html, но думаю с этим больших проблем не должно быть.

Как вам такая схема? Не слишком ли я заворачиваю? Сейчас буду реализовывать это добро.

Акунин Б. - «Левиафан»

2013-01-14T00:00:00+04:00

Начинаю выкладывать свои прошлогодние заметки о прочитанных книгах. Старался во время чтения побольше записывать в Evernote, но это частенько не получалось. Увлечешься развитием событий или какой-нибудь описываемой технологией и в итоге записей нет. Вот прошел год. Отмечено, что книги прочитаны, а заметок совсем немного. Буду сейчас вспоминать и сочинять.

Комментарии приветствуются ;) Их на этом непопулярном бложике совсем немного.

Познал в прошлом 2012 году около десятка книг. Это была как художественная, так и техническая литература. Для начала начнем с Акунина. «Левиафан» я прочитал в начале 2012 года, а именно 4 января 2012-го года.

Произведения Акунина мне нравятся, но читаю я их редко. Всю серию никак не осилю. Книга про Фандорина в год наверное для меня успех. Хотя по хорошему надо залпом все съесть. Данное произведение прочитал менее чем за месяц, что для меня с моей невероятной медлительностью в данном вопросе очень даже неплохо.

Что же особенного я заметил в «Левиафан»-е? Если ранее господин Фандорин был вовлечен в некие глобальные передряги, то сейчас он попал в расследование на корабле. Собственно все события и происходят на борту этого злополучного «Левиафан»-а. Немного напомнило Агату Кристи, хотя я ее никогда не читал.

Понравилась идея с японскими главами. Необходимо поворачивать книгу и перелистывать страницы снизу вверх. Необычно. Автор видимо надеялся передать так японский колорит. Думаю он этого добился. На мой взгляд так читатель лучше может понять поступки японского героя, господина Аоно (ох, я уже забыл как его зовут). Особенно читатель, совершенно не знакомый с японской культурой (есть такие?). Другое дело была ли эта идея издательства или самого автора?

Фандорин конкретно в этом произведении показался мне более высоким, чем я его раньше представлял. Думаю виной этому являются частые иллюстрации в издании, которое я читал. Надо признать они хороши, но в моем воображении Фандорин другой. Наверное у меня он больше похож на Фандорина из экранизации Турецкого гамбита.

Автор отлично водит сюжет то туда, то сюда. Максимально подпускает героев к разгадке всей картины, а потом отводит ровно в противоположную сторону. Это впечатляет, если учитывать, что действия происходит в замкнутом пространстве корабля. На википедии прочитал это называется «герметичный детектив». Хорошее название. Порадовало.