serpent IT-kit

Как ускорить работу iMac малой кровью.

2015-02-09T07:01:00.001-08:00

"Практика" - просто и дешево:

1. Берем sata3-usb3 box ставим в него SSD не менее 64GB.

Собранный SATA3-USB3-BOX и коробка от него.

2. Разбиваем и форматируем "родной" дисковой утилитой. Программы -> Утилиты -> Дисковая утилита. Важно! Нам потребуется "Схема разделов GUID".

2.1 Выбрать SSD -> выбрать вкладку "Раздел диска".

2.2 Нажать кнопку "Параметры" в области "Схема разделов:" и выбрать "Схема разделов GUID".

2.3 В области "Информация о разделе" , набрать имя раздела и выбрать файловую систем Mac OS. Нажать "Применить".

3. Перезагрузиться, удерживая alt.

3.1 В загрузочном меню выбираем пункт c префиксом "Recovery"

3.2 В следующем меню нужно выбрать пункт " Переустановить OS X"

3.3 После того, как будет принято лицензионное соглашение и установщик проверит возможность установки, нужно будет выбрать целевой диск установки(SSD диск).

Установка занимает около 20 минут. Когда процесс установки закончится, компьютер перегрузится с SSD. При необходимости в загрузочном меню можно выбрать старый диск и загрузится с HDD(удерживай при загрузке alt).

"Введение" - если вам вдруг станет интересно, как и почему я пришел к такому решению:

При первом знакомстве с iMac, меня разочаровала его производительность. А если точнее - производительность дисковой подсистемы. До того, как он попал мне в руки, я уже пару лет пользовался SSD дисками. А все модели iMac-2013(2014 тоже) кроме топовых(самых дорогих) укомплектованы HDD. А если человек просидел на SSD хотя бы несколько месяцев, ему будет просто физически тяжело работать на HDD. Было ясно, нужно ставить SSD.

Но проблема в том, что все моно-блоки apple выпуска 2013+ года не так то просто разобрать и еще сложнее собрать обратно. Стекло приклеено, разборных винтов просто нет, все уложено очень плотно(легко повредить). Я нашел в сети несколько роликов, где ребята при помощи фена, гитарных медиаторов, обрезков пластиковых карточек и других подручных средств, разбирают iMac. Нет, этот подход мне, совсем не нравился. Официального сервиса у нас в регионе ,конечно ,нет(если честно, я не уверен в том, что официальный сервис предоставляет такие услуги). Отдавать другим, "не официальным" специалистам, было страшновато, особенно после ознакомления на форумах с подробностями неудачных попыток модификации. В любом случае, все эти варианты выглядели сомнительно и дорого.

Шло время, iMac стоял у меня в качестве "второго монитора" , я использовал его для обработки и хранения фото , видео , других "творческих" задач, которые случаются не так часто. Со временем я пришел к пониманию, что если все это(фото, видео, аудио) я собираюсь хранить на SSD то выйдет слишком дорого. Одних фоток 150GB не говоря уж о аудио/видео. А слот под SATA диск,в этой модели, только один. То есть, если не "колхозить", придеться вынуть терабайтный винт и поставить вместо него 128 или максимум(по бюджету) 256 гиговую ссдеху. Но ее уже будет недостаточно, объем данных уже превысил 256GB.

Обдумывая перспективы, я поначалу "рыл" в сторону thunderbolt sata box, думал повесить на него "родной" терабайтный винт. Но thunderbolt sata box стоит совсем не дешево(~$300-$500+), и как оказалось, не так то их просто купить, то-есть надо было "заказывать". Не найдя ничего подходящего, я оставил эту идею. Да, в то время, с ними была просто беда, сейчас ассортимент стал шире впрочем как и цена :) .

Прошло еще какое то время, и однажды, помогая одному хорошему человеку, я освежил знания по спецификации USB. Если честно , я как то всерьез не воспринимал USB, помню, когда то читал о USB3 еще в первых редакциях стандарта(более 5 лет назад) и с тех пор был уверен в том, что стандарт то вроде как бестолковый и довольно унылый. Видимо почитал, поставил где-то в голове крестик и забыл. Однако, внезапно, оказалось, что USB3 уже почти везде и в полный рост. Скорость передачи до 5Gb/s этого достаточно чтобы перекрыть производительность современных SSD, по питанию тоже все отлично, единственное, что меня беспокоило, будет ли реально отрабатывать usb3 sata box эти 5Gb/s и не упрется ли все в какие нибудь подводные камни? Повидал я на своем веку всякое, одно становление стандарта SATA чего стоило, встречались метеринки с шиной 2Gb/s и заявленной SATA3, с USB2 тоже бывали казусы, особенно часто по питанию. Короче говоря, я уже привык слышать заявления, которые на практике почти никогда не бывают оправданы. По этой причине, прямо скажем, я особо не парился, зашел почти в первый попавшийся магазин, спросил что у них есть, и в итоге, взял usb3 stat box примерно за 1000рублей. Как видно, на первой картинке, это вероятно один из самых обычных, средних, ничем не выделяющийся бокс в море других USB3 боксов для SATA дисков.

По приходу домой я прогнал на нем несколько тестов , и получил в результате ~410MB/s на чтение и ~400MB/s запись. Неплохо для 1000 руб. Немного прикинув, я решил попробовать поставить на него систему и поглядеть как это будет работать. Как оказалось, заработало отлично.

Что еще хорошо, при таком подходе, ничего не потерялось, все данные и файлы, установленный софт, доступны из свеже-установленной системы. Да, кое что нужно поднастроить, подкрутить, но в общем случае, можно сразу приниматься за дело. При необходимости, можно перезагрузиться в старую систему. Риск для системы и железа практически отсутствует. В итоге, на сегодняшний день, в соотношении цена/прирост производительности, это решение мне кажется наилучшим.

Минусы тоже есть: например потери по производительности, из-за накладных расходов конвертирования интерфейсов. Хотя порядок этих потерь вряд-ли может быть различим субъективно. Один из USB портов будет постоянно занят. Есть вероятность "выдернуть" "Системный диск" , по ошибке или случайно. Лишний предмет, который будет постоянно лежать на столе(если конечно не придумать куда его спрятать).

P.S.

Конечно если у вас iMac на SSD эта заметка, не для вас.

Памятка по mysql

2015-02-02T00:30:00.000-08:00

То, чем изредка, но приходится пользоваться. Просто, чтобы не забыть.

shell:
Основные опции mysql и mysqldump:

-u[пользователь]
-p[пароль]
-h[хост]
-P[порт]

Копирование базы (содержимого одной базы в другую базу):

mysqldump [OPTIONS] db_name_source | mysql [OPTIONS] db_name_dst

Бекап + gzip на лету:

mysqldump [OPTIONS] db_name | gzip > ./file.sql.gz

Восстановление из gzip:

gzip -c -d ./file.sql.gz | mysql [OPTIONS] db_name

или

gunzip < ./file.sql.gz | mysql [OPTIONS] db_name

sql:
Добавить текст к содержимому поля:

UPDATE table_name SET field_name=concat(field_name, '<text>');

Поиск и замена текста:

UPDATE table_name SET field_name = REPLACE(field_name, '<find>', '<replace>');

Выбрать определенное количество символов(в примере 100) из поля. Бывает полезно для составления превьюшек большого числа объемистых 'text' полей:

SELECT LEFT (text,100) FROM table_name;

Другие строковые функции

Быстрый фикс для mysql slave(на свой страх и риск!):

mysql> stop slave;
Query OK, 0 rows affected (0.24 sec)

mysql> SET GLOBAL SQL_SLAVE_SKIP_COUNTER = 1;
Query OK, 0 rows affected (0.00 sec)

mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

mysql> show slave status \G

Шпаргалка: как записать установочный образ FreeBSD(или linux) на usb флешку в OS X и FreeBSD-like системе

2014-07-23T03:29:00.002-07:00

Это краткое пошаговое руководство для записи установочного образа FreeBSD из под
Apple Macintosh и других BSD-подобных систем.

1. Скачать подходящий образ http://www.freebsd.org/ru/where.html (щелкнуть на "ISO" напротив нужной архитектуры и выбрать файл, в названии которого явно присутствует "-memstick.img").

2. Запустить терминал.

3. Выполнить команду:

df -h

и найти путь к файлу устройства и точку монтирования USB флешки ( например файл устройства /dev/disk1s1 , точка монтирования /Volumes/MyFlashDrive)

4. Отмонтировать флешку:

sudo diskutil umount /dev/disk1s1

Eсли все прошло нормально в консоли появится надпись: "Volume MyFlashDrive on disk1s1 unmounted".

5. Закатать образ на флешку:

sudo dd if=~/Downloads/FreeBSD-10.0-RELEASE-amd64-memstick.img of=/dev/disk1s1 bs=10240

Посмотреть текущий прогресс можно нажав Ctrl+t .

Что касается linux дистрибутивов то операции аналогичны , но перед записью на флешку образ нужно конвертировать:

hdiutil convert -format UDRW -o ~/path/to/target.img ~/path/to/ubuntu.iso

Ссылки по теме:
http://www.ubuntu.com/download/desktop/create-a-usb-stick-on-mac-osx

Настройка смены полярности вместо callprogres и busydetect на аналоговых линиях.

2013-08-25T09:30:00.002-07:00

Уже довольно давно передо мной стояла задача реализовать автоматизированную систему оповещения на базе asterisk. Для нормальной работы такой системы необходимы определенные условия. Одним из таких условий является однозначное определение факта подъема трубки на принимающей стороне. На аналоговых линиях астериск использует несколько алгоритмов для определения состояния звонка. Настройка callprogres и busydetect для интерфейса dahdi включает алгоритм определения звуковых сигнальных паттернов на линии для определения состояния звонка, этот метод очень популярен, практически все применяют именно его. Но, к сожалению, он не позволяет однозначно определить ровным счетом ничего, то есть нет никакой гарантии, что этот алгоритм не распознает определенную сигнализацию в определенных условиях, либо распознает ее слишком поздно, либо распознает ее там где ее не было. Еще одним недостатком этого подхода является необходимость точного описания паттернов для их обнаружения. Несмотря на то, что в России есть определенные стандарты сигнализации, не всегда операторы в точности их соблюдают, в первую очередь, эти сигналы предназначены для людей, а люди зачастую не предают значения небольшим отличиям в звуке длинного гудка ответа станции или его продолжительности.
Метод определения смены полярности разработан как раз для того, чтобы однозначно обозначить моменты, когда отвечающая сторона подняла трубку и положила ее. Я не буду здесь подробно описывать устройство этого типа сигнализации, информации на эту тему достаточно много в интернете, я сосредоточусь на описании настройки астериска для работы по этой системе и опишу некоторые нюансы.
Предположим в нашем распоряжении имеется сервер с установленным и работающим asterisk(версия 1.8) и настроенным интерфейсом dahdi(версия 2.4), одна, а возможно и несколько аналоговых плат с fxo портами соединенными с оператором. Первым делом необходимо выяснить поддерживает ли ваш оператор эту сигнализацию, а так же добиться от него ее включения на линии.
Проверить видит ли карта переполюсовку можно включив дебуг драйвера dahdi.

echo 1 > /sys/module/dahdi/parameters/debug

После этого действия можно совершить звонок и посмотреть dmesg.

[138842.534627] wctdm24xxp 0000:05:08.0: 4329602929 Polarity reversed (1 -> -1)
[138941.140486] wctdm24xxp 0000:05:08.0: 4329627581 Polarity reversed (-1 -> 1)

Для того, чтобы астериск начал реагировать на смену полярности, необходимо добавить следующие строчки в файл настройки каналов dahdi - chan_dahdi.conf :

answeronpolarityswitch = yes // определяем поднятие трубки при смене полряности
hanguponpolarityswitch = yes // определяем что трубку положили при смене полярности

И тут начинается самое интересное, дело в том, что настройки callprogres и busydetect начинают конфликтовать с настройками answeronpolarityswitch и hanguponpolarityswitch , то есть астериск начинает производить детект дозвона, поднятия трубки и разрыва соединения по всем разрешенным признакам и скорее всего 99% соединений будут разрываться сразу после поднятия трубки на другой стороне. Это означает, что пообщаться по телефону мы сможем только случайно :). Строки с настройками callprogres и busydetect необходимо закомментировать, а еще лучше явно указать запрет использования этих алгоритмов:

callprogres=no
busydetect=no

После всех выше перечисленных действий необходимо выгрузить и загрузить модуль chan_dahdi.so, для этого в консоли астериска набираем:

module unload chan_dahdi.so
module load chan_dahdi.so

К сожалению, использовать команду "module reload chan_dahdi.so" нельзя?! Хоть это и кажется странным и не логичным. "dahdi restart"?!
На сегодняшний день, смена полярности является единственным надежным методом сигнализации поднятия трубки и разрыва соединения для аналоговых линий. Так-же стоит обратить внимание на настройку сигнализации каналов dahdi, в этом примере я использую signalling=fxs_ks .

StarCraft II: Heart of the Swarm! Лучшее что сделали Blizzard за последние годы.

2013-03-20T03:41:00.003-07:00

От StarCraft II: Heart of the Swarm много я не ждал , и был практически уверен, что это очередной тухлый DLC, в котором в сотый раз будет перемалываться, притянутый за уши, сюжет и однообразные задания. Купил я его, можно сказать, по привычке :) и не пожалел.
На этот раз Blizzad действительно перешагнули через свою традиционную занудность и выдали 100% эпига.

Первое, что продавало меня это - массовость. Практически с самого начала появляется возможность управлять 200-юнитовыми армиями разъяренных зергов , и выглядит это просто восхитительно.

Второе, задания несколько отличаются по своему геймплею от всего, что я видел раньше в серии. Они стали динамичнее и веселее. Каждое задание уникально. Обучение и знакомство с новыми юнитами вплетено параллельно линии сюжета и происходит как-бы само собой.

Третье, сюжет средний, но впервые за всю историю серии, я могу сказать, что действительно понял о чем эта компания и что происходило с ее героями. Весь сюжет логичен и линия его простая и прямая. Авторы все таки смогли донести до меня, кто такие зерги и как устроено их сообщество. Рисуется альтернативная картина эволюции вида. Я даже порой ловил себя на мысли, что подобная форма жизни (с некоторыми оговорками) вполне могла бы существовать где нибудь в нашей вселенной :) Кстати, думаю людям из гринписа(или тем кто против технократического пути), стоит поиграть. ;)

Четвертое, музыка! Впервые в игре Blizzard я услышал современную музыку, с качественным НОВЫМ звуком, для серии это настоящий прорыв! Были моменты, когда я прямо заслушивался. Я уж и не чаял, что близы вырвутся из своего занудянского ретро-оркестрового формата.

Пятое, дали погонять героя! Королева клинков жжот просто неподецки. Не то, что-бы это что-то прямо таки новое, но доставляет.

Шестое, юниты , они Новые! Они действительно новые и оригинальные. А мутации юнитов добавляют вариативности в геймплей.

Безусловно, все что делает Blizzard, это проекты высшей пробы, но в последнее время, они меня не радовали. Да я убил дьяблу(3), да я прошел Wings of Liberty, да я скрипя зубами докачался до 90 уровня в WoW. И все эти проекты, наверное, стоят, потраченных на них денег. И все они вроде бы хорошие, и качественные, но...
А Heart of the Swarm - это настоящая игра! Остается только надеяться, что этот свежий тренд Blizzard и дальше будет набирать обороты.

Steam в Ubuntu 12.04 беглый взгляд

2013-02-16T08:02:00.001-08:00

Не так давно Корпорация Valve объявила о выходе Steam для Linux, если честно , я отнесся к этой новости скептически... но все-таки свершилось! Я не принимал участие в закрытом бета- тестировании и не особо следил за развитием проекта, поэтому рассказывать о том, как проект мутировал со старта до официального релиза ,не буду. Так или иначе, сейчас Steam для Linux доступен всем и у меня ,наконец ,до него "дошли руки". В Ubuntu 12.04 пакет Steam появился в репозитарии.
Итак, что же мы в итоге имеем, на моей машине установлен процессор core i5-2500 , 8 гигов RAM и видеоадаптер NVIDIA 650Ti. К сожалению, не все игры запустились с пол-оборота, были и те, что запускаться "не захотели", в частности Dwarfs!? и Titan Attacks, разбираться чего им не хватает, я не стал :).

Serious Sam 3: BFE и Anomaly Warzone Earch показали себя отлично, все работает четко, лагов нет.

Solar 2, Trine 2 и Bastion слегка притормаживают, самую малость, это практически незаметно.

Сам Steam работает так же ме-е-едленно, как и под win, в этом плане прогресса у Valve нет :)

Список игр для linux пока не велик, но и в нем можно найти несколько занимательных вещей. Буду надеяться, что проект не стухнет.

wav to flac

2012-08-06T04:10:00.000-07:00

Недавно начали записывать звонки с asterisk сервера... Поступило предложение: для экономии места пережимать их в какой либо формат. Вначале я склонялся к ogg, но потом решил, что сервер потянет и лослесс.
Если честно ,я был приятно удивлен тем, что эту задачу можно решить элементарно:
Пишем скриптик :

#!/bin/bash
cd /var/spoll/... #путь до директории с файлами звонков
find . -name "*.wav" -exec flac --delete-input-file {} \;  -print

Остается забить его в в кронтаб и дело в шляпе.
/etc/crontab

35 5    * * *   root    /root/conver_wav_to_flac | logger -i -t conver_wav_to_flac

Linux: массовый конверт mp3 в ogg (mp32ogg)

2009-11-22T02:25:00.000-08:00

Внимание! Прежде чем копипастить отсюда дочитайте до конца.
День начался с огорчений... Меня разбудил телефонный звонок, по телефону мне напомнили, что у меня сегодня запланирована съемка... Времени на сборы оставалось мало, как мог быстро, я оделся и обжигаясь выдул кружку кофе. Сижу жду когда за мной заедут, раздается второй звонок, выясняется, что за мной заедут только в течении получаса :) Ну, что делать? Чтобы не терять времени попусту я решил запустить скрипт конвертирования mp3 в ogg который нашел еще вчера. Пока то се, думаю, переконвертит мне пару гигабайт. Запустил mp32ogg --help:


mp32ogg v0.11-gentoo-r2
(c) 2000-2002 Nathan Walp
Released without warranty under the terms of the Artistic License

Usage: /home/serpent/bin/mp32ogg [options] dir1 dir2 file1 file2 ...

Options:
--quality=[-1..10]       Set Ogg/Vorbis quality level
                        Defaults to bitrate of original .mp3
--delete                 Delete files after converting
--rename=format          Instead of simply replacing the .mp3 with
                        .ogg for the output file, produce output
                        filenames in this format, replacing %a, %t
                        and %l with artist, title, and album name
                        for the track
--lowercase              Force lowercase filenames when using --rename
--verbose                Verbose output
--help                   Display this help message

Все ясно - как день, и думать нечего. Но проверить в работе все же надо. перешел в какую-то папочку, запустил mp32ogg *.mp3 результат отличный, папка наполнилась конвертированными файлами. Проверил теги, вся информация перенеслась без потерь. Убедился что битрейт источника и назначения одинаковый, как написано в краткой справке: "если битрейт не указан используется битрейт оригинального .mp3 файла", порадовался... попробовал добавить флаг --delete, все отлично, конвертирование закончилось, оригинальные файлы удалены. Ну можно запускать глобальный перекодинг, подумал я, и тут раздался третий звонок, который означал что за мной приехали и мне пора выходить. Из корня моей музыкальной коллекции запустил :


find -iname '*.mp3' -print0 | xargs -0 mp32ogg -v --delete

и уехал.
Вернулся я часа через три, подошел к компу, дернул мышкой, убедился что процесс идет и отправился обедать. После обеда все тоже было как-то не досуг, пока то се прошло еще часа два - три. И вот, когда я наконец добрался до компьютера, уселся и решил послушать свою любимую музыку, в новом формате... случилось это! Вернее случилось то, что я понял, что "это!" случалось с моими файлами все время с момента запуска перекодирования. В папках файлов не было. Результат перекодирования вываливался прямо в корень моей музыкальной коллекции. Я остановил процесс и начал судорожные попытки вычленить файлы по признаку принадлежности к автору или альбому в этом 10 гигабайтовом месиве. В конце концов я убедился, что это займет гораздо больше времени чем я могу себе позволить. Все это, еще раз, напомнило мне о том, что *nix не терпит суеты. Ну пропало, и пропало, надо как то дальше жить. Порысков по поисковикам я не нашел решения, для того как заставить этот скрипт работать с большим деревом каталогов. Встречались какие-то не внятные попытки заставить обходить каталоги с помощью выражений типа : ./ ./* * , и множественных их повторений, но суть подхода я так и не смог понять, а в общем то и сам автор признавался в том, что не вполне понимает как это работает. В итоге я решил написать скрипт на перле, который по моей задумке должен был, производить рекурсивный обход каталогов, и запускать скрипт в каждом из тех где имелись .mp3 файлы. Но вовремя одумался, ведь mp32ogg это и есть скрипт, зачем что то писать и выдумывать, когда можно только чуть-чуть подправить то, что уже написано. Так и сделал, скрипт оказался на удивление просто и внятно написан. Вообще перл, это страшная сила, бывало так, что уже в процессе разработки перестаешь понимать, что ты там 2 часа назад понаписал и как это работает. Может быть по этому править чужие скрипты на перле всегда боязно.


--- ./mp32ogg_original 2009-11-21 23:40:08.000000000 +0400
+++ ./mp32ogg 2009-11-22 01:12:29.000000000 +0400
@@ -6,6 +6,10 @@
# 

# ChangeLog
+# 0.11-gentoo-r2-serpent
+#     * Bobylev Roman 
+#       Support for output to same directory
+#
# 0.11-gentoo-r2
#     * Mathias Hablützel :
#       Support for german umlaut
@@ -297,33 +301,34 @@
 
 $oggoutputfile_escaped = shell_quote($oggoutputfile);
 $mp3file_escaped = shell_quote($mp3file);
- $result = system("$mpg123 -q -s $mp3file_escaped 2>/dev/null | $oggenc -q $quality --quiet --raw --raw-rate=$frequency --raw-chan=$channels -o $oggoutputfile_escaped $infostring -");
+ $dirname_escaped = shell_quote($dirname);
+ $result = system("$mpg123 -q -s $mp3file_escaped 2>/dev/null | $oggenc -q $quality --quiet --raw --raw-rate=$frequency --raw-chan=$channels -o $dirname_escaped$oggoutputfile_escaped $infostring -");

 if(!$result) {
-    open(CHECK,"$ogginfo $oggoutputfile_escaped |");
+    open(CHECK,"$ogginfo $dirname_escaped$oggoutputfile_escaped |");
    while()
    {
       if($_ eq "file_truncated=true\n")
       {
-   warn "Conversion failed ($oggoutputfile truncated).\n";
+   warn "Conversion failed ($dirname$oggoutputfile truncated).\n";
   close CHECK;
   exit 1;
       }
       elsif($_ eq "header_integrity=fail\n")
       {
-   warn "Conversion failed ($oggoutputfile header integrity check failed).\n";
+   warn "Conversion failed ($dirname$oggoutputfile header integrity check failed).\n";
   close CHECK;
   exit 1;
       }
       elsif($_ eq "stream_integrity=fail\n")
       {
-   warn "Conversion failed ($oggoutputfile header integrity check failed).\n";
+   warn "Conversion failed ($dirname$oggoutputfile header integrity check failed).\n";
   close CHECK;
   exit 1;
       }
    }
    close CHECK;
-    print "$oggoutputfile done!\n";
+    print "$dirname$oggoutputfile done!\n";
    if($delete) {
       unlink($mp3file);
    }

Вот и весь пач. Вся суть исправлений заслешировать $dirname и подставить результат этой операции($dirname_escaped) перед имением файла в параметры oggenc, все остальные подставления, для валидатора, являются косметическими и на суть не виляют. Теперь можно использовать find в связке с mp32ogg. Пропатченый файл http://votkinsk.net/sites/default/files/mp32ogg.tar_.bz2 , вдруг кому пригодится.

Linux: UTF-8 и ID3v2 в музыкальной коллекции.

2009-11-22T02:22:00.000-08:00

Когда музыкальная коллекция становиться довольно объемной и в ней набирается большое количество разношерстных файлов, возникает желание все это дело как то привести к общему виду. Уже довольно давно, я собирался взяться за уборку в своей папке music и вот руки наконец таки дошли.
В первую очередь меня беспокоили абракадабры в плай листах. Хотелось чтобы все было красиво и по русски. Во вторую: ID3v1, которые в последнее время все чаще стали игнорироваться некоторыми плеерами.
Я уж было собирался взяться, за написание матерого перлового скрипта, и уже совсем было полез искать для него подходящие модули... но по ходу поиска модулей, я попал как раз туда куда было мне надо, хотя и не туда, куда хотел. Как оказалась все уже давно написано(хотя если подумать это не "оказалось", это всегда так есть, но не всегда про нашу честь ;) ).
mid3iconv скрипт на питоне, заточенный специально под наши цели, расспрастраняется в составе пакета mutagen ( http://code.google.com/p/mutagen/ ), базируется на id3iconv (http://www.cs.berkeley.edu/~zf/id3iconv/), очень прост в использовании и эффективен в работе.


Usage: mid3iconv [OPTION] [FILE]...

Mutagen-based replacement the id3iconv utility, which converts ID3 tags from
legacy encodings to Unicode and stores them using the ID3v2 format.

Options:
  --version             show program's version number and exit
  -h, --help            show this help message and exit
  -e ENCODING, --encoding=ENCODING
                        Specify original tag encoding (default is UTF-8)
  -p, --dry-run         Do not actually modify files
  --force-v1            Use an ID3v1 tag even if an ID3v2 tag is present
  --remove-v1           Remove v1 tag after processing the files
  -q, --quiet           Only output errors
  -d, --debug           Output updated tags

Files are updated in-place, so use --dry-run first.

Для нас конечно ключевым является флаг --encoding . Большая часть музыки попадает ко мне с id3 тегами в кодировке windows-cp1251, я укажу ее. О другой части файлов с id3 тегами utf-8, беспокоится не нужно, с ними ничего не случится. Если у вас имеются файлы в кодировке koi8-r вам соответственно придется вычленить их из общего числа и перекодировать отдельно. Другой флаг который заслуживает внимания это --remove-v1 , архи нужная в нашем деле вещь, после перезаписи в id3 версии 2 , в случаи если этот флаг установлен, id3 версии 1 удаляется.
Умные люди из Интернетов используют эту утилиту таким образом:


find -iname '*.mp3' -print0 | xargs -0 mid3iconv -eCP1251 --remove-v1

Суть думаю ясна без комментариев. Запускаем из каталога в котором необходимо перекодировать id3 , и очень быстро, получаем нужный результат.
С задачей которая изначально стояла передо мной я справился так быстро, что мне даже поскучнело... ...В плеере красивые русские буковки... ни одного файла со старыми id3v1... так... с кодировками и тегами покончено и что дальше?

А дальше мы займется перекодированием файлов формата mp3 в его свободный аналог ogg, но это будет завтра... ;) а сейчас пора спать :)

Slackware 12.2

2009-01-13T00:49:00.001-08:00

Недавно(2008-12-10) обновился один из самых старых(если не сказать ДРЕВНИХ) дистрибутивов Linux.
Чего нового ?
Ядро 2.6.27.7
GNU C Library 2.7
gcc-4.2.4
Xorg 1.4.2
Xfce 4.4.3
KDE 3.5.10
Apache 2.2.10
PHP 5.2.8
pidgin-2.5.2
gimp-2.4.7
xchat-2.8.6

Slackware linux это дистрибутив который придерживается определенных традиций на протяжении всего в времени выпуска... основной упор дистрибутива это стабильное ПО, создатели его не гонятся за последней версией, и это зачастую приводит к хорошему результату, в состав дистрибутива включены только РАБОТАЮЩИЕ пакеты... Это конечно наносит ущерб внешнему виду, например KDE до сих пор из стабильной ветки 3.5.* несмотря на то что ubuntu и suse довольно давно перешли на kde 4... и таких примеров много.
Я бы не рекомендовал дистрибутив людям которым некогда или не хочется копаться во внутренностях системы, дистрибутив не имеет ни графического установщика (только текстовый) , ни других графических средств конкурирования системы.
Но достоинства его для опытных пользователей linux неоспоримы , популярность дистрибутива очень велика, благодаря традиционности и прозрачности.

Полноценная симуляция объединенных сетей Ethernet при помощи dynamips и vmware.

2008-02-26T01:26:00.001-08:00

Часто, в работе системного администратора, приходиться «резать по живому», то есть вносить изменения в конфигурацию рабочей сети прямо во время ее работы. Случается так, что те или иные изменения в конфигурации по разным причинам, не приводят к желаемому эффекту, что, в свою очередь, приводит к простою сети и рождает множество, связанных с этим, проблем. Одна из вышеупомянутых причин, конечно, неопытность системного администратора. Недостаток практики, одна из самых острых проблем, никакая теоретическая база не способна заменить практику в «боевых» условиях. Часто, вещи, кажущиеся теоретически простыми, на практике оказываются намного сложнее, всплывают всевозможные нюансы, находятся «подводные камни, и грабли». Рано или поздно, любому администратору приходит мысль о том, что было бы не плохо проверить то или иное решение на практике, прежде чем внедрять его в сети. Хорошо если в компании есть несколько свободных маршрутизаторов и серверов, из которых можно собрать модель будущего решения и «погонять» ее, выключая поочередно маршрутизаторы, или каким либо другим способом, тестируя надежность, собранной схемы и ее отказоустойчивость. К сожалению, большинству компаний такие лаборатории «не по карману». Что же им остается? Как получить ценный опыт и не «завалить» сеть на несколько часов? На помощь приходит симуляция.

Сразу скажу, что существует масса коммерческих пакетов, которые позволяют смоделировать сеть практически любой топологии и сложности, но стоимость их при всем этом колеблется от 400 до 5000 долларов, и, несмотря, на их стоимость, эти решения не безупречно отражают спецификацию оборудования cisco. Хотя, очень близко и снабжены многими инструментами, позволяющими отслеживать, например, движение служебных пакетов, рассылаемых по сети ospf на модели, а так же средствами визуального проектирования. Но чего действительно нет в этих программах, так это рабочих станций и программных маршрутизаторов под управлением linux, freebsd или windows, а в большинстве случаев «рядовому» системному администратору приходиться работать со связкой cisco + <OS> и решать проблемы, связанные с их взаимодействием, через сеть. По этой причине, а в большей степени из-за высокой стоимости, я продолжил поиски приемлемого решения для моделирования объединенных сетей.

Когда я наткнулся на проект dynamips, я не мог поверить «своему счастью». Мог ли я предположить, что существует возможность запустить реальный cisco ios у себя дома?! Поистине, проект заслуживает всяческой поддержки, потому как дает возможность «простому смертному» смоделировать сеть практически любой сложности на реальных ios, а это значит на 100% таких же, как и в реальной аппаратной сети, и только это одно заставило меня взяться за написание этой заметки. К сожалению, dynamips не позволяет эмулировать коммутаторы cisco catalyst, но с другой стороны, коммутаторы не представляют особого интереса и в большинстве случаев просты в настройке. Но, зато средства dynampis, позволяют симулировать практически любое количество сегментов, соединенных с любым из портов маршрутизатора, что при некоторой фантазии, может частично компенсировать отсутствие коммутаторов.

Хочу обозначить свои цели. Эта заметка носит больше обзорный характер и цель ее сводиться к тому, чтобы показать основные возможности dynamips, а так же рассказать о том, как можно ввести в симулируемую сеть программный маршрутизатор или рабочую станцию при помощи vmware. Я не стану подробно разбирать конфигурацию dynamips, для этих целей вам придеться ознакомиться с соответствующей документацией, я лишь коснусь основных параметров, необходимого минимума, достаточного для запуска небольшой сети. Так же постараюсь описать моменты, которые мне показались наиболее интересными, а потому, я думаю, могут показаться интересными и вам.

Пакет dynamips имеет клиент-серверную архитектуру и состоит из двух частей, а если быть точным, из двух проектов, это, собственно, сам dynamips эмулятор и dynagen проект гипервизора для управления процессом симуляции.

Ниже, я кратко расскажу об установке и запуске небольшой сети в среде домашней windowsXP. Для работы нам понадобиться инсталлятор dynamips для windows, установленные библиотеки winpcap и образ cisco ios. Инсталлятор dynamips можно найти на http://dynagen.org , там же расположена небольшая, но исчерпывающая инструкция по установке и использованию пакета на английском языке, так же у проекта есть форум, где можно найти ответ практически на любой интересующий вас вопрос. В поставке для windows, инсталлятор уже включает в себя обе части проекта. После его установки на «рабочем столе» появятся три ярлыка: Dynamips Server, Network device list, Dynagen Sample Labs. Библиотеку winpcap можно взять с сайта http://www.winpcap.org , только после ее установки можно запускать сервер (Dynamips Server). На рисунке 1 изображено окно, запущенного и готового к работе сервера dynamips. Что же касается образов cisco ios, с ними дела обстоят намного сложнее, особенно для тех, у кого нет оборудования cisco. Скажу одно, в Интернете можно найти практически все, в том числе и образы cisco ios, однако, если в вашем распоряжении есть хотя бы один маршрутизатор cisco, вы можете получить ios, скопировав его, прямо с маршрутизатора, при помощи команды copy. Но прежде, чем начать экспериментировать с этим, рекомендую ознакомиться с соответствующей документацией, потому, как неправильное понимание этой команды, при попытке скопировать загрузочный образ, может привести к выходу маршрутизатора «из строя».
На сегодняшний день dynamips позволяет использовать образы маршрутизаторов следующих моделей: 1700, 2600, 3600, 3700, 7200.

Рис. 1

Теперь можно переходить к разработке топологии небольшой сети, ее запуску и тестированию.

Рис. 2

Открыв Dynagen Sample Labs, мы обнаружим там, в числе других, папку simple1, а в ней файл simple1.net. На рисунке 2 изображена логическая схема подключения двух маршрутизаторов, описанная в этом файле. Рассмотрим ее подробнее.

[localhost]

Файл начинается с секции [localhost] , она указывает dns имя или ip адрес dinamips сервера, в нашем случае, это адрес «обратной петли» потому, как все эксперименты мы проводим на одной рабочей станции, не подключенной к какой-либо сети. В документации говорится о том, что один процесс dynamips сервера может использоваться сразу несколькими клиентами. При этом стоит учитывать, что в среде windowsXP, процесс имеет ограничение на размер, используемой оперативной памяти 2 гигабайта, а в Linux 3 гигабайта и при запуске нескольких клиентов одновременно, симуляция достаточно больших сетей, может привести к отказу в обслуживании последних.

[[7200]]

Далее идет секция [[7200]] , здесь указывается модель маршрутизатора, которую мы собираемся эмулировать и параметры относящиеся к ней.

image = \Program Files\Dynamips\images\c7200-jk9o3s-mz.124-7a.image

Параметром image, мы указываем полный или относительный путь расположения, распакованного загрузочного образа cisco ios, здесь имя конечного файла не имеет значения, но нужно иметь ввиду, что загрузочный образ ios, по умолчанию, запакован. В документации указано, что для распаковки и дальнейшего использования на платформе windows, можно использовать программу winrar, а в Linux unzip.

npe = npe-400

ram = 160

Параметр npe и ram относятся к аппаратной части, по умолчанию, указана платформа npe-400, и выделено 160 мегабайт оперативной памяти.

[[ROUTER R1]]

Далее, идут секции описания мршрутизаторов, секция [[ROUTER R1]] используется обозначения маршрутизатора и указывает симулятору запустить мршрутизатор с псевдонимом R1, этот псевдоним используется для внутреннего обращения симулятора и должен уникально идентифицировать маршрутизатор, то есть, двух маршрутизаторов с одинаковыми псевдонимами быть не должно.

s1/0 = R2 s1/0

В параметрах секции указано, что интерфейс Serial1/0 марушрутизатора, в секции которого, находится запись, то есть R1, соединен с интерфейсом Serial1/0 маршрутизатора R2.

[[ROUTER R2]]

Далее, снова идет секция маршрутизатора [[ROUTER R2]] без параметров, она говорит симулятору о том, что необходимо запустить маршрутизатор R2.

Теперь, когда с конфигурационным файлом все «более-менее» понятно, можно запускать нашу маленькую сеть. Пользователям windowsXP это не составит труда, нужно просто дважды щелкнуть на файле конфигурации, через некоторое время, когда симулятор загрузит образы и запустит сеть, вы увидите приглашение интерпретатора dynagen изображенное на рисунке 3.

Рис. 3

Теперь введя «?» , мы получим список доступных для использования команд. Рекомендую начать с команды list, она покажет список, загруженных маршрутизаторов, а так же порты, на которых ожидает соединения эмуляция консольной сессии через telnet. Используя telnet можно соединиться с консолью любого, запущенного маршрутизатора, но проще запускать telnet c помощью интерпретатора dynagen, введя команду telnet <псевдоним маршрутизатора>, в ответ на нее интерпретатор откроет telnet сессию на нужный ip адрес и порт, например, команда может выглядеть так:

=> telnet R1

Так же нужно помнить о том, что dynagen чувствителен к регистру, то есть, различает строчные и прописные буквы ,по этому будьте внимательны при использовании команд.

Теперь сеть запущена. Хотя ,конечно, еще не настроена, и практически не функционирует, но настройка маршрутизаторов выходит за рамки этой заметки, к тому же я думаю, что для человека, который читает ее, не составит особого труда настроить маршрутизатор cisco, потому, как предполагается, что читатель так или иначе имеет опыт работы с сетями и в том числе маршрутизаторами cisco.

Следующий по очередности, но не по значению, вопрос: как ввести в симулируемую сеть Linux или FreeBSD? Среди многочисленных средств dynamips, есть и такие, которые позволяют создавать прозрачные мосты между сетевым интерфейсом, симулируемого маршрутизатора, и сетевым интерфейсом рабочей станции, под управлением windows или Linux. Таким образом, мы можем соединить один из интерфейсов нашей операционной системы с одним из интерфейсов, симулируемой сети и запустить, например, программу трассировки маршрута. Но, что если нам нужно поместить какую ни будь нетривиальную операционную систему, например NetBSD, в середину симулируемой сети? На помощь приходит vmware workstation. Скачать дистрибутив vmware workstation можно с сайта http://vmware.com , для доступа требуется регистрация. На момент написания заметки в дистрибутив vmware workstation, входил так же и vmware player, это важно, потому, что позволяет нам без особых проблем, не затрачивая денег на приобретение этого продукта, все же выполнить поставленную перед нами задачу. Я объясню, сам продукт vmware workstation является всем известным и одним из самых лучших средств виртуализации, изолированных друг от друга, виртуальных машин. К сожалению, он стоит денег и не позволяет запускать виртуальные машины если не приобретена лицензия. Но при помощи него, можно сконфигурировать сеть и виртуальную машину, удовлетворяющую нашим требованиям. Второй инструмент vmware player, распространяется абсолютно бесплатно и служит для запуска, сконфигурированных виртуальных машин, но не включает в себя средства конфигурирования сети или эмулируемого оборудования. Таким образом, при помощи двух этих инструментов, мы можем вполне комфортно работать.

Средства эмуляции сетевых интерфейсов vmware включают в себя, так называемые, host-only интерфейсы, которые служат для соединения виртуальной машины и рабочей станции. Их мы будем использовать. После установки в системе, по умолчанию, создается два сетевых интерфейса vmware, один из них и есть host-only, он носит имя VMnet1. Теперь нам нужно запустить ярлык с «рабочего стола» Network device list и скопировать идентификатор сетевого адаптера VMnet1, чтобы подставить его в наш конфигурационный файл. На рисунке 4 изображен список идентификаторов сетевых адаптеров, генерируемый запуском ярлыка Network device list, выделен идентификатор интерфейса VMnet1.

Рис. 4

Ниже приведен исправленный файл конфигурации sample1.net, а рисунок 5 иллюстрирует логическую схему подключения устройств:

[localhost]

[[7200]]

image = \Program Files\Dynamips\images\c7200-jk9o3s-mz.124-7a.image

npe = npe-400

ram = 160

[[ROUTER R1]]

f1/0 = R2 f1/0

[[ROUTER R2]]

f1/1 = NIO_gen_eth:\Device\NPF_{504218C3-5EEE-42EF-ADE6-811B6BAD2AD0}

Рис. 5

Я намеренно изменил имена интерфейсов с s1/0 на f1/0, между маршрутизаторами R1 и R2 для того, чтобы показать, как dynamips может динамически изменять конфигурацию маршрутизаторов в случаи необходимости, добавляя им интерфейсы, которых раньше не было. Теперь, после запуска сети, на маршрутизаторах пропадут интерфейсы Serial, а вместо них появятся fastEthernet.

Осталось запустить vmplayer и установить требуемую операционную систему, в моем случае, это FreeBSD. Установка FreeBSD, а так же использование wmware workstation-это отдельные большие темы, о которых написано , пожалуй, уже не мало другими авторами, поэтому я оставлю их, упомяну только, что vmware позволяет создать множество host-only интерфейсов, которые затем можно использовать на разных виртуальных машинах или на нескольких виртуальных машинах одновременно, создавая сегменты или разделенные маршрутизатарами участки сети. Возможные варианты использования связки dynamips и vmware ограничены только вашей фантазией и аппаратными ресурсами рабочей станции, которых уходит на виртуализацию и симуляцию в избытке. Тут стоит упомянуть, что dynamips имеет несколько параметров оптимизации использования памяти и времени процессора. Один из них это ghostios, который позволяет не загружать один и тот же образ ios в память для каждого маршрутизатора, вместо этого загружается только один образ, для всех маршрутизаторов одного типа. Так же есть параметр sparseme, который позволяет выделять виртуальную память рабочей станции для работы ios, что может замедлить работу симуляции, но позволяет обойти ограничение, наложенное операционной системой на объем памяти, выделяемой процессу. Документация рекомендует использовать его только в том случае, если реальной физической памяти уже не хватает для запуска симуляции даже при включенном ghostios. Эти опции можно включить глобально, добавив строки ghostios=true и sparsemem=true в самое начало конфигурационного файла. Либо для каждой модели маршрутизаторов отдельно, например, в секции [[7200]].

Что касается оптимизации затрат процессорного времени, здесь все немного сложнее, обычно после запуска симуляции сети, можно заметить, что процессор (или даже несколько) занят на все 100%, в документации на эту тему говорится много, но общий смысл сводится к тому, что эмулятор не знает, насколько занят маршрутизатор в данный момент и отдает ему все свободное процессорное время. Для исправления этой ситуации используется механизм определения загруженности маршрутизатора, для того, чтобы им воспользоваться, необходимо запустить симуляцию, а так же рекомендуется дать определенную нагрузку на симулируемую сеть для вычисления наиболее справедливого значения загруженности маршрутизатора, в частности, рекомендуется хотя бы выполнить заход на маршрутизатор. После того ,как симуляция запущена и нагрузка дана, в консоли dynagen нужно ввести команду idlepc get <имя маршрутизатора под нагрузкой>, например idlepc get R1. После этого dynagen сгенерирует список средней загруженности маршрутизатора относительно рабочей станции, предусмотрительно пометив наиболее лучшие, по его мнению, значения звездочкой. В нижней части появится запрос на установление значения idlpc для текущего сеанса, введя нужное число из списка ,рекомендую проверить текущую загруженность процессора и несколько раз повторить операцию, используя разные параметры, для того, чтобы убедиться, что вы выбрали наилучшее значение. После того, как вы уверились в правильности своего выбора, можно сохранить значение idlpc в локальной базе данных с помощью команды idlepc save <имя маршрутизатора> db, например save idlepc R1 db. После этого значение idlepc будет применяться для всех маршрутизаторов этого типа при старте симуляции. Есть другой способ, можно указать значение idlepc в файле конфигурации, используя параметр idlepc=xxxx глобально, либо для каждого маршрутизатора в отдельности, точно так же, как и в случае с оптимизацией памяти.

Dynagen представляет еще одну очень интересную и архи полезную возможность, «дампить» поток с порта в файл, для этого и используется библиотека winpcap. Информацию из файла, можно в реальном времени, просматривать с помощью популярного сетевого анализатора Ethereal, который ныне зовется Wireshark, разработанного для использования с той же самой библиотекой winpcap. Домашняя страница проекта http://www.wireshark.org . Для того, чтобы воспользоваться этой возможностью, в консоли dynagen нужно ввести команду capture <имя маршрутизатора> <имя интерфейса> <имя файла>.cap, например, capture R1 f0/0 example.cap. После того, как команда будет выполнена, в папке с файлом проекта, появится файл, ассоциированный с программой Wireshark, все, что вам останется, это открыть его и наслаждаться видом «собранных» с интерфейса пакетов.

В общем, то и все, собирался написать заметку, а вышла целая статья, хотя хотелось бы коснуться некоторых тем глубже, но к чему бы это могло привести, так и книга может выйти, а моя цель иная. Пора подвести итог. Проект dynamips, не смотря на то, что он полностью opensource и бесплатен, позволяет сделать то, что другим симуляторам локальных сетей едва ли удастся в ближайшие годы, а именно, дать людям в руки настоящий - живой cisco ios, но это только одна сторона. С другой стороны, существенным недостатком является высокое требование к аппаратным ресурсам, отсутствие возможности эмуляции cisco catalyst или какого-либо иного коммутационного оборудования, лишая тем самым возможности пользователя, «поиграться» с протоколами spanning-tree или GVRP. Ну и менее существенным недостатком является отсутствие средств визуального моделирования. И между тем, то, что dynamips дает возможность соединить симулируемую и реальную сети, выводит этот проект на новый уровень, открывает существенно большие возможности для сетевого администратора, по сравнению с другими средствами симуляции сетей.