Разработка ПО и многое другое

2016-12-20T07:28:00.000+02:00

Кратко о разработке, хороший разработчик всегда будет стремиться сделать более универсальное решение, чем это нужно.

Только менеджерам не показывайте, а то потом никакую фичу не продавишь. :)

Замучали "аналитики"

2016-10-24T11:52:00.000+02:00

Замучали "аналитики". Сначала спрашивают заказчика технические вещи, а потом когда какой-нибудь бухгалтер ответит что-то, выставлять это за требования к разработке.

Сейчас сочинял рассказ аналитику, чтобы объяснить что он не прав.

Заказчик: надо сварить манную кашу
Аналитик: вам кашу солить, перчить или посыпать сахаром?
Заказчик: посыпать сахаром
Аналитик: отлично описываю в ТЗ, варить кашу без соли, без перца, но с сахаром.
Разработчик: Аналитики, да вы не правы, как же каша без соли? Так не делают...
Аналитик: Ничего не знаю, так хочет заказчик, вот переписка. Делаем по постановке. Ну и идиоты эти заказчики.
Тестирование: проверено, сварена одна порция каши, не соленая такая, что в рот не вотрешь. ... Зато по ТЗ ну и идиоты эти заказчики.

-- отдали заказчику.
Заказчик: Ваша каша дерьмо. Качество страдает (заказчик просто не понимает, что каша всего лишь не соленая). Ладно, отдаем в эксплуатацию, т. к. мы уже давно ждем вашу кашу...
Заказчик: Пытались накормить одной порцией роту солдат, все остались голодные. Ваш продукт дерьмо, его использовать не возможно.

PS: Это не заказчик идиот.

Настройка домашнего медиа-сервера. Группировочный пост.

2014-10-14T23:20:00.002+03:00

Привет, %username%!

Сегодня хочу открыть этим постом серию записей о том, как я настраивал домашний медиа-сервер.

Постановка задачи:

Хочу домашний сервер для своих задач. А именно:

повесить где-нибудь в коридоре рядом с роутером, чтобы не гудел по ночам в комнате;
запускать Web/Java/домашняя continues integration для своих проектов, либо для каких-то интересных решений (например, учет домашних финансов);
файло-хранилище (~~помойка~~). (Так уже сложилось, что объем фотографий не помещается целиком на ноуте, даже с дополнительным винчестером):

поэтому хочется хранить это всё на сервере, на клиенте просматривать;
клиентов может быть много два ноута, телефоны, планшеты;
у клиентов разные ОС. linux/windows/android/symbian;

как решение NFS/Samba/webDav, может позже ещё чего придумается;

медиа центр:

музыка

подключу туда хорошие колонки (из-за нехватки места ноутбук всегда убирается в сумку), а музыку иногда хочется послушать в качественном звуке;

видео и фото:

выведу HDMI на телевизор;
управлять буду беспроводной клавиатурой с тачпадом и телефоном;
настрою интернет-телевидение (без приставки), т.к. у меня бесплатный пакет, а по факту нужен только один канал - СОЮЗ.

"домашнее облако"

синхронизация фоток с телефона автоматом
возможность "расшарить" что-то другим пользователям интернета
возможность просмотра данных через web:

медиа;

просмотр фотографий;
просмотр заранее скаченных мультфильмов для детей (чтобы не через ютуб с его агрессивной рекламой);

книжки;

удобный анализатор и сортировщик коллекций домашнего фото и видео;

автоматический конвертер видео файлов с фотоаппарата;

... и т.д. (много можно ещё чего понаписать, ни одно облако сейчас такого не предоставляет, а я могу настроить всё, что захочу );

домашняя VPN-сеть:

имею доступ к своим файлам откуда угодно с ноутбука;
могу поставить клиент на работе куда хочу удаленно по RDP (teamviewer такому решению проигрывает по всем параметрам);

фильтры контента и контроль безопасности:

при желании можно сервер поставить получать интернет и раздавать дальше (наверное, поэтому я заложился и купил маму с двумя сетевыми картами), а дальше настраиваем что хочется ;

Подборка железа:

Любой сервер начинается с железки. Под него можно взять старенький ноутбук, у которого экран разбит, или старый комп. У меня такой железки под рукой не было, поэтому решил собрать себе мини-компьютер:

простая мама + целерон;
большой винт в 4Гб;
SSD, чтобы по мелочам не напрягать большой винт и чтобы грузилось всё быстро;
побольше памяти для memory дисков, чтобы поменьше ставить напрягать SSD
корпус;
беспроводная клавиатура с тачпадом.

Ссылки на мои решения:

Удаленный VLC

Удаленный VLC

2014-10-14T23:19:00.000+03:00

Привет, %username%.

Расскажу как настроить удаленное управление VLC.

Тут всё просто. Ставим VLC. Запускаем его скриптом

vlc /scripts/lantatv.m3u --http-host 0.0.0.0:8080 --extraintf=http --http-password 'mypasswd'

После этого открываем браузер и заходим на адрес медиа-центра

http://192.168.0.1:8080.

Откроется примитивный web-интерфейс c basic-ауторизацией.

Поле логин оставляем пустым!

В поле пароль пишем указанный нами в скрипте пароль.

через этот веб-интерфейс можно:

изменять громкость;
переключаться между каналами;
ходить по файловой системе и открывать другие видео файлы на просмотр.

PS: если запускать это всё на телефоне, то интерфейс будет другим, на некоторых телефонах может не запуститься флеш, но список нужный действий можно осуществить.

PlantUML интегрируется с JetBrains продуктами!

2012-08-17T08:50:00.000+03:00

Привет, %username%!

Сегодня обнаружил, что мой любимый PlantUml теперь интегрируется с JetBrains Idea и прочими JetBrains IDE. Ура, удобно! Сам инструмент часто использую, чтобы быстро накидать легкую UML.

Список способов использования можно посмотреть здесь.
Сам плагин для Idea здесь.

Для использования не забудьте поставить внешнюю утилиту GraphViz, через нее PlantUml рисует картинки.

Оптимизируем работу JetBrains Idea продуктов

2012-08-02T08:21:00.001+03:00

Привет, %username%!

Давно ничего не писал, т.к. не было особо времени. В последнее время моя Idea стала жутко тормозить. Настало время её как-то оптимизировать.

Для начала посмотрите в углу сколько в среднем памяти нужно вам под ваш проект. Для себя я выбрал цифру 768 Мб.

В файл idea.exe.vmoptions (для windows систем) и idea.vmoptions (для *nix систем) укажите следующие строки:

-Xms768m
-Xmx768m
-XX:MaxPermSize=512m
-XX:ReservedCodeCacheSize=64m
-XX:+UseParNewGC
-XX:ParallelGCThreads=4
-XX:MaxTenuringThreshold=1
-XX:SurvivorRatio=8
-XX:+UseConcMarkSweepGC
-XX:+CMSParallelRemarkEnabled
-XX:CMSInitiatingOccupancyFraction=65
-XX:+CMSScavengeBeforeRemark
-XX:+UseCMSInitiatingOccupancyOnly
-ea

В итоге, я получил то, что моя Idea стала более быстро открываться и индексировать проект.

Для пользователей RubyMine, PhpStorm, WebStorm и прочих IDE от JetBrains настройки такие же, только файл настроек чуть другой.

Закрыт баг с кодировкой utf8 в mysql для Doctrine 2

2012-04-15T20:41:00.000+03:00

Привет, %username%!
Ранее я рассказывал о баге, который нашел.

Ура, мой баг закрыли. Это приятно.
Просто обновите Doctrine2 и скорректируйте настройки.

Правильное именование классов как предмет хорошего ООП дизайна

2012-03-29T13:28:00.001+03:00

Привет, %username%.

На днях вникал в your-coding-conventions-are-hurting-you. Крайне рекомендую, чтобы потом задумываться о названиях классов и методов.

Java XML. DOM parser своими руками

2012-02-06T12:50:00.001+03:00

Привет, %username%.

Сегодня делал простой DOM парсер на java. Навеяно этой статьей.
Материалов по теме достаточно, так что кидаю просто код.

Идея примера - рекурсивно обойти DOM дерево и вывести все его атрибуты.

Пусть у нас есть XML документ:

<?xml version="1.0" encoding="windows-1251"?>
<books>
    <book id="1">
        <title>Компьютерные сети</title>
        <autor>Олифер</autor>
    </book>
    <book id="2">
        <title>Вычислительные сети сети</title>
        <autor>Кто-то ещё</autor>
    </book>
</books>

Код обработки документа может выглядеть следующим образом:

package png.samples.xml.domread;


import org.w3c.dom.Document;
import org.w3c.dom.NamedNodeMap;
import org.w3c.dom.Node;
import org.w3c.dom.NodeList;
import org.xml.sax.SAXException;

import javax.xml.parsers.DocumentBuilder;
import javax.xml.parsers.DocumentBuilderFactory;
import javax.xml.parsers.ParserConfigurationException;
import java.io.IOException;

public class XmlDomReadSample {

    public static void main(String [] args) throws IOException, SAXException, ParserConfigurationException {
        DocumentBuilderFactory f = DocumentBuilderFactory.newInstance();
        f.setValidating(false);
        f.setIgnoringElementContentWhitespace(true);
        DocumentBuilder builder = f.newDocumentBuilder();
        Document doc = builder.parse(

          XmlDomReadSample.class.getResourceAsStream("dom-read-sample-xml.xml"));
        
        printDom("",doc.getFirstChild());
        
    }

    private static void printDom(String prefix, Node node) {
        
        String text = node.getNodeValue();
        if (text != null && !text.isEmpty()) {
            System.out.println(prefix + " value = \"" + text + "\"");
        }
        NamedNodeMap attributes = node.getAttributes();
        if (attributes != null) {
            for (int i = 0 ; i < attributes.getLength(); i++) {
                Node attr = attributes.item(i);
                System.out.println(prefix +
                        " attr = \"" + attr.getNodeName()  + "\"" +
                        " value = \"" + attr.getTextContent().toString() + "\" ");
            }
        }

        NodeList children = node.getChildNodes();
        for (int i = 0; i < children.getLength(); i++) {
            printDom(prefix + node.getNodeName() + ":", children.item(i));
        }
    }
}

Этот же код этого файла на github можно скачать здесь: https://github.com/png-tech/PngJavaSamples/blob/master/SimpleExamples/src/png/samples/xml/domread/XmlDomReadSample.java

Поясняю. printDom - та самая рекурсивная функция, которая реализует обход.
Берем файл из ресурсов, парсим его стандартными средствами Java, отдаем рекурсивной функции на вывод.

Ранее я писал статью про SAX. Обращу внимание ещё раз на то, что через DOM парсить, легче (меньше логики), но когда возникают вопросы производительности, то лучше SAX.

Кроме того, для упрощения работы советую разработчикам затачивать структуру XML документа под используемый способ анализа.
Для SAX анализа:

делайте меньшую вложенность (в идеале документ должен быть линейным насколько это возможно);
больше условий выносите в аттрибуты.

Для DOM анализа:

Лишняя иерархия тоже будет лишней, но и линейность будет ещё хуже. Лучше всего золотая середина: умная иерархия.

Исходный код примера, смотрим здесь:
https://github.com/png-tech/PngJavaSamples/tree/master/SimpleExamples/src/png/samples/xml/domread

Тезисы для лекции "Объекты и типы"

2012-02-05T18:20:00.002+03:00

Привет, %username%.

Были времена, когда я преподавал курс ООП в вузе. На каждую лекцию старался писать план или конспект. В основном оно всё было достаточно кратко и не представляет какого-либо интереса. Наиболее подробно прорабатывал вводное занятие

"Лекция 1. Объекты и типы". Цель лекции объяснить студентам, знающим только функциональное программирование (да и то не все), что такое объекты, классы, абстракции.

Не стоит этот материал рассматривать как законченную лекцию, это просто тезисы, кое-где с примерами. Каждый пункт - это просто повод для разговора с аудиторией.

Итак, далее тезисы для лекции 1: "Объекты и типы"

Лекция 1. Объекты и их типы

Объекты реального мира

Объектно-ориентированное программирование (ООП) - это парадигма программирования, которая в настоящее время стала стандартом разработки программного обеспечения.
Что же это за объекты и почему мы должны на них ориентироваться?
Прежде всего стоит ответить себе на вопрос:

что мы понимаем под объектами реального мира?
То есть - что есть объект?

Рассмотрим на примерах:
Пример 1: Объект - это стул, стол, а так же любая другая вещь.
Пример 2: А философия является объектом? Вообще, да. Потому что о ней можно говорить, она имеет четкое определение и характеристики.
Пример 3: Цифра - это объект? ДА. 1 бит - это тоже объект!
Пример 4: Представим себе голодного студента. Студент - это объект? ДА!
А о чем он думает?
О том, чтобы поесть. Заметьте, он думает не об объекте еде, а об действии над этим объектом. О нем можно думать, говорить, оно может иметь конкретные характеристики. Можно сказать ел ложкой, или ел вилкой, или вообще пил чай.

Объект - это: предмет материального или не материального мира, а так же действие над другими объектами. Другими словами:
ВСЁ ЕСТЬ ОБЪЕКТ!

Модели в программах

Из математики или физики мы знаем о существовании математических или физических моделей. Их цель описать процессы реального мира, чтобы решить какую-нибудь задачу.
Любая модель обладает следующими свойствами:

она упрощенное представление реального мира
она направленна на решение конкретного круга задач
точность представления зависит от решаемой задачи

Так или иначе, каждая программа содержит внутри себя модель реального мира, которая сочетает в себе свойства математических и физических моделей.
Глобальная цель любой программы - упрощение жизни пользователя, автоматизация.
Задача языка программирования - предоставить средство для качественного описания модели программы.
Важный вывод: у каждой модели могут быть разные уровни детализации

Типы объектов

Например, необходимо описать группу объектов. Пусть это будут геометрические фигуры. Описание может иметь следующий вид - фигура 1, фигура 2, фигура 3, … фигура 1000.
Получается достаточно трудоемкая задача. Объектов может быть много, некоторые однотипны, некоторые различны. Можно условно объединить однотипные объекты в группы, для их описания.
Например, 10 кругов различного радиуса, 5 квадратов, 985 многоугольников.
Такое описание гораздо компактней, сразу понятно что это и что с этим можно сделать.
Так рождается понятие типа объекта(класса).
Класс(тип объекта) - это описание характеристик группы объектов.

Далее мы будем о классе, но будем подразумевать, что можно есть и объект(объекты) этого класса, и наоборот, говорить об объекте(объектах), но описывая их, фактически описывать класс.
Красивое сравнение: класс - это чертеж, объект класса - это реальный объект, созданный по чертежам.

Состояние объекта

Вернемся к примеру с голодным студентом. После того как он поест, он перестает быть голодным, он уже сытый студент. Отметим, что объект студент - тот же. Но в разные моменты времени - у него было различное поведение.

Голодный студент - нервный и раздражительный
Сытый студент - добрый и сонный

Таким образом, в разных состояниях один и тот же объект может вести себя по разному.
Другой пример, объект ручка.

Состояние 1. Новая ручка со стержнем. Пишет хорошо и тонко
Состояние 2. Ручка исписанная на половину. Шарик разболтался и в результате ручка пишет, но “мажет” чернилами
Состояние 3. Стерженть ручки кончился. Ручка уже не пишет, но это всё таже ручка.

Из этого стоит сделать важный вывод:
каждый объект может иметь внутренне состояние и совершать действия, которые зависят от его состояния.

Абстракции в разработке ПО

Любая программа - это абстракция!
программа на ассемблере - абстракция на команды процессора
программа на Си - абстракция на циклы, условия, переменные
программа на ООП-языке - набор абстракций, описывающих реальную задачу.

Основные инструменты языка - классы и объекты.
Почему популярно? Вся красота в ЛЕГО!

Во многом, написание этих тезисов меня вдохновили первые главы книги Б Эккель Философия Java (Thinking in Java). Там понятию ООП уделяется несколько первых глав. Вместо того, чтобы читать мою писанину, советую почитать эту книжку.

Идеи по мета-программированию пользовательских интерфейсов

2012-02-05T17:53:00.000+03:00

Привет, %username%.

Недавно задался вопросом автоматической генерации пользовательского интерфейса на основе мета описания в java.

Спрашивается, а зачем!.На то есть две причины:

Автоматизация рутинных действий программиста (интерфейса может быть много)
Вынос информации о типовом представлении (view) в область модели (model) в рамках логики MVC. По сути дела информация о структуре представления данных - это тоже данные, которые могут меняться, а точных представлений может быть несколько.

Далее покажу свои мысли и что нарыл на просторах интернета.

Итак, все началось с того, что я задумал проект, который будет иметь несколько разных отображений одного и того же функционала. Например, есть функционал, он реализован в:

desktop-исполнении (пусть для примера будет swing);
web-исполнении (пусть для примера будет gwt);
сервис исполнении (пусть для примера будет REST-сервис);
jabber-исполнении (jabber-бот воспринимающий команды);
консольное исполнение (управление через команды командной строки);
ну и что-нибудь ещё, на что фантазии хватит.

Вопрос встал такой, хочется, чтобы весь функционал описывался лишь в одном месте(метаописание), а в представлениях прописывались лишь детали реализации.

Такую проблему решал не один я, поэтому обратимся к интернету:

Получилась целая куча решений. Кидаю подборку ссылок:

http://stackoverflow.com/questions/1999182/java-swing-generating-dynamic-gui-forms-from-xml

http://www.metawidget.org/ <= похоже это то, что нужно (описание тут)

http://code.google.com/p/swing-formbuilder/ <= и это тоже зачетно (описание тут )

http://www.swixml.org/

http://cookxml.yuanheng.org/cookswing/

http://jfcml.sourceforge.net/

http://java-source.net/open-source/xml-user-interface-toolkits

http://www.jeasy.de/JEasyquestions.htm

Размышления о правильной отправке почты в вашем PHP приложении или Swift Mail изнутри

2011-12-20T21:38:00.000+03:00

Привет, %username%.

Если ты использовал Symfony 2.0, то наверняка некоторые фичи захотелось бы вытащить и использовать в другом, не symfony2, проекте. Сегодня мы поговорим об отправке почты.

Краткая справка как правильно.

Как известно, PHP уже имеет встроенную функцию отправки почты. Она использует sendmail. И в принципе, там почти всё есть. Почему же появляются разные библиотеки, типа Zend_Mail или Swift_Mail ?

ИХМО, ответ прост:
отправка сообщений, это не только непосредственная отправка данных почтовому серверу, а так же ещё комплекс мероприятий по формированию данных для отправки.

Общий алгоритм отправки сообщения:

Формируем данные(текст или HTML), заголовки(тема и прочие параметры), вложенные файлы.
отправляем их mail-серверу
если отправка по каким-либо причинам не удалась, то через некоторое время пункт 2 следует повторить

Отметим, что пункт 3 просто не обходим, т.к на момент отправки могут быть проблемы с интернетом, или с сервером. Исходя из описанной стратегии, очевидно, что пункты 2-3 нужно выполнять в фоне.

У нас есть функция, которая делает пункт 2. И только! А остальную логику писать надо самим. Плюс не слишком удобный процедурный синтаксис заставляет нас делать одни и те же действия постоянно.

Чего ещё не хватает?

реализации пункта 2-3 алгоритма отправки в одной логике
SMTP-протокол
Вложения более простым способом
И прочих фишек и плюшек, далее перечислять лень, всё-равно что-нибудь забуду...

Общий алгоритм действий

Формируем данные и кладем их в очередь
Пускаем крон (процесс-задание, выполняемое периодически), который

вытаскивает пачку данных из очереди (например, 10 писем, будем слать по N штук за раз)
отсылает их на mail сервер
в случае успеха удаляет их из очереди
выходит, чтобы запуститься через некоторое время снова.

Что предлагают нам сторонние библиотеки?
Как всегда, не очень хочется изобретать велосипед. Причем, по началу у всех они кривы на столько, что хочется выкинуть и переписать заново.

Zend, конечно, предлагает достаточно сильный вариант, но логику 3 придется делать самим, тем более механизм для этой логики они тоже дают: очереди.

ИХМО, Zend - это библиотека-конструктор, она дает много мелких кубиков, из которых можно собрать что угодно. Надо всего лишь только собрать. Так и тут, даны очереди и функция отправки почты, остальное господа разработчики напишите сами.
Скажу, честно: Zend мне не очень нравится, т.к. его кубики слишком ароматны, их сложно наследовать и расширять. Местами без методики COPY-PASTE обойтись практически не возможно. Часто приходится делать практически одно и тоже из проекта в проект.
Если же вы разрабатываете на Zend, то вы обречены на ковыряние с кубиками разной формы. Местами у меня складывается впечатление, что у разработчиков Zend туговато с принципами ООП и с пониманием, что такое фреймворк.

И так кубики, от Zend:

Делаем кубик с данными (все данные необходимые для отправки)
Кладем в его в очередь
В кроне:

достаем N кубиков из очереди (Zend_Queue)
формируем для каждого из них письмо через Zend_Mail
Отправляем, если успешно, удаляем из очереди

Другой популярный фреймворк: Symfony 2 предлагает использовать удобную библиотеку swift_mail. Эта же библиотека предлагает решение-очередь. Повторяться как его делать я не буду, т.к. в документации, всё подробно описано.

Решение swift_mail более привлекательно потому, что кубика с данными (как в случае Zend) нам уже не нужно, его функцию выполняет само письмо, положенное в spool. Таким образом удается убрать лишний слой абстракции и упростить немного конечное приложение. А как известно, чем проще код, тем лучше.

В реализации отправки почты в symfony2, мы просто пишем код создания письма и прописываем команду в crontab. Я как разработчик должен закодировать формирование данных письма, а остальную рутинную работу за меня делает фреймворк.
И это приятно.

Swift Mail изнутри
Если хочется, иметь swift_mail в вашем другом проекте, то библиотеку SwiftMail можно использовать отдельно. Давайте посмотрим на эту библиотеку изнутри.

Ставим её при помощи PEAR, или качаем c github, или вообще грузим архив с официального сайта.
Библиотека написана с использованием PHP 5.2. Это замечательно, т.к. не всегда есть возможность использовать PHP 5.3. Документация и код сайта говорит о двух основных уровнях абстракции:

Первый - транспорт. Это группа объектов, объединенных интерфейсом, которые позволяют определить различные настройки отправки почты. за подробностями отошлю к документации (cм. заголовок - Transport).
Второй - почтовик. Это объект, который предоставляет API по созданию любых почтовых сообщений.

Очереди почтовых сообщений
Такая функциональность как очередь почтовых сообщений на отправку реализована как подтип транспорта. Для продакшена рекомендую использовать Swift_FileSpool. Для тестирования логики приложения, лучше использовать Swift_MemorySpool, которая в свою очередь обертывает простой массив.
Пример отправки почты через очереди

Скрипт для отправки сообщений в очередь сообщений.

<?php
//require_once 'lib/swift_init.php';
// тут аутолоадер свой подключается. 
require_once 'swift_required.php';

//Create the Transport
$spool = new Swift_FileSpool(realpath(dirname(__FILE__).'/../spool'));
$transport = Swift_SpoolTransport::newInstance($spool);

//Create the Mailer using your created Transport
$mailer = Swift_Mailer::newInstance($transport);

$message = Swift_Message::newInstance('Тест!','Тест-тест!','txt/text','cp1251')
  ->setFrom(array('test1@mail.ru' => 'Васька Пупкин'))
  ->setTo(array('test2@mail.ru' => 'Петька', 'test3@mail.ru' => 'Петрович'))
  ;

//Send the message
$numSent = $mailer->send($message);

Обратите внимание, создаем очередь. Подпихиваем её в специальный транспорт, который понимает интерфейс очередей и шлет в очередь данные. А далее как по маслу: через API шлем почту, а почта складывается в очереди.

А теперь рассмотрим скрипт -крон непосредственной отправки писем:

<?php
$messageLimit = 10;
$timeLimit = 0;
require_once 'swift_required.php';

$spool = new Swift_FileSpool(realpath(dirname(__FILE__).'/spool'));
$transportReal = Swift_SmtpTransport::newInstance('smtp.mail.ru', 25)
    ->setUsername('robot@mail.ru')
    ->setPassword('pass');

$spool->setMessageLimit($messageLimit);
$spool->setTimeLimit($timeLimit);
$sent = $spool->flushQueue($transportReal);

echo sprintf('sent %s emails', $sent);
?>

Здесь мы делаем два транспорта, один очередь, а другой реальный. И по 10 штук шлем из одного в другой.

На этом всё. Надеюсь, я кому-нибудь помог. Всем спасибо за внимание..

Symfony 2 Фиктивные модели для форм

2011-11-17T18:54:00.001+03:00

Привет, %username%.

Обещал в блоге писать про яву, но так получилось, что сейчас разбираюсь с Symfony2 + Doctrine 2. Поэтому пишу что нарыл. Про формы symfony 2 можно почитать здесь. Правда там не всё, что нужно. Для простой формочки хватает, а когда начинаешь делать что-то по сложнее - то возникают проблемы. Проблема первая. Есть модель(entity). Нужно сделать форму определенного вида. Причем элементы модели не совпадают с элементами формы. Долго мучался, с мануалами и стилями, что-то получилось, а что-то оказалось сделать вообще не возможно.
Посмотрим что из этого получилось.

Опишу возможные выходы из ситуации:

Решение первое. Уродское

Делаем форму руками, получаем сырые данные, пихаем в модель. Решение работоспособное, но очень не красивое. Мне оно не нравится.

Решение второе. Красивое

Заводим новую модель, которая не привязана в БД. У этой модели прописываем нужные поля и нужные типы - такие как у формы. Пишем класс FormType, который построит форму. Стилями выровняем её вид. А далее как в мануале. В конце осталось скопировать данные из дополнительной модели в основную. Плюс такого подхода в том, что не нужно работать с сырыми данными. А переливание данных из модели можно проверить UNIT-тестами. А так же мы используем ООП на полную катушку и работаем с объектами. Хочется как-нибудь написать более развернутую статью про это с примерами. Если я всё-же её сделаю, то поставлю сюда ссылку.

Истории про lesscss

2011-11-11T20:38:00.001+03:00

Привет, %username%!
Хочу поделиться опытом в области прикручивания компилятора less к symfony2.
Во-первых, есть такая надстройка над css less. Для компиляции через php есть библиотека lessphp. Она имеет не достаток - не поддерживает директиву @import. Если очень нужно, то можно использовать компилятор на nodejs. Есть клиентский (на лету в браузере), есть серверный. С серверным недавно вышла проблема. компилятор работает только на версии nodejs 0.4.9. На nodejs 0.5.x и 0.6.x не подключается сама библиотека lessc.
На этом всё, спасибо за внимание.

Подготовка Zend к продакшену для highload проектов

2011-10-15T00:37:00.000+03:00

Привет, %username%.
Сегодня подниму вопрос о использовании Zend компонентов на production в highload проектах.
Проблема в том, что Zend достаточно тяжелый продукт, он содержит море классов. При оценке производительности приложения выясняется, что львиную долю времени занимают "инклуды" классов Zend .

Есть соответствующий вопрос на stackoverflow.
Решение - удалить все инклуды и использовать механизма аутолодинга. Это поможет сделать следующий скрипт. Он взят с официального сайта .

#!/bin/sh
# see http://framework.zend.com/manual/en/performance.classloading.html#performance.classloading.striprequires.sed
# see http://test.ical.ly/2011/02/24/using-zend-framework-components-in-a-symfony2-project/
#
# symfony 2.0 vendors 
cd ./vendor/zf/library
find . -name '*.php' -not -wholename '*/Loader/Autoloader.php' \
-not -wholename '*/Application.php' -print0 | \
xargs -0 sed --regexp-extended --in-place 's/(require_once)/\/\/ \1/g'

После того, как сделал, стало чуть по легче.
Если всё-равно проблема остается, то весь Zend сливают в один файл. Кстати, некоторые аутолоадеры так и поступаю, при первом пробеге кешируют результат.
На этом всё. Спасибо за внимание.

Багфикс кодировки utf8 для генерации таблиц в Doctrine 2

2011-09-27T09:32:00.002+03:00

Привет, %username%.
Иногда пользуюсь Docrine 2.1/Symfony 2.0. + doctrine migrations. В один прекрасный момент возникла проблема с кодировкой БД mysql при автоматическом создании таблиц. Покопавшить немного в Docrine DBAL выяснилось, что при создании схемы, параметры кодировки не учитываются.

Схема БД генерится в примерно так:

/* было */
CREATE TABLE TABLENAME (
/* ... */
) ENGINE = InnoDB

А нам нужно:

/* нужно */
CREATE TABLE TABLENAME (
/* ... */
)DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci ENGINE = InnoDB

Причем ни на какие настройки Docrine DBAL не реагировал.

Решение проблемы:

Открываем код. Находим файл doctrine-dbal/lib/Doctrine/DBAL/Schema/Schema.php ищем строку "new Table". Она там одна, код выглядит как-то так:

<?php
/**
     * Create a new table
     * 
     * @param  string $tableName
     * @return Table
     */
    public function createTable($tableName)
    {
        $table = new Table($tableName);
        $this->_addTable($table);
        return $table;
    }
?>

Добавляем в конструктор объекта Table параметры:


array(),array(),array(),0,array('charset'=>'utf8','collate'=>'utf8_general_ci')

Получится что-то типа такого:

<?php
/**
     * Create a new table
     * 
     * @param  string $tableName
     * @return Table
     */
    public function createTable($tableName)
    {
        $table = new Table($tableName,array(),array(),array(),0,array('charset'=>'utf8','collate'=>'utf8_general_ci'));
        $this->_addTable($table);
        return $table;
    }
?>

После этого можете запускать doctrine:migrations:diff и получать правильный SQL код.
Написал мини патч, чтобы при каждом обновлении не править, написал патч:

#!/usr/bin/php
<?php
/**
 * Doctrine DBAL Patch
 * fix table creation query encode
 * (c) _Nicolay
 */


system ('cp ./vendor/doctrine-dbal/lib/Doctrine/DBAL/Schema/Schema.php ./vendor/doctrine-dbal/lib/Doctrine/DBAL/Schema/Schema.php.Orig');

$data = file_get_contents('./vendor/doctrine-dbal/lib/Doctrine/DBAL/Schema/Schema.php');
$data = str_replace("new Table(\$tableName);",
                    "new Table(\$tableName,array(),array(),array(),0,array('charset'=>'utf8','collate'=>'utf8_general_ci'));",
                    $data);
file_put_contents('./vendor/doctrine-dbal/lib/Doctrine/DBAL/Schema/Schema.php', $data);

Про проблему создал задачу на баг фикс. На этом всё, надеюсь кому-нибудь помог.

UPD:

Ура, мой баг закрыли. Просто обновите Doctrine2 и посмотрите настройки внимательно.

Задача отображения деревьев в MySql. Способ отображения на хранимых процедурах.

2011-09-13T07:53:00.001+03:00

Предисловие.

Эта статья когда-то(года этак 2 назад) публиковалась на habrahabr.ru от имени моего друга, т.к. тогда ещё у меня не было аккаунта на habrahabr. ~~Потом друг убрал её из своих статей~~. Не убрал, вот она. Публиковать повторно не хочется, поэтому чтобы материал не пропадал, публикую здесь. Поэтому сразу оговорюсь, что cтатья - не рекомендация к действию. Была конкретная проблема, конкретная задача, я её решил вот так. Потратил на это времени часа этак два. Если бы мне нужно было решать аналогичную задачу с нуля, то так я делать не стал бы уж точно. В итоге, получился такой добротный костыль. Привожу статью в том виде, как она была. Это одна из первых моих статей.
PS: я в курсе, что есть nested sets и другие способы организации иерархических данных. Ещё раз напомню, мы сейчас говорим о костыле.

Итак, поехали "костылять"

Очень хотелось поднять вопрос о древовидных структурах в MySql. А конкретно о выборках и хранении данных.. Пользователям Oracle и PostgresSQL живется хорошо, в этих БД есть встроенные средства выборки рекурентных данных (см. Иерархические (рекурсивные) запросы). Пользователям Mysql приходится работать уже с тем, что есть, то есть работа на стороне клиента. Поскольку эта тема не однократно поднималась, то я попробую рассказать о конкретной задаче и способе её решения.

Задача

Есть проект на php, в нем двевовидная структура реализованнная в таблице mysql catalog (id int NOT NULL,pid int NOT NULL, ...) pid - это id родителя. То есть данные хранятся в одной таблице, каждая ячейка ссылается на родительскую. Таким образом формируется все дерево. Естественно в таблице хранится куча связанных данных, описание которых я опущу, так как они на суть задачи не повлияют, а будут только мешаться. Пример такого хранения данных:


CREATE TABLE catalog(
 id INT NOT NULL PRIMARY,
 pid INT NOT NULL,
 someData text NOT NULL)
comment = "табличка с рекурентной стркутурой";

* This source code was highlighted with Source Code Highlighter.

id	pid	someData
1	0	Каталог
2	1	Книга 1
3	1	Книга 2
4	3	Глава 1
5	3	Глава 2
6	3	Глава 3

Производится выборка данных всего дерева рекурентно на стороне клиента. Общий объем базы 500Мб, и дальше будет только расти. Поскольку ветвей и узлов много, то общее количество запросов к базе на данный момент колеблется от 300 до 1000. В результате рекурентной выборки формируется массив данных (зачем-то тоже рекурентного вида), который отдается на сьедение шаблонизатору. Задача, оптимизировать выборку так, чтобы выдергивать необходимые данные одним запросом (ну или двумя-тремя, но не так, чтобы их было так много... ) Надо сказать, что структура хранения данных менять нельзя, т.к. под нее написано куча кода. Переписывать всё - долго. И написано всё так, что никакой абстракции не подставишь.

Вариант решения

Задача в целом тривиальна. Она неоднократно решалась;. Вводятся дополнительные данные, которые используются для ограничения выборки из таблицы. Весь вопрос сводится только к тому, что это за дополнительное поле (поля). Так или иначе дополнительные данные ведут к избыточности, а значит к накладным расходам по поддержке корректности данных. В публикациях наиболее часто встречается решение с дополнительным поле типа varchar, в котором хранятся id-шники текстом, разделенные спецсимволом. По этому полю осуществляется сортировка и ограничение чем-нибудь типа like %...%. В целом решение очень хорошее, но имеет свои недостатки:

естественное ограничение на вложенность иерархии.
накладные расходы и сложности по поддержке этого поля. (в моем случае если писать скрипт занимающийся поддержкой этого поля, то он будет просто виснуть по таймауту, а значит нужно делать эти действия в cron)
серьезнная нагрузка на сеть, которая и является основой для постановки задачи, нагрузка не куда не делась, просто она в фоне, а сервер все-равно тормозит.
в случае переноса узлов дерева нужно обновлять данные этого поля.

В итоге получаем достаточно тяжелое и сложное решение. Времени на его реализацию как всегда не было. Чтобы решить все изложенные выше проблемы, необходимо действовать по другому. Во-первых, формирование дополнительных данных лучше делать там, где эти данные находятся, то есть на стороне базы данных. Во-вторых, поддержка дополнительных данных - накладная операция, поэтому лучше обновлять их каждый раз. Эта концепция реализуется следующим образом: пишется не сложная процедура, которая бы формировала данные для временной таблички tmp__index, производя рекурентный обход дерева. Вот реальный код процедуры:

DELIMITER $$ DROP PROCEDURE IF EXISTS `getIndexToTmpTable`$$ /** main_id - идентификатор корня или метка поиска search_id - идентификатор для начала поиска zlevel - максимальный уровень вложенности, чтобы не упрыгать слишком глубоко, - установить -1 - чтобы отключить ограничение по вложенности sublevel - текущий уровень вложенности, для того чтобы складировать в базу - установить 1 */ CREATE PROCEDURE `getIndexToTmpTable` ( in main_id INT, in search_id INT, in zlevel INT, in sublevel INT ) BEGIN DECLARE done INT DEFAULT 0; DECLARE catalog_id INT; DECLARE catalog_pid INT; DECLARE cur1 CURSOR FOR select id,pid from catalog where pid=search_id; DECLARE CONTINUE HANDLER FOR NOT FOUND SET done = 1; IF sublevel<=1 THEN /** чтобы установть только раз*/ IF zlevel<=0 THEN /** число наобум */ SET max_sp_recursion_depth= 15; ELSE SET max_sp_recursion_depth= zlevel+1; END IF; END IF; OPEN cur1; IF main_id = search_id THEN /** вставим саму запись, чтобы был полный боекомплект */ insert into tmp__index set id = main_id, pid =(select pid from catalog where id=main_id limit 1), rid =main_id, level = sublevel-1; END IF; /** нужно влючить глубину рекурсии */ REPEAT FETCH cur1 INTO catalog_id,catalog_pid; IF NOT done THEN /** вставим текущую найденную запись */ insert into tmp__index set id = catalog_id, pid = catalog_pid, rid = main_id, level = sublevel; /** спустимся по ниже */ call getIndexToTmpTable(main_id,catalog_id,zlevel,sublevel+1); END IF; UNTIL done END REPEAT; CLOSE cur1; END$$ DELIMITER ;
* This source code was highlighted with Source Code Highlighter.

Запуск процедуры предваряется созданием временной таблички, а затем простой селект выдирает необходимые данные.

CREATE TEMPORARY TABLE tmp__index(id int,pid int ,rid int); call getIndexToTmpTable(,,1,1); select c.* from catalog as c join tmp__index as t on t.rid=c.id
* This source code was highlighted with Source Code Highlighter.

Остановимся на минуткуи и подумаем что мы сделали и на сколько это хорошо:

делаем все 3-я запросами к БД
избавились от проблем связанных с поддержкой дополнительного поля, так как все генерится динамически
данная процедура не может зациклится, mysql ограничивает на глубину рекурсии
мы можем сами контролировать насколько глубоко нужно обойти дерево (то есть до какого уровня)
мы знаем о каждом элементе все, вплоть до того, на каком уровне он находится
вторичное исполнение процедуры на одних и тех же данных можно устранить, используя локальный кеш результата запроса.

Честно говоря, меня очень удивило, что такой функционал так легко реализуется средствами БД. Однако идем дальше, задача до конца не решена. Теперь встает вопрос - что с этим массивом делать. Варианта всего два:

переписать все шаблоны на новый лад.
сделать древовидную структуру из линейной.

Я считаю, что если есть возможность, то лучше рефакторить шаблоны для того, чтобы они понимали линейную структуру данных. Это наиболее добротный путь. Но к сожалению в моем случае легче и быстрее сделать древодиную структуру, а не корячить весь проект... Так что я сделал так: сформировал каракас дерева на основе ссылок, последовательно помещая ссылку на элемент-дитя в элемент-родитель. После формирования каркаса дерева я проходил по нему рекурентно и создавал уже дерево с реальными данными.

; На рисунке показан вид получаемого мной каркаса. Я схематично указал там название поля, но реально там хранятся только идентификаторы в виде $id=>array(...), где $id - инедтификатор элемента, а массив содержит набор ссылок на корневые элементы массива. Важно понимать, что записи с одним и тем же именем ссылаются на одно и тоже место памяти. Общий объем хранимых в памяти данных - число элементов + накладные расходы нах хранение массива ссылок. Вот код преобразования, он в внутри класса. Прошу не судить строго, писалось быстро, из-под палки:

protected $_idToData = null; protected $_dataArray = null; /** * генерация рекурентно данных на основе дерева ссылок * для работы заполнить дерево ссылок, массив связки с данными и массив данных * $_idToData, $_data * * @param array& $curItemFrom * @param array& $curItemTo */ protected function _recGenTreeResult(array&$curItemFrom,array&$curItemTo) { foreach($curItemFrom as $id=>&$list) { if(!isset($this->_idToData[$id]) || !isset($this->_dataArray[ $this->_idToData[$id] ])) throw new Exception('recursion build error!'); $curItemTo[] = $this->_dataArray[ $this->_idToData[$id] ]; $i = count($curItemTo)-1; if(count($list)) { $curItemTo[$i]['dir'] = array(); $this->_recGenTreeResult(&$list,&$curItemTo[$i]['dir']); } } } function listToTree($dataArray) { $this->_dataArray = &$dataArray; $this->_idToData = array(); $parentList = array(); $rootIds = array(); // а теперь делаем рекурентную структуру для вывода // сохраняем id-> num в массиве data для быстрого доступа foreach ($this->_dataArray as $k=>$d) $this->_idToData[$d['id']] = $k; foreach ($this->_dataArray as $k=>$d) { // делаем соотношения $pid=>array($id, ...), чтобы потом превратить его в дерево $parentList[$d['pid']][$d['id']]= array(); // если есть, то значит у этого товарища есть родитель ... if(isset($this->_idToData[$d['pid']])) { // берем его родителя и делаем в него ссылку на этого товарища if(isset($parentList[ $this->_dataArray[ $this->_idToData[$d['pid']] ]['pid']])) if(empty($parentList[ $this->_dataArray[ $this->_idToData[$d['pid']] ]['pid']][ $d['pid'] ])) $parentList[ $this->_dataArray[ $this->_idToData[$d['pid']] ]['pid']][ $d['pid'] ] = &$parentList[$d['pid']]; } else $rootIds [$d['pid'] ] = true; } $result = array(); foreach(array_keys($rootIds) as $pid) $this->_recGenTreeResult(&$parentList[$pid],&$result); return $result; }
* This source code was highlighted with Source Code Highlighter.

В итоге, получили вполне работоспособную штуку. В случае большой базы и глубины рекурсии данному решению тоже может быть плохо. конкретно может быть плохо mySql-серверу. я бы решал эту проблему введением кеширующей таблицы (постоянной), которая бы хранила бы результаты спуска от начала определенного элемента, и копировала бы их во временную таблицу. То есть получался бы классический кеш рекурсии, только на SQL. Это близко к методам динамического программирования. Может быть когда-нибудь дореализую, если локального кеша не хватит на стабильную работу. Хотя я думаю, что хватит...

ссылки на то, что почитать:

Правильная проверка XML данных в java-проектах

2011-09-13T07:33:00.000+03:00

Привет, %username%.

Недавно, опубликовал свою статью про валидацию XML-данных в java проектах. В статье я постарался рассказать немного о библиотеке XmlUnit и о том как правильно с моей точки зрения писать тесты в таких случаях. Кому интересно, всех приглашаю почитать.

UPD: Краткий итог: В начале поленился описывать возможности библиотеки, мол, если нужно, сами зайдут и почитают. В итоге, повалила куча вопросов, типа - а так можно. Пришлось дополнить статью парой ссылок и комментариями. В целом получилось не плохо. Благодаря комментариям узнал для себя новое, в XSD-схеме можно указывать обязательный порядок тегов:

The indicator specifies that the child elements must appear in a specific order:

Так что совет всем, читайте мануалы, оно полезно.

Поворачиваем монитор средствами xorg в ubuntu

2011-09-04T17:50:00.000+03:00

Привет, %username%.

Делюсь рецептом - как удобно поворачивать монитор в ubuntu.
Перечитал кучу документации. Более всего понравился вариант с использованием утилиты xRandr.
Чтобы утилита работала верно, нужно включить соответствующую опцию RandRRotation в /etc/X11/xorg.conf.

Например, кусочек моего xorg.conf:

Section "Screen"
Identifier "Screen0"
Device "Device0"
Monitor "Monitor0"
DefaultDepth 24
Option "RandRRotation" "on"
SubSection "Display"
Depth 24
EndSubSection
EndSection

После перегружаем X-сервер (для тех, кто не знает как это делать, можно перегрузить просто компьютер) и выполняем команду:

xrandr -o right

Если хотим вернуть всё на место, то пишем команду:

xrandr -o normal

доступны так же опции: normal,inverted,left,right
Ах да, xrandr - наверное ставить придется, он есть в репозиториях ubuntu, например.
Ну и наконец, скрин, как оно у меня выглядит:

Мое рабочее место, когда я читаю статьи.

Я в таком виде читаю статьи, редактирую статьи, формулы, то есть всё то, где вертикальность приветствуется.

PS: писать код так - не удобно, уж очень узко...

java GUI

2011-09-02T09:59:00.001+03:00

Клевая ссылка про всё-всё.

Рекомендую всем: http://habrahabr.ru/blogs/java/117430/

Java 2D графика

2011-09-02T07:52:00.001+03:00

Привет, %username%.

Скидываю набор ссылок по Java2D

http://habrahabr.ru/blogs/java/127518/

TODO: чуть по позже положу сюда ещё ссылок

Ещё раз о тестировании кода

2011-09-01T09:56:00.000+03:00

Ещё раз о тестирование кода. Заметка навеяна: http://habrahabr.ru/blogs/tdd/127114/

Интересен не сам пост, а комментарии к нему.

И ещё http://habrahabr.ru/blogs/tdd/111095/

Если кратко, то ИХМО:

тесты — это лакмусовая бумажка гибкой и правильной архитектуры приложения.

Вам удобно писать тесты ? Они у вас не рушатся ?

Если да, то молодцы, если нет, то скорее всего вы делаете что-то не так.

Подробности:

http://habrahabr.ru/blogs/tdd/127114/#comment_4202087

http://habrahabr.ru/blogs/tdd/127114/#comment_4209375

http://habrahabr.ru/blogs/tdd/127114/#comment_4202561

http://blog.byndyu.ru/2010/02/tdd_18.html

иньекция зависимостей.
http://wiki.agiledev.ru/doku.php?id=ooad:dependency_injection

+ мне ещё нравится вот такое описания принципов проектирования ООП
http://blog.byndyu.ru/2009/10/solid.html

И вот ссылка на английском про тестирование в тему:

http://martinfowler.com/articles/mocksArentStubs.html

Ссылка на курс цифровой фотографии

2011-08-31T10:19:00.000+03:00

Классная ссылка про фотографию. Правда на английском:
курс цифровой фотографии

SAX парсер на Java своими руками.

2011-08-30T23:22:00.000+03:00

Привет %username%.

Сегодняшней темой будет парсинг XML. Существуют две стратегии обработки XML документов: SAX и DOM.
SAX парсеры предлагают потоковую обработку данных основанную на событиях.
DOM парсеры преобразуют XML в дерево объектов, с которыми можно будет работать.

Рассмотрим пример простейшего SAX парсера.

Пусть у нас есть XML документ:

<?xml version="1.0" encoding="windows-1251"?>
<books>
    <book id="1">
        <title>Компьютерные сети</title>
        <autor>Олифер</autor>
    </book>
    <book id="2">
        <title>Вычислительные сети сети</title>
        <autor>Кто-то ещё</autor>
    </book>
</books>

Код обработки документа может выглядеть следующим образом:

package javaxmltest;

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStream;

import javax.xml.parsers.ParserConfigurationException;
import javax.xml.parsers.SAXParserFactory;
import javax.xml.parsers.SAXParser;

// SAX
import org.xml.sax.Attributes;
import org.xml.sax.InputSource;
import org.xml.sax.SAXException;
import org.xml.sax.helpers.DefaultHandler;

/**
 *
 * @author nicolay
 */
public class Main {

    /**
     * @param args the command line arguments
     */
    public static void main(String[] args)
    {
        SAXParserFactory factory = SAXParserFactory.newInstance();

        factory.setValidating(true);
        factory.setNamespaceAware(false);
        SAXParser parser;

        InputStream xmlData = null;
        try
        {
            xmlData = new FileInputStream("books.xml");

            parser = factory.newSAXParser();
            parser.parse(xmlData, new MyParser());

            
        } catch (FileNotFoundException e)
        {
            e.printStackTrace();
            // обработки ошибки, файл не найден
        } catch (ParserConfigurationException e)
        {
            e.printStackTrace();
            // обработка ошибки Parser
        } catch (SAXException e)
        {
            e.printStackTrace();
            // обработка ошибки SAX
        } catch (IOException e)
        {
            e.printStackTrace();
            // обработка ошибок ввода
        } 

    }
}
// http://java.sun.com/j2se/1.4.2/docs/api/org/xml/sax/helpers/DefaultHandler.html
class MyParser extends DefaultHandler {

    @Override
    public void startElement(String uri, String localName, String qName,
            Attributes attributes) throws SAXException {
        System.out.println("Тег: "+qName);
        if(qName.equals("book"))
            System.out.println("id книги "+attributes.getValue("id"));
  //      System.out.println(attributes.getLength());
        super.startElement(uri, localName, qName, attributes);

        
    }

    @Override
    public void characters(char[] c, int start, int length) 
                                                 throws SAXException {
        super.characters(c, start,  length);
        for(int i=start;i< start+length;++i)
            System.err.print(c[i]);
    }
  
    @Override
    public void endElement(String uri, String localName, String qName) 
                                                    throws SAXException {
        
        System.out.println("Тег разобран: "+qName);
        super.endElement(uri,localName, qName);
    }

    @Override
    public void startDocument() throws SAXException {
        System.out.println("Начало разбора документа!");
        super.startDocument();
    }

    @Override
    public void endDocument() throws SAXException {
        super.endDocument();
        System.out.println("Разбор документа окончен!");

    }
    
}

Код можно получить тут: https://github.com/png-tech/PngJavaSamples/blob/master/SimpleExamples/src/png/samples/xml/saxread/XmlSaxReadSample.java

Поясняю код. Мы описываем класс MyParser, который будет обрабатывать события чтения данных. Выделено 5 событий:

старт документ
открытие тега
данные внутри тега
закрытие тега
заканчиваем обработку документа

SAX парсер постепенно читает файл XML. И когда набирается достаточное количество данных (считался тег с атрибутами) вызывает метод нашего класса. Когда данные уже отработаны, они в принципе не нужны и поэтому постепенно удаляются из памяти.

Такая методика позволяет обрабатывать достаточно большие XML(возможно размером несколько мегабайт/гигабайт). Это главное достоинство SAX парсеров. Скорость и возможность обрабатывать большие объемы данных.

Главный недостаток - сложный код в случае сложной структуре XML файла. То есть если XML простой и линейный, то его легко анализировать SAX-парсером. Для XML со сложной структурой придется по возиться с алгоритмизацией.

Вернемся к примеру.
1-ое событие - начали обрабатывать документ. Наступает лишь раз в момент, когда мы начали анализировать файл. На этом этапе можно производить первичную инициализацию данных
2-ое событие - открылся тег. На этом этапе мы знаем имя тега и его атрибуты. Мы не знаем ни как глубоко вложен элемент, ни сколько там ещё внутри. Если это надо, то нужно обрабатывать алгоритмически
3-е событие - данные. Реальные данные между открытым и закрытым тегами. Нам дают массив символов, делайте с ним что хотите
4-ое событие - закрываем тег. Теперь мы знаем, тег закрыт, можем что-нибудь обработать алгоритмически
5-ое событие - документ обработан. Освобождаем лишние ресурсы, делаем пост обработку, если она нужна. Короче радуемся жизни, т.к. мы такие молодцы - обработали документ.

В итоге программа выведет :

Начало разбора документа!
Тег: books

Тег: book
id книги 1
    
Тег: title
Тег разобран: title
        Компьютерные сети
Тег: autor
Тег разобран: autor
        Олифер
Тег разобран: book
    
Тег: book
id книги 2
    
Тег: title
Тег разобран: title
        Вычислительные сети сети
Тег: autor
Тег разобран: autor
        Кто-то ещё
Тег разобран: book
    

Тег разобран: books
Разбор документа окончен!

Надеюсь пример кому-нибудь помог.
Спасибо за внимание.

UPD: Сделал репозиторий на github, где буду выкладывать примеры для статей.

Исходники примера можно взять тут:
https://github.com/png-tech/PngJavaSamples/blob/master/SimpleExamples/src/png/samples/xml/saxread/

Работа с кириллическими доменам в Java

2011-08-30T22:29:00.001+03:00

Привет, %username%.

На днях потребовалось работать с кириллическими доменами.
нужно было их из кодировки PunyCode в обычную UTF8.

и так поехали

добавляем зависимость в maven

<dependency>
     <groupId>org.apache.httpcomponents</groupId>
     <artifactId>httpclient</artifactId>
     <version>4.0.3</version>
</dependency>

пишем функцию преобразователь урлов

public class StringTools {
  public static String fixCyrillicHostInUrl(String stringUrl) {
    URL url;
    try {
          url = new URL(stringUrl);
    } catch (MalformedURLException e) {
       return stringUrl;
    }
    String punycodeHost = url.getHost();
    String unicodeHost = Punycode.toUnicode(punycodeHost);
    return stringUrl.replaceFirst(punycodeHost, unicodeHost);
  }
}

Используем на здоровье.