Топор войны

Уровни логирования

noreply@blogger.com (intr13) — Wed, 23 Mar 2011 08:00:00 +0000

Уровни логирования на примере slf4j и описание ситуаций их использования.

FATAL - очень критичная ошибка в приложении, приложение не может работать после данной ошибки, останов приложения или среды исполнения, реакция на сообщение должна быть максимально быстрой.
SERVE - критичная ошибка в приложении, данная ситуация является внештатной (ни в коем случае не должна быть по мнению разработчиков), но приложение может работать дальше, реакция на сообщение должна быть максимально быстрой.
ERROR - ошибка в приложении, приложение может работать дальше без всяких проблем, возможно проблема с неправильными входными данными или доступом к внешним сервисам (БД, legacy), данная ошибка предусматривалась при разработке.
WARN - некритичная ошибка, приложение может работать дальше без всяких проблем, данная ошибка предусматривалась при разработке, возможно одна из функций приложения дала сбой, который можно исправить.
INFO - важная информация о работе приложения, например запуск остановка приложения или использование конфигурационных файлов или аутентификация пользователя в системе.
DEBUG - отладочная информация работы приложения, например техническая информация полученная при работе в внешними системами, или информация о вызове методов объектов, со списком параметров.
TRACE - трассировка выполнения приложения, например информация о вызываемых методах и времени их работы, также на данном уровне пишется информация о времени вызова внешних сервисов (БД, legacy).

Epic fail - xor для энтузиастов

noreply@blogger.com (intr13) — Thu, 30 Sep 2010 15:00:00 +0000

Я горд, получить признание от компании Sun на втором году (2005 год) программистской жизни это круто. Не каждый может поучаствовать в подобном. Конечно, я тогда был всего лишь рядовым исполнителем (Java Developer) и не стоял за штурвалом, но и это многого стоит. Но это лишь видимая сторона медали.

Так уж сложилось, что мне довелось сопровождать данный программный продукт до сегодняшних дней (Система управления содержимым сайта iPortal, и построенная на её базе Система дистанционного обучения iLogos). Благо остальные "ядреные" члены команды канули в другие проекты и жизненные события. Но качество кода в этом проекте довольно неплохое, хотя в любом коде есть ошибки. И сейчас я об одной расскажу :)

Буквально недавно вылезла замечательная ошибка с сохранением пользователя, после пяти минут сервер вываливался с 500 ошибкой. Выяснилось, что проблема возникает при назначении прав пользователя на редактирование остальных пользователей системы (и на на другие объекты). Простейший count выдал что на данный момент в БД находится 32 тысячи пользователей, в 63 подразделениях. Ранее на 20 тысячах пользователей и меньшем количестве подразделений все работало.

После непродолжительных раскопок было выявлено, что собака зарыта в хитрой модели безопасности. Право на конкретный узел рассчитывалось как применение логической функции xor ко всем правам до корня иерархии конкретного типа объектов. То есть бралось право на объект, и права на все родительские объекты до корня, и потом глобальный xor делал свое жуткое дело. Правда страшно?

Но есть еще более страшная штука, установка права на объект вызывала необходимость обойти все дочерние объекты и пересчитать для них эффективные права. То есть мы устанавливаем новое право на объект, но при этом эффективные права на дочерние объекты должны остаться неизменными.

В общем, спасибо нашему тогдашнему тимлиду, хотя мы как девелоперы сами повели себя как редкостные идиоты. Хотя кто же мог знать?

А мораль довольно простая: не всегда старшие товарищи предлагают более адекватное решение, и почти всегда надо думать, желательно головой!

И мораль номер два: пишите код хорошо, не пишите код плохо. А то ведь и поддерживать его придется лет через пять, а то и больше. Кстати, из-за грамотного расслоения на уровни я изменил модель безопасности довольно быстро.
И нефиг было издеваться надо мной, когда я предлагал слоить систему. "Серега и его дао", ха! Не зря я был упрямый :)

p/s
Ну и самое главное, прошло мое время, я больше не занимаюсь поддержкой данной системы. Хотя, никогда не говори никогда :)

p/s/s
Фотографии наградных табличек в более высоком качестве - раз и два :)

JBoss Arquillian. Интеграционное тестирование.

noreply@blogger.com (intr13) — Thu, 23 Sep 2010 15:00:00 +0000

Тестирование разрабатываемого кода штука безусловно полезная и нужная, особенно если применяется в нужное время, и в нужном месте. Но к сожалению обычные unit-тесты не позволяют проверить работу приложения в целом. А это иногда очень надо, например для проверки что приложение успешно стартует на сервере приложений и даже немного работает.

Особенно актуальна проблема с запуском таких тестов (интеграционные тесты) в java enterprise разработке, для проверки отдельных компонентов работающих под управлением сервера приложений. И тут на помощь приходит технология JBoss Arquillian, которая не смотря на название позволяет запускать интеграционные тесты не только на JBoss AS (5.0, 5.1, 6.0), но и на: Tomcat (6.0), Jetty (6.1, 7.0), Glassfish (3.0). Причем для некоторых серверов приложений можно есть поддержка embedded запуска (без использования внешнего сервера).

Конечно есть и другие способы решения данной проблемы, но сейчас мы посмотрим как работает JBoss Arquillian на JBoss Application Server 6.
Подготовка
Нам понадобится:

Для начала поставим Java и проверим что она прописалась в путях. То есть работает команда - "java -version".

Далее устанавливаем Apache Maven и проверяем что он тоже прописан в путях. То есть работает команда - "mvn --version".

Потом разархивируем дистрибутив JBoss AS в рабочую директорию и запускаем его "[папка где лежит jboss]/bin/run.sh" или "[папка где лежит jboss]/bin/run.bat" (это зависит от вашей Религии).

Обычно "чистый" JBoss AS в default конфигурации запускается 50 секунд, и в конце своего запуска пишет в консоль:

22:17:49,301 INFO [org.jboss.bootstrap.impl.base.server.AbstractServer] JBossAS [6.0.0.20100721-M4 "Neo"] Started in 45s:101ms

Запуск тестового проекта

Перейдем в директорию с исходным кодом проекта и запустим его при помощи команды - "mvn clean test ". И после того как maven скачает все необходимые библиотеки (это может занять очень продолжительное время), он запустит наш тест на выполнение. В итоге мы увидим в консоли примерно следующее:

...
-------------------------------------------------------
T E S T S
-------------------------------------------------------
Running ru.intr13.jboss.arquillian.arquillianJunit.MyServiceTestCase
Tests run: 1, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 7.843 sec

Results :

Tests run: 1, Failures: 0, Errors: 0, Skipped: 0

[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESSFUL
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 1 minute 2 seconds
[INFO] Finished at: Thu Sep 23 22:21:20 ULAT 2010
[INFO] Final Memory: 75M/179M
[INFO] ------------------------------------------------------------------------

Что означет успешный запуск теста на сервере приложений.

Также в консоли сервера мы увидим строчки:

22:21:15,427 INFO [org.jboss.profileservice.management.upload.remoting.DeployHandler] invoke, payload: {DeploymentTargetID=names=[test.war], clientAddress=/127.0.0.1}, parameter: start
22:21:16,384 INFO [org.jboss.ejb3.deployers.Ejb3DependenciesDeployer] Encountered deployment AbstractVFSDeploymentContext@19346892{vfs:///D:/work/arquillian/jboss-6.0.0.20100721-M4/server/default/deploy/test.war}
22:21:16,384 INFO [org.jboss.ejb3.deployers.Ejb3DependenciesDeployer] Encountered deployment AbstractVFSDeploymentContext@19346892{vfs:///D:/work/arquillian/jboss-6.0.0.20100721-M4/server/default/deploy/test.war}
22:21:16,402 WARN [org.jboss.ejb3.interceptor.InterceptorInfoRepository] EJBTHREE-1852: InterceptorInfoRepository is deprecated
22:21:17,014 INFO [org.jboss.ejb3.deployers.JBossASKernel] Created KernelDeployment for: test.war
22:21:17,018 INFO [org.jboss.ejb3.deployers.JBossASKernel] installing bean: jboss.j2ee:jar=test.war,name=MyService,service=EJB3
22:21:17,019 INFO [org.jboss.ejb3.deployers.JBossASKernel] with dependencies:
22:21:17,019 INFO [org.jboss.ejb3.deployers.JBossASKernel] and demands:
22:21:17,028 INFO [org.jboss.ejb3.deployers.JBossASKernel] jboss.ejb:service=EJBTimerService; Required: Described
22:21:17,047 INFO [org.jboss.ejb3.deployers.JBossASKernel] and supplies:
22:21:17,050 INFO [org.jboss.ejb3.deployers.JBossASKernel] jndi:MyService
22:21:17,051 INFO [org.jboss.ejb3.deployers.JBossASKernel] jndi:MyService/local-ru.intr13.jboss.arquillian.arquillianJunit.IMyService
22:21:17,051 INFO [org.jboss.ejb3.deployers.JBossASKernel] jndi:MyService/local
22:21:17,051 INFO [org.jboss.ejb3.deployers.JBossASKernel] Class:ru.intr13.jboss.arquillian.arquillianJunit.IMyService
22:21:17,057 INFO [org.jboss.ejb3.deployers.JBossASKernel] Added bean(jboss.j2ee:jar=test.war,name=MyService,service=EJB3) to KernelDeployment of: test.war
22:21:18,057 INFO [org.jboss.ejb3.session.SessionSpecContainer] Starting jboss.j2ee:jar=test.war,name=MyService,service=EJB3
22:21:18,064 INFO [org.jboss.ejb3.EJBContainer] STARTED EJB: ru.intr13.jboss.arquillian.arquillianJunit.MyService ejbName: MyService
22:21:18,092 INFO [org.jboss.ejb3.proxy.impl.jndiregistrar.JndiSessionRegistrarBase] Binding the following Entries in Global JNDI:

MyService/local - EJB3.x Default Local Business Interface
MyService/local-ru.intr13.jboss.arquillian.arquillianJunit.IMyService - EJB3.x Local Business Interface

22:21:18,827 INFO [org.jboss.web.tomcat.service.deployers.TomcatDeployment] deploy, ctxPath=/test
22:21:19,219 INFO [org.jboss.arquillian.testenricher.cdi.CDIInjectionEnricher] Skipping CDI injections. Either beans.xml is not present or the BeanManager could not be located in JNDI.
22:21:19,451 INFO [org.jboss.profileservice.management.upload.remoting.DeployHandler] invoke, payload: {DeploymentTargetID=names=[test.war], clientAddress=/127.0.0.1}, parameter: stop
22:21:19,456 INFO [org.jboss.web.tomcat.service.deployers.TomcatDeployment] undeploy, ctxPath=/test
22:21:19,491 INFO [org.jboss.ejb3.session.SessionSpecContainer] Stopping jboss.j2ee:jar=test.war,name=MyService,service
=EJB3
22:21:19,501 INFO [org.jboss.ejb3.EJBContainer] STOPPED EJB: ru.intr13.jboss.arquillian.arquillianJunit.MyService ejbName: MyService
22:21:19,982 INFO [org.jboss.profileservice.management.upload.remoting.DeployHandler] invoke, payload: {DeploymentTargetID=names=[test.war], clientAddress=/127.0.0.1}, parameter: remove

Что это было?

JBoss Arquillian собрал приложение и запустил его на сервере приложений, что видно по логу сервера приложений. При этом он задеплоил Enterprise Java Bean (EJB) - MyService, и произвел запуск тестов в контексте сервера приложений. Далее была произведена "зачистка" и apache maven отрапортовал что все тесты прошли успешно.

Важное замечание! Код теста запускался не локально, а на сервере приложений. Потому чтобы отлаживать тесты требуется запуск сервера приложений в debug режиме.

Что мы тестировали?

У нас был EJB MyService:

@Stateless
@Local(IMyService.class)
public class MyService implements IMyService {

@Override
public String getMessage(String data) {
return data;
}

}

с локальным интерфейсом - IMyService:

public interface IMyService {

String getMessage(String data);

}

У которого мы вызывали метод getMessage.

Важное замечание! Мы деплоили наш EJB на сервер приложений при запуске тестов, хотя могли его заранее задеплоить в другом модуле, а потом просто получить его из InitialContext.

Как мы тестировали?

Код теста прост (использовался junit как фреймворк для тестирования):

@RunWith(Arquillian.class)
public class MyServiceTestCase {

@Deployment
public static JavaArchive createDeployment() {
return ShrinkWrap.create(JavaArchive.class, "test.jar").addClasses(
IMyService.class, MyService.class);
}

@Test
public void myTest() throws Exception {

InitialContext context = new InitialContext();

IMyService myService = (IMyService) context.lookup("MyService/local");

Assert.assertEquals(myService.getMessage("kva"), "kva");
}

}

Где в методе createDeployment мы говорим что надо задеплоить EJB MyService на сервер приложений, а в методе myTest получаем задеплоенный EJB и проверяем его.

Важное замечание! По умолчанию JBoss Arquillian создает web application arсhive (WAR) в который размещает наш виртуальных архив созданный в методе createDeployment. Но есть возможность задеплоить свой виртуальный enterprise application arсhive (EAR), в который кстати будет автоматически помещен WAR JBoss Arquillian.

Еще одно важно замечание! Так как код теста выполняется на сервере приложений, то возникает потребность в классе теста внутри виртального модуля (и возможно наличие других тестовых библиотек). В приведенном примере JBoss Arquillian автоматически добаляет класс MyServiceTestCase в свой war. Но иногда требуется вручную указывать необходимые классы (при ручном формировании WAR или EAR).

Как это работает?

В целом работает все это следующим образом:

Мы запускаем тест который использует библиотеки JBoss Arquillian.
JBoss Arquillian получает у теста виртуальный JAR архив с EJB компонентами (метод createDeployment). Для этого используется технология ShrinkWrap.
JBoss Arquillian создает WAR архив в который размещает свои библиотеки, класс теста который мы запускаем (вот такая рекурсия) и созданный нами виртуальный JAR архив.
JBoss Arquillian деплоит WAR архив на запущенный JBoss AS.
JBoss AS разворачивает WAR архив со всем его содержимым. В этот момент происходит деплой нашего EJB компонента на сервере приложений.
WAR запускает тест.
После запуска тестов в вызывающее приложение передается результаты выполнения тестов и происходит удаление WAR архива с сервера приложений (зачистка).
Вывод результатов тестирования.

Ложки дегтя!

И все было бы хорошо, но есть пара проблем которые мешают нормально жить:

По умолчанию в OS Windows есть ограничение на длину выполняемой команды (порядка 8 тысяч символов). И в связи с тем что мы подключаем библиотеки JBoss (при помощи apache maven), возникает проблема с запуском тестов в Eclipse IDE. Конечно можно уменьшить classpath или пути до исполняемых файлов и файлов проекта, но осадок остался. Кстати при запуске через консоль в windows такой проблемы нет, также в IDEA IDE тоже решили данную проблему.
Разработчики JBoss Arquillian говорят что в тестах можно автоматически инжектить EJB. То есть описывать в тесте поле с аннотацией @EJB, но это не работает. А если быть точным то работает в очень редких случаях при правильном именовании EJB и их интерфейсов. Лучи позора разработчикам, но писать без говнокода сложно (класс EJBInjectionEnricher метод lookupEJB).

Что еще?

К сожалению я опустил вопросы:

Запуск интеграционных тестов для уже разработанных приложений (JASS, classpath).
Создание виртуальных EAR приложений.
Автоматический запуск интеграционных тестов на CI сервере.

Но скорее всего я еще вернусь к данной теме :)

Заключение

На данный момент я работаю над группой EAR приложений которые запускаются более 3 минут, передеплой занимает 2 минуты. И чтобы не ждать мы разбили приложение на небольшие EAR модули для базовых написали интеграционные тесты. Их запуск занимает 10-15 секунд, передеплой базовых модулей занимает 30-40 секунд. То есть мы рады и немного счастливы. Спасибо разработчикам JBoss Arquillian за полезную штуку :)

Ссылки

Презентация от программиста. Черновик.

noreply@blogger.com (intr13) — Fri, 06 Aug 2010 15:00:00 +0000

Профессия накладывает отпечаток на личность. И это важно, без профессиональной деформации сложно понимать коллег, нужен общий знаменатель. Но программистский аутизм отнюдь не способствует эффективному общению. И требуются усилия для преодоления стеклянной стены между программистами. Предполагается, что этим занимается хороший менеджер. Но где вы видели хороших менеджеров?

Получается, что спасение утопающих - это дело рук самих утопающих. И программистам надо учиться общаться без катализатора, то есть развивать свои коммуникативные навыки. Для этого можно: вести свой блог, пойти на курсы ораторского искуства, читать умные книги или просто больше общаться. Но в большинстве перечисленных способов есть проблема обратной связи, а также проблемма переносимости полученого опыта в рабочую среду.

По моему скромному мнению, для развития навыков общения нужно выступать с докладами на айти-конференциях. Если там вы будете пороть чушь, то вас точно поправят. Да и контекст конференции очень похож на контекст презентации своих идей в рабочей среде. Но для типичного программиста-аутиста сделать подобный доклад очень сложно. Потому, сейчас мы попробуем на примере рассмотреть, как сделать хороший доклад.

Исходные данные:

Senior Developer.
Профессиональная деформация.
Небольшой опыт выступлений.
Тема про которую должен узнать мир.
Желание развиваться.
Региональная айти-конференция GeekFest.
Адекватный тренер.

Важные мысли:

«В первую очередь важна эмоциональная составляющая.» - Чуди из ярр студии.
«Никогда не читайте то что написано на слайдах. Никогда!» - Голодный подкастер.
«Не надо считать людей за идиотов и все разжевывать, кому надо разберется или спросит.» - Голодный подкастер.
«Технический доклад скучен и очень сильно сужает аудиторию. И большому количеству технических подробностей не место в хорошем докладе.» - Голодный подкастер.
«Хороший доклад лежит на грани, между умным занудством и веселой чепухой.» - Я.

Итак, в один прекрасный день я встретился с одним голодным подкастером. И он сказал что надо. Кто если не я, что-нибудь расскажет и покажет на очередном GeekFest. Я стал отпираться и говорить, что я рассказываю очень скучно и нудно, и люди при этом засыпают. Но Родина в опастности! И кто если не мы. К тому же он сказал что над моим выступлением мы плотно поработаем. Как наивен я тогда был.

У нас был месяц на подготовку, и за первую неделю я должен был сделать презентацию. Чем я и занимался по вечерам после работы. В итоге через полторы недели получилась первая версия презентации. И мой тренер сказал что ее надо выкинуть, чуть менее чем полностью.

Основные замечания к первой версии презентации:

Плохое название для доклада.
Очень много текста на сладайх.
Непонятно как я буду рассказывать презентацию, и как будут осуществлятся переходы между слайдами.
Очень сложные и непонятные схемы на слайдах.
Плохие картинки на слайдах, надо очищать их от стороннего текста.
Некрасивый шрифт.

Кстати, первую версию презентации вы можете увидеть здесь.

В итоге мы поправили несколько первых слайдов, и он подробно рассказал мне все, что думает про остальные. И погоревав несколько дней, я начал делать вторую версию, которую закончил за полторы недели до доклада. По второй версии замечаний практически не было, лишь шрифт был немного кривой. Но и эту проблему я победил, в последней версии используется кошерный Gills Sans из MacOS.

В итоге получилось следующее.

Но хорошо. Перезентация - это одно, но без выступления она не имеет смысла. И за неделю до выступления мы договорились встретиться и потренироваться. К этому времени я должен был написать и потренировать выступление сам. Чем я занялся, и даже написал речь на две с половиной страницы текста. И даже немного ее проговорил.

Первую версию моей речи можно найти здесь.

Итак, ровно к 12 часам солнечного воскреченья, я прибыл к голодному подкастеру в апартаменты. Целый час мы беседовали на филосовские темы. И ровно в час дня мы начали мою тренировку. Я рассказал свой доклад и это заняло ровно 19 минут. И по выражению лица тренера я понял что это фейл.

Основные замечания к первой версии выступления:

Скучно и нудно.
Очень много слов, которые затягивают слушателей в объятья морфея.
Нет динамики в выступлении.
Очень плохо проработаны переходы между слайдами.
Нет ввода в тематику моей работы.
Нет сопричастности.
Очень слабо и вяло рассказано о проблемах.
И еще много всяких замечаний.

После этого я отдохнул пятнадцать минут и повторил выступление. Стало намного лучше, но это не была история успеха, и это самое главное замечание второго выступления. Также мы проработали переходы между слайдами и пасхальные яйца в выступлении. И на третий раз получилось очень даже достойно, причем я уложился в 14 минут.

Потом я был отправлен домой с наставлением все повторить и потренироваться еще раз в четверг по скайпу. Но в четверг мы того не сделали. Наверное я очень сильно утомил своего тренера и его уже мутило от моего доклада. Но я рассказал все своей жене и ей понравилось. Только она сказала что надо больше улыбаться, а то я какой-то мрачный.

И вот настал великий день - пятница! Конечно я волновался и переживал, но по моему скромному мнению у меня получилось. Но судит конечно вам, благо велась видеозапись и тут ее можно увидеть. Также вы можете посмотреть мое предыдущее выступление (оно скучно и немного нудно).

Несколько важных моментов:

Рассказывать доклад одному человеку намного сложнее чем выступать перед большой аудиторией. Он тебя оценивает и может говорить болезненные гадости.
Если вы волнуетесь перед презентацией, то можно воспользоваться волшебной фляжкой с успокаивающим напитком. Что я и сделал.

В результате получилось:

miniGeekFest 30072010 01 timetable min from golodnyj on Vimeo.
Ссылки:

Мой доклад на GeekFest про архитектуру ПО и unit-тесты

noreply@blogger.com (intr13) — Sat, 05 Jun 2010 15:00:00 +0000

Так случилось, что уговорил меня товарищ golodnyj выступить на Иркутском мероприятии - GeekFest 2010. И собравшись с духом, я что то придумал, и что то рассказал :) Что из этого получилось судить не мне. Потому если будет желание, то можете поглядеть все непотребство тут.

Итак: Расслоение системы на уровни или когда работают unit-тесты.

GeekFest2010 07 unit from golodnyj on Vimeo.

Презентация лежит тут, а тут есть еще немного видео с мероприятия.

p/s
Мне на самом деле не очень понравилось как я выступил, есть еще много над чем надо работать...

Карго-культ в программировании

noreply@blogger.com (intr13) — Sat, 27 Feb 2010 16:00:00 +0000

Культ карго или карго-культ (англ. cargo cult — поклонение грузу), также религия самолётопоклонников или культ Даров небесных — термин, которым называют группу религиозных движений в Меланезии. В культах карго верят, что западные товары (карго, англ. груз) созданы духами предков и предназначены для меланезийского народа. Считается, что белые люди нечестным путём получили контроль над этими предметами. В культах карго проводятся ритуалы, похожие на действия белых людей, чтобы этих предметов стало больше.

Источник Википедия.

Недавно я стал безработным программистом и стал искать новую работу. Сейчас я уже нашел один интересный вариант, но когда я его искал, то столкнулся с рядом компаний и людей, которые были поклонникам Карго-культа. Особенно трепетное отношение я увидел к unit-тестированию, у многих unit-тесты отсутствуют как класс, и они думают что если у них появятся unit-тесты, то произойдет чудо и "кузнечик запиликает на скрипке".

Когда я работал в предыдущей компании, то я тоже видел подобных клиентов (компания немного занималась офшорным программированием). И тогда меня это удивляло, ведь процесс превозносился в пику пользы. А я то наивный верил, что процесс нужен лишь как средство :)

Конечно, "правильные" подходы в Карго-культах важны. Иногда они позволяют чего то достичь, но истинные достижения невозможны без понимания плюсов и минусов. Надо знать когда процесс не работает, чтобы его успешно применять.

И напоследок ряд ссылок на почитать (самое интересное порой в комментариях):

Shu-ha-ri для программистов - об уровнях понимания
МИМУКРАПП - Методология Использования Методологий для Ускорения Карьерного Роста и Акселерации Прозводства Программ - о командных плясках с бубном вокруг костра разработки и том что не все вещи работают.
Читай код - о том что надо понимать что ты делаешь, и тренировать свое понимание.
Очередная солянка сборная - рекомендую прочитать комментарии о документировании исходного кода.
О божественном знании - немного об опыты айтишников, Бритва Оккамы штука полезная.
Programming Styles - о стилях программирования, и программистах Карго-культа. Осторожно, там немного специфический юмор.

И давайте думать, прежде чем делать.

p/s
К сожалению, не могу найти еще одну ссылку на холивар: о чтении умных книг неподготовленными людьми. Например когда студенты, читают книги о шаблонах рефактиринга или шаблонах проектирования, а потом не помыв руки лезут править код. Да порой это плохо и вредно, но путь без ошибок не бывает. Кстати и учится порой не у кого, есть только книги.

Практики которые я возьму с собой

noreply@blogger.com (intr13) — Fri, 29 Jan 2010 16:00:00 +0000

Я имею довольно небольшой опыт работы в сфере разработки программного обеспечения (всего 6 лет), но я уже накопил ряд полезных и правильных практик, которые можно использовать при создании программного обеспечения.

Только прежде чем читать, учтите тот факт, что я работаю в области разработки приложений на Java, потому буду рекомендовать средства учитывающие данную специфику. Также учтите, что это пока черновик, и ваши замечания (в том числе по орфографии и пунктуации) будут полезны :)

В конце рабочего дня подведение краткого итога, и письменный ответ на три вопроса: что было сделано, какие проблемы возникли, что планируется сделать. Также неплохо предоставить данную информацию всей команде (электронная почта, внутренний блог), и если у них будет интерес, то они могут прочитать данный отчет. Полезность данной практики неоценима, каждый кто составляет отчет задумывается в конце дня над вопросом: а что он сегодня полезного сделал. И ради ответа на данный вопрос уже стоит использовать данную практику. Кстати, некоторые заметят что данная практика писутствует в Scrum методологии. Но я первый раз увидел ее на Иркутском Авиационном заводе, мне о ней рассказал один очень интересный человек.
Все материалы по проекту должны быть сосредоточенны в одном месте. Например, ссылки на логи общения с заказчиком или URL, для репозиториев исходного кода. Порядок никогда не бывает лишним, а порой очень сильно способствует повышению производительности.
Надо управлять требованиями заказчика. Что понимается под таким общим утверждением? Все просто, все запросы на изменея вносимые в проект от заказчика должны быть зафиксированны в электронном виде. В тяжелых случаях заказчик должен ставить подпись под каждым своим требованием. Да это бюрократия, да интереснее писать код, но без этого ваш проект имеет очень высокую вероятность провала. Хотя тут многое зависит от.
После получения задания от заказчика надо объяснить своими словами что он хочет. Данная вещь очень важна, без нее очень часто реализовываются вещи которые хочет разработчик, а не заказчик. Хоть это и звучит дико, но тут надо искать компромис, ведь разработчик тоже не дурак и понимает к чему приведет реализация странных требований.
Повесить на общее обозрение диаграмму описывающую архитектурные особеннности проекта. В идеале рядом с ней повесить диаграмму с ходом движения работ по проекту. Это позволит поднять уровень коммуникации между членами команды на принципиально иной уровень. Главное не забывать тыкать пальцем в элементы диаграмм при обсуждении проекта.
Исходный код проекта должен хранится в системе контроля версий. Особенно это важно когда код пишет более одного человека, хотя я уже не представляю себе как можно писать код без системы контроля версий. Наверное у меня комплекс, но мне нужен хотя бы SVN для комфортной работы.
Должна быть инструкция для настройки рабочего окружения по работе над проектом. Если данного документа нет, то получается истинный хаос при подключении нового человека в проект. Да и передача дел значительно затрудняется. Вики по проекту это идеальный вариант.
Использование системы управления задачами. Наличие данной системы позволит более продуктивно исправлять различные проблеммы и не забывать про них. Не забывать это хорошо. Кстати, я рекомендую обратить внимание на Redmine.
Наличие описания сборки проекта. Если каждый раз сборка проекта это череда магических пасов, и собрать проект может только единственный гуру в команде, то это бардак. Если будет описание процеса сборки приложения хотя бы в текстовом виде это значительно упростит работу работу всех членов команды, и избавит от ряда глупых вопросов. Идеальный вариант когда процесс сборки приложения автоматизирован (например при помощи Ant или Maven), тогда счастье разработчиков поистине безгранично.
Разработка unit-тестов. Это очень противоречивая практика, иногда unit-тесты разрабатывать нецелесообразно, да и не все можно протестировать в рамках отведенного бюджета. Но когда unit-тесты есть и написанны правильно это очень сильно повышает уверенность разработчиков в устойчивости исходного кода. Тесты можно писать на JUnit.
Использование системы непрерывной интеграции. Возможно вам это и не надо, но меня очень уж радует факт того, что каждый день происходит сборка системы, и возможно проходят все тесты. Это значительно повышает уверенность в разрабатываемой вами системе. Я рекомендую обратить внимание на системе непрерывной интеграции Hudson.
С опаской относится к независящим от вас системам. Например ставить mvn-proxy репозиторий (я рекомендую Nexus), и пользовать его, а то вдруг глобальные репозитории упадут. Интернет ненадежная штука.
Быть готовым к изменениям. Не все изменения одинаково полезны, но надо быть готовым принять разумные вещи и использовать их в своих целях. Я рекомендую использовать мозг.

Все вышеприведенные практики были полезны для меня лично и если они будут полезны вам, то я буду рад. Кстати, данные практики в основном описывают что необходимо делать для поддержки процесса программирования, но не затрагивают процесс планирования хода работ. Сам процесс программирования и полезные плюшки для него (например расслоение системы на уровни, использование шаблонов проектирования) я пока решил опустить, но к ним я еще вернусь :)

И напоследок: не забывайте думать, прежде чем делать!

UPDATE 2010-06-09: причесанная версия данного текста на хабре.

Импульс для Eclipse

noreply@blogger.com (intr13) — Tue, 03 Nov 2009 16:00:00 +0000

Я не фанат Eclipse. Но среди разнообразных IDE, Eclipse наиболее подходит для меня лично. Во первых , в нем интуитивно понятный для меня интерфейс (или это просто дело привычки). И во вторых, его можно собирать под определенную задачу. То есть для каждой задачи делать свою сборку Eclipse, что позволяет получить идеально отточенный (производительный и удобный) инструмент для каждой конкретной задачи.

Но сейчас мы не будем устраивать священную войну по поводу правильности моего подхода к приготовлению и использованию IDE. Сейчас мы посмотрим на очень интересный продукт - Pulse, который позволяет очень удобно управлять сборкой Eclipse. Также в конце я приведу список интересных плагинов, большинство из которых есть в стандартном репозитории Pulse.

Возможности

Есть три версии поставки Pulse:

Community edition
Freelance team
Private label

Среди такого многообразия нас интересует версия Pulse Community edition, потому что она бесплатна:)

Итак, Community edition:

Бесплатна.
Позволяет создавать свои сборки Eclipse. Причем это делается через удобный GUI. Есть довольно большой каталог проверенных плагинов для Eclipse.
Хранит профили сборок Eclipse у себя на сервере, что позволяет использовать один и тот же профиль на разных компьютерах.
Имеет локальный кэш плагинов. То есть скачав плагин один раз, его не придется скачивать повторно для другого профиля.

Другие версии Pulse тоже интересны, и добавляют большой набор функций, но лично мне пока хватает Community edition. Более подробно о различиях написано здесь, или на следующей картинке:

Загрузка

Для установки и использования Pulse вам нужен Интернет. Если его нет, то Pulse вы пока не можете использовать. Вообщем, придумайте что нибудь:)

Итак, чтобы установить Pulse, для начала надо загрузить версию под свою операционную систему. Сделать это можно здесь, на данный момент поддерживаются: Linux, Mac и Windows. Кстати, есть даже 64-битные версии, но их пользовать мне не довелось.

Установка

После загрузки Pulse его надо запустить, и он начнет скачивать недостающие компоненты, после загрузки которых, он предложит продолжить установку:

После нажатия кнопки "Next" мы увидим выбор из трех вариантов дальнейших действий:

В данном случае Pulse предлагает: зарегистрироваться, запустится от имени анонимного пользователя, или произвести запуск от уже зарегистрированного пользователя. Мы выберем первый пункт и зарегистрируем нового пользователя:

Дальше Pulse все поставит, настроит и запустит. И мы увидим примерно следующее:

Кстати, если вы не заметили - Pulse сам построен на базе Eclipse :)

Сборка Eclipse

Теперь мы можем сделать сборку Eclipse с нужными нам плагинами. Мы будем делать сборку на базе стандартного Eclipse с плагином для редактирования property-файлов.

Для этого мы переходим в пункт "Ready to Use Profiles", подпункт "Popular". Выбираем там - "Eclipse 3.5 IDE for Java", и щелкнув правой кнопкой мыши говорим: "Add to my Profiles...".

Далее мы вводим имя нашего профиля:

И через некоторое время (все зависит от скорости вашего интернет соединения) видим новый профиль в списке наших профилей:

Переходим на созданный нами профиль и через некоторое время (тут важно терпение, если у вас медленный интернет) видим список компонентов которые используются в нашем профиле:

Теперь нам надо добавить плагин для редактирования property-файлов. Тут тоже все просто, надо нажать на зеленый плюсик в правой верхней части и сказать: "Open the Add-on Software catalog" (есть возможность добавления компонентов через udate сайт):

Далее в окне поиска (расположено в правой верхней области) вводим слово - "property" и нажимаем Enter. После этого в результатах поиска выбираем компонент - "Properties Editor", и щелкнув правой кнопкой мыши, говорим: "Add to Profile...":

После этого выбираем наш профиль и нажимаем кнопку Ok:

Потом ждем некоторое время, пока компонент не добавится в наш профиль и не появиться окно (для некоторых компонентов появляется окно выбора частей компонента, которые можно дополнительно установить):

Далее переходим в наш профиль, и видим, что список компонентов нашего профиля пополнился:

Итак, мы настроили список компонентов нашего профиля, и мы можем приступить к сборке. Но перед сборкой нам необходимо настроить наш профиль. Для этого щелкаем правой кнопкой на нашем профиле и говорим: "Edit Progile Branding...". Далее в появившемся окне устанавливаем свойство "Workspace name" равным "TestEclipseProfile" (это свойство предназначено для именования папки с нашим профилем):

Потом настраиваем свойства Java для запуска нашего нового Eclipse. Щелкаем правой кнопкой на нашем профиле, и говорим: "Edit Launch Arguments...". Далее в появившемся окне устанавливаем свойство "VM arguments" равным "-Xms256m -Xmx512m -Dfile.encoding=UTF-8" (минимально и максимальное количество памяти для Java, кодировка по умолчанию):

Теперь, когда мы сделали список компонентов-плагинов и настроили нашу сборку, мы можем собрать и запустить ее. Для этого щелкаем правой кнопкой мыши на нашем профиле и говорим: "Install then Run...":

И видим процесс проверки профиля, который может занять продолжительное время:

В конце процесса мы видим окно для принятия или непринятия лицензионных соглашений:

Если вы приняли лицензионные соглашения, то вы увидите окно, которое предваряет загрузку дополнительных компонентов. На котором мы увидим, что нам требуется загрузить 68,1 мегабайт данных:

И теперь, если мы нажмем кнопку "Install", то мы увидим окно загрузки данных. И если в нем мы скажем: "Show transfer details", то увидим окно дополнительных сведений о загрузке:

Кстати, если в процессе загрузки появится странное окно с предложением ввести имя пользователя и пароль, то смело нажимайте отмена. Просто некоторые репозитории с компонентами требуют аутентификацию, и нажав отмена, мы автоматически переключимся на более лояльный репозиторий :)

После загрузки компонентов-плагинов у нас запустится наша сборка Eclipse и мы можем писать код. Также стоит отметить, что Pulse подменяет стандартное средство автоматического обновления плагинов и все работает более гладко и предсказуемо. В дальнейшем запускать нашу сборку можно через Pulse или через исполняемый файл Eclipse в каталоге - "[папка где установлен pulse]\Profiles\[папка с нашим профилем]\".

Дополнительные плагины

У Eclipse довольно много интересных плагинов, которые вы тоже можете поставить в профиль. Вот мой список:

Properies editor - плагин для редактирования property файлов. Автоматически преобразует текст на русском языке в ascii-код. Плагин есть в стандартном репозитории Pulse.
Subversive - плагин для работы с SVN репозиторями. Он есть в стандартном репозитории Pulse. При его установке возникает предложение установить дополнительные компоненты, например SVN коннектор (я рекомендую использовать SVNKit). Плагин есть в стандартном репозитории Pulse.
Maven Integration for Eclipse - плагин для поддержки Apache Maven. Плагин есть в стандартном репозитории Pulse.
JBossTools - набор плагинов от JBoss. Например, там есть плагины для удобной работы с Hibernate, JBossSeam и т.д. Плагина нет в стандартном репозитории Pulse, но можно установить его через Update-сайт (список Update-сайтов находится здесь).
PMD - плагин для поиска потенциальных проблем в коде. Плагин есть в стандартном репозитории Pulse.
Classpath checker - плагин для поиска дублирующихся классов в Classpath. Помогает лечить JAR Hell. Плагин есть в стандартном репозитории Pulse.
FindBugs - плагин для поиска багов в коде. Плагин есть в стандартном репозитории Pulse.
Checkstyler - плагин для проверки кода на соответствие стандартам (их можно настроить). Плагин есть в стандартном репозитории Pulse.
Aptana Studio - плагин для удобного редактирования HTML и JavaScript. Есть поддержка автоматического форматирования html кода. Плагин есть в стандартном репозитории Pulse.

Заключение

Pulse удобное средство для управления сборками Eclipse, что позволяет делать отдельную сборку под задачу. Конечно спорен вопрос: "А надо ли оно (отдельная сборка под задачу)?" Но на моем медленном ноутбуке это спасает. Кстати, у меня порядка 10 различных сборок:

Эксплуататоры программистов в Иркутске. Взгляд со стороны программиста.

noreply@blogger.com (intr13) — Fri, 16 Oct 2009 15:00:00 +0000

Жизнь в небольшом городе на окраине нашей страны имеет как свои преимущества, так и недостатки. Основное преимущество - это родное окружение, вокруг тебя - друзья и родственники, которые всегда помогут и поддержат. Недостаток тоже существенен - это отсутствие интересной и высокооплачиваемой работы. Сложно быть профессионалом, когда хочется кушать:)

Но в последнее время этот недостаток начал нивелироваться, крупные компании стали открывать свои филиалы, а местные компании стали испытывать потребность в профессиональных программистах. Правда не все так гладко в датском королевстве, но и никто не говорил что будет легко:) Ладно, оставим философские вопросы для встреч друзей, и посмотрим что творится на рынке разработки программного обеспечения в городе Иркутске.

Кстати, я постарался, чтобы приведенное ниже мнение было не только моим. Мне помогали следующие эксперты:

Кирилл Лебедев
Антон Черноусов
Максим Пензин

Также огромное спасибо:

Константину Бурову
Александру Петровскому
Павлу Ситникову
Григорию Ткачуку
И всем другим, которые пожелали остаться неизвестными:)

Итак, начнем?

Для начала давайте посмотрим, а кто вообще пользуется услугами программистов в городе Иркутске. Список эксплуататоров можно найти здесь. Список конечно не полный и в нем есть ряд неясностей, но все же он говорит о том, что:

Программисты в Иркутске имеют место быть, и их порядка 150 человек.
Основные используемые языки программирования: 1С, PHP, Java, Delphi, C, SAP/R3 (скорее всего в порядке убывания популярности).
Средний размер команды 7 человек (от 1 до 40 человек).
Средняя зарплата для опытного программиста находится в рамках 25-50 тысяч рублей, а для программиста среднего уровня в районе 15-30 тысяч рублей. Хотя тут как повезет:)

Если у вас есть замечания по списку или по моим скомпилированным выводам, то пишите комментарии, будем обсуждать:)

Ладно, хватит цифр и сомнительных выводов, давайте пообщаемся с нашими экспертами. Я подготовил для них список вопросов, а они уделили свое драгоценное время, и ответили на них:)

Максим Пензин.

Что вы можете рассказать о себе?
ФИО - Пензин Максим Юрьевич, сайт-визитка - www.penzin.ru, род деятельности - работаю по контрактам, руковожу группой разработки ПО Иркутского Онкодиспансера.
От себя добавлю:
Максим очень интересный человек, один из самых посещаемых сайтов Иркутска - angara.net, который посвящен туризму (в том числе экстремальному), это его детище. Также по мнению многих он является гуру во многих вопросах посвященных программированию.
Давно вы занимаетесь разработкой программного обеспечения?
Первую программу на заказ сделал в 1988 году (ПЭВМ Искра: CGA монохром, односторонний флоппи 160кб, ТурбоПаскаль 2.0) :)
От себя добавлю:
В 20 лет написать первую программу на заказ, и особенно если учесть что это был 1988 год, это круто:)
Почему вы решили стать программистом?
С детства мечтал стать конструктором, а компьютерная среда как нельзя лучше подходит для этого.
Как изменилась ситуация на рынке разработки программного обеспечения за последние 5 лет?
Сложно ответить.
Что будет на рынке разработки программного обеспечения через 5 лет?
Сложно ответить.
Вы или ваши знакомые ищут программистов? Если да, то какие программисты им нужны?
Умеющие самостоятельно ставить задачи и решать их не кидаясь из
стороны в сторону, работающие на результат, и в срок. Одновременно с этим не забывающие о самообразовании.
От себя добавлю:
Есть такая формула: книги + программисты = деньги. Я считаю что настоящий программист никогда не забывает о самообразовании, и не ждет когда его вынудят обстоятельства:)
Что нужно делать, чтобы стать востребованным на рынке разработки программного обеспечения?
Необходимо учиться смотреть со стороны клиентов/пользователей/и т.п. Понимать особенности цикла жизни ПО и требуемых ресурсов на разных этапах его разработки. А только потом решать, что круче или что концептуально правильнее.
Ваше пожелание, совет для программистов города Иркутска?
Перестать искать документацию на русском языке :)
От себя добавлю:
Также писать комментарии на английском языке при выгрузках в систему контроля версии.

Антон Черноусов.

Что вы можете рассказать о себе?
ФИО - Черноусов Антон Владимирович, сайт - golodnyj.ru, работаю в ИСЭМ СО РАН Начальником Научно-технического центра информационно-вычислительных сетей. Самый голодный java-разработчик города Иркутска. Обожаю опасные бритвы.
От себя добавлю:
Антон это вообще нечто феерическое, это уникальная смесь профессионализма с желанием учить других людей правильному и хорошему:) На его лекциях никогда не бывает скучно, он вовремя может разбавить скуку резким словцом или интересной байкой. Да, кстати он преподает в ИрГТУ. Также он ведет аудио-подкаст о программировании - The Art Of Programming. И самое главное - он кампус амбассадор в ИрГТУ.
Давно вы занимаетесь разработкой программного обеспечения?
С начала 2000 года, но тогда это было ужасно примитивно.
От себя добавлю:
Начинать профессиональный путь программиста на втором курсе университета, это самое правильное. Главное начать, а дальше уж не отвертитесь:)
Почему вы решили стать программистом?
Прежде всего, практическая необходимость и тесная связь с системным администрированием заставили заняться этим не самым благодарным делом. Потом втянулся, процесс и результаты приводили меня в восторг. Как-то так незаметно и стал разработчиком.
От себя добавлю:
Он притворяется, он очень хороший программист. Хотя и системное администрирование ему удается:)
Как изменилась ситуация на рынке разработки программного обеспечения за последние 5 лет?
Хороший вопрос. Сделаем уточнение, на каком рынке? На Иркутском! Все как обычно: тихо как на кладбище, только падальщики (1С-разработчики) могут находить заказчиков. А в целом рынок стало более цивилизованным. Меньше кидалова. Больше умных заказчиков. Положительная динамика на лицо, несмотря на кризис.
От себя добавлю:
Действительно рынок становится все более интереснее и цивилизованнее. Уже потенциальные заказчики начинают понимать, что и как им нужно. Например, я недавно общался с заказчиком, который требовал грамотно составленный лицензионный договор на разработанное в моей компании ПО.
Что будет на рынке разработки программного обеспечения через 5 лет?
Глупо загадывать. Думаю Java и .Net платформы будут как и сейчас в значительной степени востребованы. Возрастет востребованность outsource-разработчиков. Кросплатформенные и мобильные приложения будут занимать большую долю чем сейчас.
От себя добавлю:
Действительно в последнее время количество outsource-проектов значительно возросло. Уже сейчас есть несколько компаний, для которых основной источник дохода - это outsource-разработка.
Вы или ваши знакомые ищут программистов? Если да, то какие программисты им нужны?
Дело в том, что хороших сотрудников всегда мало. Нужны как всегда:
ответственные, грамотные, активные. К сожалению, материальное вознаграждение в России всегда хромало. И здесь, я думаю, если что-то и измениться то только после того, как на нашем рынке пропадут откаты. А это не произойдет в скором времени.
От себя добавлю:
Действительно откаты - это бич современной России, тем более, работа в откатном проекте демотивирует. Цель не сделать проект, а заработать как можно больше бабла. В итоге проигрывают все кроме тех, кто распределяет откатные средства:) А про то, кто нужен работодателю можно послушать здесь и почитать тут:)
Что нужно делать, чтобы стать востребованным на рынке разработки программного обеспечения?
Считаю, что хороший программист обладает двумя важными качествами - головой и жопой: головой он думает, а с помощью жопы доводит дело до конца!
От себя добавлю:
Точка зрения Антона очень хорошо коррелирует с мнением Джоела Спольски. Но в целом все именно так и есть! :)
Ваше пожелание, совет для программистов города Иркутска?
Учите английский язык.
От себя добавлю:
Особых вариантов нет:)

Кирилл Лебедев.

Что вы можете рассказать о себе?
ФИО - Кирилл Сергевич Лебедев, в ИрГТУ, начальник Центра Интернет-технологий и начальник учебной части МОЦ Aptech-ИрГТУ.
От себя добавлю:
Кирилл - это просто кладезь разной полезной информации, нет вопросов на которые он не знает или не придумает ответ. Он как рентген видит потенциальные проблемы в любых проектах и очень хорошо оценивает риски. Балуется преподаванием в ИрГТУ, ведет там технологии программирования. Имеет сертификат архитектора программного обеспечения от компании Tekama. И самое главное, он забавный зануда:) Но с ним можно долго, продолжительно и интересно разговаривать на АйТи темы:)
Давно вы занимаетесь разработкой программного обеспечения?
Около 10 лет.
От себя добавлю:
Благодаря Кириллу я начал свою плавание в океане профессионального программирования. Спасибо тебе Кирилл, хотя ты не всегда прав:)
Почему вы решили стать программистом?
Семейные традиции + особый склад мышления, требующий использование системного подхода к решению задач и поиска нетривиальных решений.
От себя добавлю:
Первый раз я увидел человека, у которого один из родителей занимается программированием, хотя скоро подобных традиций станет больше:) А мышление действительно важная штука, я например, неосознанно тренировал его при помощи огромного количества книг:)
Как изменилась ситуация на рынке разработки программного обеспечения за последние 5 лет?
В Иркутске никак, а в мире появилось веб-программирование, как конкурент десктопа. Причем именно конкурент, а не дополнение. Соответственно сильно изменились как подходы к созданию ПО, так и взгляды на то, когда и что надо использовать.
От себя добавлю:
Действительно веб-программирование стремительно наступает на рынке разработки программного обеспечения. Но тут надо без фанатизма, иногда обычные десктоп приложения более эффективны.
Что будет на рынке разработки программного обеспечения через 5 лет?
Все больше Интернета и гридов. Все больше будет уменьшаться роль программиста как самостоятельной единицы, так как объем информатизации все увеличивается, что требует большей предсказуемости процесса создания ПО. Программист - это аналог конструктора в машиностроении. Вот девиз развития отрасли в России.
От себя добавлю:
Вряд ли когда-нибудь будут требоваться только программисты-конструкторы приложений. Без разумных и творческих людей индустрия разработки ПО не обойдется.
Вы или ваши знакомые ищут программистов? Если да, то какие программисты им нужны?
1С - специалисты. Универсальные верстальщики и PHP-кодеры.
От себя добавлю:
На самом деле в Иркутске иногда нужны .Net и Java программисты. Можете пройтись по списку:)
Что нужно делать, чтобы стать востребованным на рынке разработки программного обеспечения?
Иметь хорошее портфолио, опыт разработки проектов (желательно крупных), хорошие связи (правда для многих программистов это прямо скажем задача просто непосильная). Жить в Москве или Питере.
От себя добавлю:
На данный момент все большую популярность набирает удаленная разработка. Например, на odesk.com есть много Заказчиков, правда за заказ придется немного повоевать:)
Ваше пожелание, совет для программистов города Иркутска?
Группироваться и объединяться. Индусы и китайцы берут массовостью. Мы должны тоже работать не по одному. Было бы классно, если бы я мог сказать, что знаю большинство программистов из Иркутска хотя бы в лицо. В целом нашей отрасли в Иркутске не хватает открытости.
От себя добавлю:
Тут иногда публикуются планируемые встречи программистов. Также в ближайшее время будут новые встречи Иркутской JUG.

Итого: хорошие программисты всегда нужны и важны, и потребность в них постоянно повышается, но ведь не каждый программист хорош. Да и технологии развиваются довольно стремительно. Поэтому надо постоянно развиваться, учиться, пробовать и самое главное решать Проблемы. Писать код может каждый, а вот решать проблемы заказчика штука сложная. И самое главное не стоит забывать про Английский язык. И да пребудет с вами сила...

Тестирование Spring приложений. Транзакции в тестировании.

noreply@blogger.com (intr13) — Sat, 12 Sep 2009 15:00:00 +0000

Про полезность подхода TDD (разработка через тестирование, test driven development) не слышал только ленивый или глухой. Но сегодня мы не будем обсуждать всю его полезность и красоту, а также проблемы и недостатки. Сегодня мы попробуем посмотреть, как разрабатывать unit-тесты для spring приложений. Также мы немного тронем ручное управление транзакциями в unit-тестах.

Небольшое замечание: иногда тесты spring приложений это не совсем unit-тесты, потому что мы можем в них поднять и задействовать очень сложное окружение (БД, WebService и так далее). Подобные тесты это скорее интеграционные тесты, но я думаю что сейчас философские вопросы мы поднимать не будем.

Для начала предлагаю согласовать некоторые термины и понятия.

Unit-тест - тест, который проверяет поведение небольшой части приложения. Эта часть может быть одним классом, одним методом или набором классов, который реализуют какое-то архитектурное решение, и это решение необходимо проверить на работоспособность. За подробностями обращайтесь сюда или туда.
Application context config - конфигурационный файл в xml формате для описания структуры spring приложения. Про spring читаем тут или там.
DAO - объект доступа к данным или data acess object, хотя некоторым нравится употреблять данный термин в значении "путь". Основное предназначение этого шаблона проектирования: связать вместе БД и наше приложение. За подробностями идем сюда или туда.
Транзакция - группа последовательных операций, которая представляет собой логическую единицу работы с данными. Транзакция может быть выполнена либо целиком и успешно, соблюдая целостность данных и независимо от параллельно идущих других транзакций, либо не выполнена вообще и тогда она не должна произвести никакого эффекта. Про транзакции читаем тут или там.

Все остальные термины и понятия стандартны и давно устоялись или их описание тут некритично, а если нет, то у нас есть простор для hollywar. Например, такое понятие как IoC (инверсия управления, inversion of control).

Совсем забыл, про написание unit-тестов для spring-приложений я пишу не первый, немного есть тут и там.

Итак, у нас стоит цель: протестировать поведение класса в spring-приложении, дополнительно необходимо вручную управлять транзакциями. Для этого мы создадим простое spring-приложение и напишем unit-тест. Наш unit-тест при запуске будет инициализировать application context config нашего spring приложения и после этого вызывать методы у тестируемого нами класса. Также мы разработаем отдельный тест, в котором будем управлять транзакциями вручную.

Технологии в приложении будут следующие:

Средство сборки и компиляции - Apache Maven.
База данных - HSQLDB.
Средство для отображения классов в базу данных (Object relation mapping) - Hibernate.
Средство для конфигурирования приложения - Spring framework.
Средство для создания unit-тестов - JUnit.

Конечная структура файлов в приложении будет выглядеть следующим образом:

Кстати вы можете загрузить себе (из SVN) и посмотреть в браузере исходные коды работающего приложения.

Начнем?

Во первых, нам надо создать pom.xml в котором мы опишем сборку и компиляцию приложения (про maven читать тут или там). В данном конфигурационном файле мы пропишем все зависимости от используемых нами библиотек. Также на данном шаге мы создадим все директории нашего приложения.

Во вторых, мы создадим java persistente entity класс - ru.intr13.example.springTransactionalTest.Data. Данный класс у нас будет описывать модель данных и при помощи библиотеки hibernate он будет отображаться в БД (будет автоматически создана таблица в базе данных). Также на этом шаге мы создадим файл hibernate.cfg.xml, где сделаем ссылку на разработанный нами класс.

В третьих, мы создадим интерфейс - ru.intr13.example.springTransactionalTest.DataDao. В котором опишем основные методы для работы с нашей БД. Методы checkpoint и shutdown предназначены для работы с hsqldb и их наличие связано с особенностью работы данной БД (подробности тут).

В четвертых, мы создадим реализацию разработанного нами интерфейса - ru.intr13.example.springTransactionalTest.DataHibernateDao. Где реализуем все методы описанные в интерфейсе DataDao. Стоит отметить, что данный класс наследуется от класса org.springframework.orm.hibernate3.support.HibernateDaoSupport, который в свою очередь является часть библиотеки Spring Dao и в нем уже реализованы методы для удобной работы с БД.

В пятых, мы создадим application context config файл для конфигурирования нашего приложения. В котором мы опишем:

Источник данных (dataSource), в котором мы опишем параметры подключения к нашей hsqldb базе данных.
Фабрику для работы с подключениями к базе данных и для отображения нашей модели в БД (sessionFactory). При конфигурировании фабрики мы укажем ссылку на файл hibernate.cfg.xml, где описаны все классы нашей модели. Также мы пропишем параметры создания и работы с базой данных, ссылку на источник данных.
Разработанный нами сервис (dataDao). При конфигурировании мы укажем ссылку на sessionFactory.
Менеджер транзакций (transactionManager). При конфигурировании которого мы укажем ссылку на sessionFactory и также укажем: на какие методы нам надо начинать новую транзакцию.

В шестых, создадим тестовое приложение, которое проинициализирует application context config и немного поработает с разработанным нами сервисом. Результаты работы сохраняться в нашу локальную БД, что можно наблюдать в файле data/test.db.script:


CREATE SCHEMA PUBLIC AUTHORIZATION DBA
CREATE MEMORY TABLE DATA(ID BIGINT NOT NULL PRIMARY KEY,TEXT VARCHAR(255))
CREATE MEMORY TABLE HIBERNATE_SEQUENCES(SEQUENCE_NAME VARCHAR(255),SEQUENCE_NEXT_HI_VALUE INTEGER)
CREATE USER SA PASSWORD ""
GRANT DBA TO SA
SET WRITE_DELAY 10
SET SCHEMA PUBLIC
INSERT INTO DATA VALUES(1,'one')
INSERT INTO DATA VALUES(2,'two')
INSERT INTO DATA VALUES(3,'three')
INSERT INTO HIBERNATE_SEQUENCES VALUES('Data',1)

Итак, тестовое приложение создано и теперь надо разработать unit-тест. Для этого мы создаем класс ru.intr13.example.springTransactionalTest.DataDaoTest. Данный класс является наследником класса org.springframework.test.context.junit4.AbstractTransactionalJUnit4SpringContextTests, что позволяет при запуске тестов поднимать application context config. Делается это при помощи аннотации для класса-теста: @ContextConfiguration(locations = { "/applicationContext.xml" }).

Но для полноценного тестирования нам требуется чтобы у нашего теста была возможность получить разработанный нами сервис. Для этого мы прописываем в нашем тесте поле со ссылкой на сервис и ставим для этого поля аннотацию - @Autowired:

 @Autowired
private DataDao dataDao;

Теперь при запуске тестов в данное поле будет установлена ссылка на разработанный ранее сервис.

И в конце остается написать текст unit-теста:

@Test
public void simpleTest() {
String text = UUID.randomUUID().toString();
dataDao.save(new Data(text));
Collection result = dataDao.find(text);
Assert.assertEquals(1, result.size());
Assert.assertEquals(text, result.iterator().next().getText());
}

Данный тест создает объект Data, сохраняет его в БД, и потом ищет объект Data по содержимому.

Я думаю ничего особо сложного в вышеприведенном нет, и этим даже можно пользоваться, но иногда в подобных тестах требуется организовать ручное управление транзакциями (то есть, декларативно совершать откат или сохранение транзакции, стартовать новую транзакцию). Как это делать описано тут, но сейчас мы рассмотрим небольшой пример.

Для ручного управления транзакциями в тестах, и не только, нам нужно получить описанный в application context config менеджер транзакций (transactionManager), что делается через создание поля в нашем тесте:

@Autowired
private PlatformTransactionManager transactionManager;

Далее мы просто создаем новую транзакцию:

TransactionStatus transaction = transactionManager.getTransaction(new DefaultTransactionDefinition(TransactionDefinition.PROPAGATION_REQUIRES_NEW));

и потом делаем для нее commit (сохранение):
transactionManager.commit(transaction);

или rollback (откат):
transactionManager.rollback(transaction);

Зная все выше приведенное, мы можем написать следующий тест, который создает несколько транзакций вручную:

@Test
public void comlexTest() {
TransactionStatus transaction = transactionManager.getTransaction(new DefaultTransactionDefinition(TransactionDefinition.PROPAGATION_REQUIRES_NEW));
String text = UUID.randomUUID().toString();
dataDao.save(new Data(text));
transactionManager.commit(transaction);

 transaction = transactionManager.getTransaction(new DefaultTransactionDefinition(TransactionDefinition.PROPAGATION_REQUIRES_NEW));
Collection result = dataDao.find(text);
Assert.assertEquals(1, result.size());
Assert.assertEquals(text, result.iterator().next().getText());
transactionManager.rollback(transaction);
}

Конечный вариант теста можно посмотреть здесь.

Итого: мы создали тестовое приложение на базе spring framework (исходные коды лежат здесь). Был продемонстрирован способ тестирования отдельных сервисов в spring framework. Также был показан способ ручного управления транзакциями в unit-тестах. В результате мы увидели что создание простых unit-тестов для spring framework довольно простая задача. Вопрос о целесообразности и необходимости разработки подобных тестов рассмотрен не был, это тема для отдельной беседы.

Внимание! Это черновик, который я решил опубликовать в своем блоге. Тут наверно много ошибок :)

p/s
С праздником вас творцы!

p/s/s
Картинка найдена здесь. Кстати внимательный человек заметит одну забавную вещь:)

Визуализация для программистов. Красно-черные деревья.

noreply@blogger.com (intr13) — Fri, 28 Aug 2009 15:00:00 +0000

Все любят картинки, особенно их любят программисты. Но иногда взрослый контент утомляет, и интересно взглянуть на что то другое :) Поэтому все дружно смотрим на визуализацию различных алгоритмов, структур данных и тому подобное. Меня лично позабавила визуализация Красно-черного дерева (подробности из википедии). Так что всем преподавателям программирования я рекомендую взять ресурс на заметку, и показывать студентам красивые картинки :)

MySQL & Windows

noreply@blogger.com (intr13) — Sun, 21 Jun 2009 15:00:00 +0000

В последнее время развлекаюсь обновлением системы, которая использует MySQL. В основном приходиться обновлять структуру БД. Причем скрипт сравнения охота делать в правоверной MS Windows XP и потом применять на всяких линуксах. Но по умолчанию, в Windows версии MySQL, имена полей и таблиц преобразуются в нижний регистр. Вообщем исправить такое досадное недоразумение можно следующим образом.

Заходим в файл [место где установлен MySQL]\my.ini
В секцию [mysqld] добавляем строку: set-variable=lower_case_table_names=0
Перезапускаем MySQL.

Кстати, если мы добавим мы скажем: set-variable=lower_case_table_names=1, то все будет как было таблицы с полями будут в нижнем регистре. Это типа парметр по умолчанию:)

p/s
Нашел неплохой comparer для MySQL баз данных, но он вроде денег стоит:) Поэтому, буду использовать liquibase или migrate4j. О чем возможно поведаю отдельно:)

p/s/s
Картинка найдена здесь.

Матрица для оценки уровня программиста. Черновик

noreply@blogger.com (intr13) — Sat, 04 Apr 2009 15:00:00 +0000

Недавно на developers.org.ua промелькнула ссылка на довольно интересную классификацию компетенций абсолютно сферического программиста в вакууме. Я недолго думая решил попробовать переложить данную классификацию на русский язык. На данный момент есть черновик в гуглдоках, и если у Вас есть замечания, то я буду рад их услышать :)

Если вас заинтересовала данная тема, то вы можете взглянуть и на другую классификацию.

А еще есть перевод данной классификации на украинский язык.

p/s
Данный перевод осуществляется в рамках развития сообщества программистов Иркутской области (JUG Иркутск, iForge).

p/s/s
Картинка взята здесь.

Проблема с JasperReports или сомневайтесь в авторитетных мнениях

noreply@blogger.com (intr13) — Sat, 21 Mar 2009 16:00:00 +0000

Так уж исторически сложилось, что я практически не работал с JasperReports. Конечно мне приходилось строить отчеты, но обычно хватало генерации HTML из Velocity-шаблонов. И на этой неделе судьба мне подкинула шанс устранить пробелы в моем опыте :) Возникла проблема с генерацией pdf-отчетов: на одном компьютере все работало, а на другом отчет искажался. В итоге проблема была решена установкой шрифта: arial.ttf, в операционную систему.

Причем данная проблема напомнила следующую историю: у меня есть один друг, который когда-то посоветовал воткнуть два сетевых кабеля в сервер, с двумя сетевыми картами. По его мнению: так сеть на сервере стала бы работать в два раза быстрее :) Мы после этого убили неделю, на поиски причин постоянного пропадания сети на данном сервер, а авторитет моего друга казался непререкаемым: у него был большой опыт администрирования сетей, а мы были студентами с 6 месячным опытом работы :) Проблема тогда решилась банально и просто: я вытащил один сетевой кабель и все заработало :) Но сейчас речь о JasperReports :)

Так вот, еще один мой друг сказал, что для генерации отчета JasperReports достаточно положить файл со шрифтом в CLASSPATH и прописать в отчете ссылку на данный файл. И все, этого достаточно :) Но в итоге на одном компьютере итог генерации отчетов был один, а на другом другим (обрезались слова в генерируемых отчетов). Были совершены различные шаманские действия: обновлена версия Apache Tomcat, изменена версия Java; но результата не было. Гугление ничего не показало и тогда я решил проверить русское сообщество на знание данной проблемы тут и тут.

В итоге и сообщество не дало мне ответ на мой вопрос... ...и тогда я решил отладить JasperReport и найти причину данной ошибки. Было написано тестовое приложение и была запущена удаленная отладка его на одном из серверов где наблюдалась проблема. Кстати про удаленную отладку можно прочитать здесь.

И после отладки и анализа простого исходного кода JasperReports был найден следующий код из класса net.sf.jasperreports.engine.fill.TextMeasurer:

LineBreakMeasurer lineMeasurer = new LineBreakMeasurer(paragraph, FONT_RENDER_CONTEXT);
measuredState.textOffset = lastParagraphStart;
boolean rendered = true;
boolean renderedLine = false;
while (lineMeasurer.getPosition() < paragraph.getEndIndex() && rendered)
{
rendered = renderNextLine(lineMeasurer, paragraph);
renderedLine = renderedLine || rendered;
}

И также интересно немного кода из метода renderNextLine:

int lineStartPosition = lineMeasurer.getPosition();
TextLayout layout = lineMeasurer.nextLayout(formatWidth);
float newTextHeight = measuredState.textHeight + layout.getLeading() + lineSpacing * layout.getAscent();

А теперь я попытаюсь объяснить что это за код:) В первом куске кода создается замечательный объект java.awt.font.LineBreakMeasurer. Данный класс позволяет вычислить основные характеристики шрифта для отображаемого текста и разбить текст на сегменты. Кстати во втором куске кода, который вызывается из первого, мы видим два основных метода для получения характеристик шрифта. Более подробно про эти методы можно почитать в описании класса java.awt.font.TextLayout.

Получилось немного сумбурно, но вывод прост: JasperReports использует AWT для генерации отчетов, а AWT в свою очередь использует шрифты операционной системы, так как шрифт из CLASSPATH не передается в LineBreakMeasurer . И если вдруг такого шрифта в операционной системе нет, то используется первый подходящий шрифт. Например, у меня вышеприведенная проблема была связана с тем, что шрифта Arial не было в операционной системе, и брался наиболее подходящий шрифт - Arial Bold, а ширина букв в Arial Bold больше чем в Arial :)

Во-общем проверяйте авторитетные мнения, и ставьте шрифты для генерации отчетов в операционную систему :)

p/s
Кстати, тут есть цикл статей о JasperReports.

p/s/s
Картинка украдена с официального сайта JasperReports.

Эмеральды среди нас

noreply@blogger.com (intr13) — Sun, 08 Mar 2009 16:00:00 +0000

Вначале был хаос. Из хаоса родилась идея. Идея трансформировалась в новый Мир. Мир где живут злобные существа, где они поедают друг-друга. Где нет ни дня, ни ночи. Тут нет эмоций, есть только холодный расчет. И лишь избранный уничтожит все и всех...

А теперь по существу:)

Предыстория: golodnyj и intr13 (это я:) ) решили написать эмулятор мира, в котором будут жить и взаимодействовать программы-существа.

Терминология:

Мир - игровое пространство состоящее из квадратных областей (у каждой области четыре прямых и четыре диагональных соседа). Области мира объединяются в прямоугольник по периметру которого расположены непроходимые области.
Область (область мира) - основной базовый элемент мира, в один момент времени в области может находиться только одно существо.
Существо - основной житель мира, который может и должен в нем жить. Существо это агент, который появляется в мире после его инициализации.
Существа организованны в команды (могут из разных типов существ).
Эмрельд - на каждой карте есть один эмеральд, владение которым может остановить игру.

Как это работает:

Вы настраиваете какие существа и команды существую в мире.
Вы создаете игровой мир.
Происходит инициализация всех существ игрового мира. Существа представляют собой обычные Java-классы, которые должны реализовать специальный интерфейс.
Запускается процесс эмуляции игрового мира, во время которого существа злобно поедают друг друга.
Выводится результаты эмуляции игрового мира.

Пример простого агента:
Далее будет приведен простого существа, которое делает всего одну полезную вещь: ест! Не правда ли вам знакомы подобные особи ;)

public class EatAgent implements Agent {
// Инициализация существа
public void init(InitAgentContext initAgentContext) {
int power = initAgentContext.getStartingPoints() / 2;
initAgentContext.setStartingPoints(power, initAgentContext.getStartingPoints() - power);
}
// Процесс совершения хода существом
public void turn(AgentContext agentContext) {
agentContext.setAction(EatAction.getInstance());
}
}

Вывод результатов эмуляции:
Пока у нас нет интерфейса для эмеральдов, но вы можете помочь нам его сделать ;) А сейчас после запуска эмеральдов вы увидите следующий текст:

[0:46:35] Start application - Crown of emeralds
Status:
turn - 8
maxTurn - 1000
Living agents [3]:
AgentInfo:uid[third],class[SimpleAgent],level[14],turns[7],
power[5],energy[4],maxEnergy[5].
AgentInfo:uid[second],class[SimpleAgent],level[12],turns[8],
power[5],energy[2],maxEnergy[5].
AgentInfo:uid[first],class[SimpleAgent],level[5],turns[7],
power[5],energy[5],maxEnergy[5].
Dead agents:[0]:
[0:46:35] End application - Crown of emeralds

Из приведенного выше мы видим:

Я больной человек и не сплю в 46 минут первого :)
Максимальное число ходов 1000, но эмуляция закончилась на 8 ходу.
Количество живых агентов равно трем, мертвых агентов нет :)
Победил агент third, набрав 14 уровень

Вместо заключения:
Мы написали базовый вариант игрового мира со своими правилами и законами, но мы не хотим закрывать проект от всех заинтересованных лиц. Поэтому в ближайшее время будет открыта вся информация по данному проекту и предоставлен доступ к исходному коду проекта. Нам нужны как разработчики существ так и разработчики ядра системы.

Вы хотите участвовать в проекте?

p/s
Чуть не забыл: мы ищем парочку бета-тестеров и описанный проект создан в рамках сообщества программистов Иркутска :)

p/s/s
Картинка взята отсюда: http://www.nightmares.ru/wp_test/wp-content/uploads/2008/12/lango_silver.jpg

это кросспост отсюда

Незаконный Opensource

noreply@blogger.com (intr13) — Thu, 26 Feb 2009 16:00:00 +0000

Недавно наш клиент спросил: "Вы можете предоставить лицензионные соглашения с производителями используемого Вами программного обеспечения?". Но ведь мы в основе своей деятельности используем программное обеспечение, которое бесплатно для коммерческого использования. А производители такого ПО заключают договор в форме публичной оферты. Например, когда вы на сайте производителя подтверждаете лицензионное соглашений путем нажатия на определенную ссылку или просто скачивая программный продукт. После чтения законов и интернета ситуация нисколько не прояснилась, и сейчас я даже начал сомневаться о законности использования бесплатного ПО на территории РФ.

Для начала я взглянул на наши законы и увидел следующее: Часть четвертая гражданского кодекса Российской Федерации. Права на результаты интеллектуальной деятельности и средства индивидуализации. Статья 1235. Лицензионный договор:

2. Лицензионный договор заключается в письменной форме, если настоящим Кодексом не предусмотрено иное.

Лицензионный договор подлежит государственной регистрации в случаях, предусмотренных пунктом 2 статьи 1232 настоящего Кодекса.

Несоблюдение письменной формы или требования о государственной регистрации влечет за собой недействительность лицензионного договора.

Получается что нет бумажки и ты нарушаешь закон? И что делать? Про иное заключение лицензионного договора я ничего в Кодексе не нашел.

Я попробовал задать вопрос на форме, но народ ничего внятного не предложил, кроме оплаченной юридической экспертизы. Правда ребята от SUN обещали помочь и выслать лицензионный договор на Java.

Также была найдена довольно интересная статья:

В общем, вы должны всегда помнить, что Open Source код для закона ничем не отличается от вашего собственного кода и вы несете полную ответственность за соблюдение всех авторских прав этим кодом.
В переводе на русский язык это означает, что вам не обойтись без юридического отдела, который будет проверять каждый файл из Open Source кода, который вы добавляете в продукт. Им придется пробивать поиском все файлы и сверять все типы лицензий, узнавать владельцев кода, контактировать с ними и многое другое. Только так вы можете быть уверены, что используемый вами “свободный код” действительно “свободный”.
Кроме того, все вышеперечисленные типы лицензий - это просто шаблоны. В каждом конкретном случае может текст лицензии может быть изменен и, например, в него может быть добавлена информация, что автор хочет получать royalties с коммерческого использования его кода. И вычленить такого рода информацию из юридического текста программисту непросто - лучше отдать это на откуп юристам.

А теперь еще интереснее. В каждой стране свои законы об авторском праве и свои трактовки этих лицензий. Даже внутри Евросоюза нет единого закона. Например, если в лицензии написано, что код находится в Public Domain, то не спешите радоваться. В разных странах этот термин трактуется по-разному. И, например, в Финляндии автор такого кода может через несколько лет прийти и попросить процент с продаж, так как “код в Public Domain, но я все равно хочу процент”. И суд скорее всего удовлетворит иск.
Так что, кроме знания лицензий и терминов, при работе с Open Source стоит знать еще и локальные законы, если вы работаете World wide. Кстати, наибольшее число исков по Open Source делам приходят из Америки (понятно почему) и Германии (не ожидал).

Кроме "ква" других слов просто нет...

Насколько я знаю, обычно в договорах о лицензировании интеллектуальной собственности стараются вставить пункты, что продавец библиотеки гарантирует ее чистоту и что в случае возникновения спора готов выступить соответчиком в суде.

А вот это уже выход, можно предоставлять лицензионный договор для заказчиков и в случае судебного спора судиться. Заказчик будет рад. Но ведь тогда надо предоставить документы о том, что исполнитель действительно может использовать бесплатное ПО.

Что сейчас делать непонятно, нарушать закон не хочется. Можно конечно попросить у производителя ПО лицензионный договор, ребята из SUN даже предлагали его выслать, но что делать с PostgreSQL? Или что делать с Oracle XE, представители которого вообще отказались предоставить такой документ.

Вообщем я буду писать письмо в юридический отдел SUN, а дальше посмотрим.

Пока мне непонятно следующее:

Требуется ли заключение лицензионного договора в письменной форме для бесплатных программных продуктов? Если не требуется, то какими нормативными документами это регламентировано?
На основе чего проверяющие органы могут забрать компьютерную технику на экспертизу - лицензионности программного обеспечения? Какими нормативными документами это регламентируется?

Технологический день Oracle в Иркутске

noreply@blogger.com (intr13) — Wed, 25 Feb 2009 16:00:00 +0000

В наш маленький уездный город приехали люди Oracle. В принципе было довольно интересно, особенно обед :) Но если по существу, то или Oracle сдал или я теперь по другому смотрю на подобные вещи :)

Первый раз я увидел презентацию Oracle на SECR2006, и мне понравилось. Особенно харизматично выглядели докладчики, эдакие умные мужики в деловых костюмах, которые с ленцой и без особого фанатизма рассказывали о своих технологиях. И как рассказывали.. ..и я верил что все остальные компании ничто по сравнению с мега-Oracle. Помнится тогда у меня сформировалось убеждение что Oracle может сделать все!

Кстати тогда я увидел еще представителей Microsoft и SUN. Люди из Microsoft показались мне типичными торгашами-братками из девяностых :) А SUNовцы казались сплошь студентами-аспирантами с горящими глазами :) Но хватит воспоминаний, вернемся к технологическому дню Oracle в Иркутске :)

Темы которые были освещены:

Обзор технологической архитектуры Oracle. Рассказали про все основные решения Oracle. Я узнал что у Oracle практически для каждого продукта есть двойник-дублер (они купили кучу компаний, например компанию которая сделала BEA WebLogic Server). Во-общем Oracle хочет стать круче IBM :)
Обзор возможностей СУБД Oracle 11g. Рассказали про различные варианты СУБД Oracle, например оказалось, что у них есть мобильная версия Oracle и довольно забавное решение Oracle TimesTen. Последний продукт предназначен для СУБД размещаемой в оперативной памяти, с возможностью репликации с основной базой данных Oracle (типа СУБД-кэш). При демонстрации нам показали насколько быстро работает такая связка, но к сожалению в цифрах которые они нам продемонстрировали отсутствовало время на репликацию с основной базой данных :) А так результаты отличались почти на порядок, с TimesTen быстрее.
Дополнительные возможности СУБД Oracle. Real Application Cluster & GRID. Рассказывали про построение инфраструктуры для grid вычислений, как это просто и удобно делать под Oracle :) Пример показывали на виртуальной машине от Oracle :) Кстати они теперь продают железки с предустановленным серверным софтом, например для grid вычислений :)
Oracle Enterprice Content Management. Это их ответ Microsoft Sharepoint Server, только на порядок круче (и дороже раз в пять :) ). Особенно красиво сделана интеграция с MS Windows и MS Office, в Microsoft наверно и не знали что так можно сделать :)
Oracle Business Intelligence. А зачем нам нужна СУБД? Правильно, для генерации красивых отчетов :)
Лицензирование программных продуктов Oracle. А это была самая интересная тема, приведу несколько фактов:
- Есть два способа лицензирования СУБД Oracle: по пользователям и по процессорам.
- Для многоядерных процессоров есть хитрая формула расчета стоимости, итого цена за один процессор лежит в диапазоне 5.8 - 47.5 тысяч долларов.
- При лицензировании по пользователем считаются все возможные пользователи СУБД. Например, если у нас есть 5 пользователей, которые работают в дневное время, и 5 пользователей, которые на тех же самых компьютерах работают в ночное время, то у нас 10 пользователей :) Иногда лицензирование по пользователям дешевле, но оно не применяется для систем которые доступны через Интернет :)
- Использовать Oracle XE возможно на одно процессорном компьютере (может быть несколько ядер) с 1GB ОЗУ и хранить в нем не более 4GB данных. Но если вы нарушите данные ограничения, то ничего не сломается, Oracle XE будет работать. Но учтите что тогда вы нарушите лицензию и кара небесная падет на Ваши головы :)

Если оценить качество докладов, то я бы поставил четыре с большим минусом. Да один из докладчиков был довольно интересен, но зато когда говорил другой, то аудитория погружалась в вечный сон. Извините, но так скучно и сонно мне не было со времен ИрГТУ, когда одна милая женщина читала свои лекции по толстой книжке.

Кстати первый докладчик, периодически смеялся над своими слайдами. Что там было смешного он к сожалению не поведал, но мне запомнились следующие его высказывания:

Об операторе Merge в Oracle: "У других определенных баз данных такого оператора нет".
О grid вычислениях: "Аналогом grid вычислений является бытовая электрическая сеть, Вы ведь не задумываетесь с какого генератора питается Ваш электрический чайник, Вы просто включаете его в розетку и он работает".

И напоследок расскажу об одном забавном инциденте :) Когда у последнего докладчика, ноутбук отказался работать с проектором, в зале была произнесена следующая фраза: "Пусть сами разбираются, они ведь тут на работе" :)

p/s
Кстати, использование бесплатного программного обеспечения противоречит законодательству РФ. Единственный разумный вариант его использования - это получение лицензионного договора от правообладателя. А представители Oracle сказали, что не дадут мне такую бумажку на ORACLE XE. Ушел писать письмо юристам SUN...

Установка postgreSQL на OpenSuSe

noreply@blogger.com (intr13) — Sat, 14 Feb 2009 16:00:00 +0000

Оказывает поставить и настроить PostgreSQL на OpenSuSe, довольно просто. Надо всего лишь знать особую уличную магию командной строки :) В Windows все намного проще, один клик и все готово, но мы не ищем легких путей :)

Цель: установка PostgreSQL на OpenSuse.

Исходные данные:

Операционная система OpenSuSe 11.1.
Прокладка между стулом и клавиатурой.

Моя правильная последовательность действий:

Входим под root: su
Ставим PostgreSQL: zypper install postgresql-server
Инициализируем и запускаем PostgreSQL: rcpostgresql start
Входим под postgres в psql-консоль: su postgres -c psql postgres
Меняем пароль для пользователя postgres: ALTER USER postgres WITH PASSWORD 'postgres';
Выходим из psql-консоли: \q
Меняем в файле /var/lib/pgsql/data/pg_hba.conf во всех не комментированных строчках слова ident на md5
Перезапускаем PostgreSQL: rcpostgresql restart
Наслаждаемся результатом :)

А теперь о том что мы делали:

Мы поставили PostgreSQL и сменили пароль для главного администратора баз данных (пользователь postgres) :)
Благодаря изменению файла /var/lib/pgsql/data/pg_hba.conf мы изменили стандартный способ авторизации на md5, который используется при подключении к базам данных.

Источник: Install and Configure PostgreSQL in openSUSE 11.0

p/s
Для удобного управления базами данных и пользователями, я рекомендую поставить pgAdmin. Найти его можно здесь или здесь.

Проверка русской орфографии в Firefox

noreply@blogger.com (intr13) — Thu, 05 Feb 2009 16:00:00 +0000

У меня в Firefox 3 не работала проверка русской орфографии. После двух дней мучений я таки решил это поправить :) Оказалось что ставить дополнительных плагинов не требуется, надо всего лишь настроить Firefox через about:config.

Проблема: после установки OpenSuse 11.1 не работает проверка русской орфографии в Firefox 3.0.5.

Исходные данные:

Операционная система OpenSuSe 11.1.
Интернет браузер Firefox 3.0.5. Firefox обновлен через zypper.
Прокладка между стулом и клавиатурой.

Для исправления сего недоразумения надо:

Запустить Firefox.
Написать в строке адреса about:config и нажимаем Enter.
Далее сказать, что мы разумные люди и берем на себя всю ответственность за изменение системных параметров Firefox.
Устанавить у параметра spellchecker.dictionary значение ru-RU.
Также для проверки орфографии в однострочных полях Firefox можно изменить значение параметра layout.spellcheckDefault с 1 на 2. По умолчанию орфография проверяется только в многострочных полях (textarea).
Перезапустить Firefox.
Насладиться результатом :)

Источник вселенской мудрости google.

equals или not equals, вот в чем вопрос :)

noreply@blogger.com (intr13) — Wed, 07 Jan 2009 16:00:00 +0000

Довелось мне столкнуться с одним унаследованным программным комплексом, десятилетней выдержки. Написан он на фоксе и для хранения данных использует DBF-файлы. Так вот, при загрузке данных из этой унаследованной штуки, вдруг обнаружилось что “[какой-то текст 1][символ пробела][какой-то текст 2]“.equals(“[какой-то текст 1][символ пробела][какой-то текст 2]“) == false. Вначале я впал в небольшой ступор, но потом появилась мысль! Дело в кодировке, а точнее в наборе символов (Charset)!

Благодаря System.out.println(Arrays.toString(“[символ пробела]“.getBytes())) я узнал что код этого странного двухбайтового символа – [-62, -96]. Код стандартного пробела – [0, 32].

При дальнейшем анализе ситуации выяснилось, что в некоторых записях DBF-файла используется стандартный пробел, а в других используется нестандартный пробел. С чем это связано было непонятно, возможно виной пятна на солнце. Хотя есть подозрение что виной утилита для бекапа и восстановления данных, она входит в состав унаследованного программного комплекса.

Проблема решилась следующим образом, перед сравнением строк просходит предварительная обработка данных из DBF-файла: [out] = [in].replaceAll(new String(new byte[] { -62, -96 })),new String(new byte[] { 0, 32 })), и дальше все как обычно.

Потом я нашел в данных DBF-файлов следующие забавные вещи:

Ошибки в именовании названий объектов, часть написана правильно, а другая часть нет. Например слова: интеллект и интелект.
Часть данных написана с использованием русской кодировки, другая часть вперемешку используя буквы русской и английской кодировки. Например есть такие буквы “р” и “H”, они одинаково выглядят, но в русской кодировке это одна буква, а в английской совсем другая.

Вообщем я обеспокоен интеллектом создателей это унаследованной системы Они наверно даже не знают что такое нормализация базы данных :)

Maven Repository Manager

noreply@blogger.com (intr13) — Tue, 06 Jan 2009 16:00:00 +0000

Maven довольно интересная штука. При первом запуске приложения, на сборку, к Вам, на локальный компьютер, может скачаться половина Интернета. Поэтому разработчики maven рекомендуют использовать внутренние Maven-репозитории.

На самом деле причина в том, что внутренние Maven-репозитории позволяют хранить артефакты которые отсутствуют в центральном репозитории. Это могут быть, как Ваши собственные библиотеки, так и сторонние библиотеки, которые пока не выложены в центральный репозиторий. Например, библиотека для доступа к DBF файлам из Java – xBaseJ.

Также при работе над проектами содержимое центральных репозиториев может меняться, пропадают старые версии артефактов или пропадают сами репозитории. Поэтому рекомендуется для каждого проекта иметь отдельный Maven-репозитории.

Недавно в мировом пространстве WWW я наткнулся на довольно интересное сравнение: Maven Repository Manager Feature Matrix. В нашей компании используется Apache Archiva и пока нареканий к ней особых нет.

p/s
Говорят на заре создания Maven некоторые центральные репозитории постоянно падали и без использования внутренних Maven-репозиториев было совсем никак.

p/s/s
Для тех, кто плохо знает что такое maven я рекомендую прочитать – Введение в Apache Maven 2.

Возвращение звука

noreply@blogger.com (intr13) — Fri, 02 Jan 2009 16:00:00 +0000

Как я уже говорил – у меня заработал звук в OpenSuse 11. Но учитывая полушаманские методы, которые заставили его заработать, я решил найти более конкретное решение проблемы (да сузю я переустановил на более новую ). Вообщем ключевой момент – пересобирать alsa не надо!

Проблема: звук работает только из динамиков микрофона, при подключении внешней акустики звук не работает. Например, при подключении наушников в них слышно тишину

Исходные данные:

Ноутбук ASUS A6Q00VM.
Звуковая карта Hda Intel Sound.
Кодек Realtek ALC880.
Операционная система OpenSuSe 11.1.
Прокладка между стулом и клавиатурой.

Моя правильная последовательность действий:

Запускаем sudo alsaconf.
После того, как alsaconf выдаст список звуковых карт, мы выбираем нашу карточку (Hda Intel Sound) и говорим сохранить настройки.
Далее запускаем sudo nano /etc/modprobe.d/sound и прописываем в конец файла строчку options snd-hda-intel model=auto.
Перезапускаем и наслаждаемся звуком Хотя возможно стоит настроить микшер

А теперь о том что мы делали:

alsaconf прописал кошерные настройки нашей звуковой карты в различные конфиги.
редактирование файла /etc/modprobe.d/sound позволило нам выбрать правильную конфигурацию звуковой карты учитывая наш кодек (Realtek ALC880). Кстати, вместо auto можно написать другие буквы, подробнее тут.
Перезапуск позволил нам сделать так чтобы все заработало .

Источники:

ScopeType в JBoss Seam

noreply@blogger.com (intr13) — Sat, 20 Dec 2008 16:00:00 +0000

У каждого Seam-компонента есть Scope – контекст применения (хранения, использования). Например, есть такой Scope: SESSION – это означает, что компонент будет храниться и получаться из сессии пользователя. То есть получается практически полный аналог сессионных объектов (HttpSession.getAttribute и HttpSession.setAttribute). Также Seam предоставляет еще несколько ScopeType:)

Типы ScopeType (компоненты отсортированы по уменьшению области применения, вначале идут самы глобальны контексты):

APPLICATION - компонент создается и храниться в рамках всего приложения, практически аналог глобальны переменных приложения. Это надо чтобы компонент был гарантированно один для всех пользователей.
BUSINESS_PROCESS – компонент создается и храниться в бизнес процессе. Это нужно для хранения компонентов в контексте выполнения бизнес процесса (BEPL и все такое).
SESSION – компонент создается и храниться в сессии пользователя (альтернатива HttpSession). Например для сохранения текущего пользователя (механизм безопасности и проверки прав) рекомендуется использовать этот контекст. Также можно в нем хранить настройки текущего сеанса пользователя.
CONVERSATION – компонент создается и храниться в группе взаимодействии пользователя с сервером, то есть для одной группы взаимодействий может быть проставлено в соответствие несколько запросов на сервер. Применяется эта штука в мастерах, когда у нас есть ряд запросов на сервер для совершения определенного действия.
EVENT – компонент создается и храниться во взаимодействии пользователя с сервером (альтернатива HttpRequest), причем создается на одно взаимодействие. Где его использовать вытекает из его названия, например, если вы делаете запрос на сервер, то было бы неплохо иметь один и тот же объект на один запрос (request).
PAGE – компонент создается и храниться с привязкой к странице (компонент для страницы). Я так понял что используется этот тип если вам нужно изолировать компонент в пределах одной страницы (при запросе на сервер может быть использовано несколько страниц).
STATELESS – компонент создается, используется и сразу удаляется (без сохранения состояния). Это надо чтобы один раз использовать компонент и в следующий раз гарантированно получить новый (похоже на паттерн “команда”).

Замечания:

BUSINESS_PROCESS – я не использовал, поэтому до конца не представляю его необходимость.
PAGE - я не понял хранятся ли состояния при обновлении страницы.

Вроде все, для дополнительной информации читаем здесь.

Apache Tomcat 6 & Microsoft Windows Vista

noreply@blogger.com (intr13) — Tue, 09 Dec 2008 16:00:00 +0000

Сегодня возникла необходимость: развернуть продакшн сервер на базе Apache Tomcat 6 и Microsoft Windows Vista. И все бы ничего, но возникла нужда запускать Apache Tomcat 6 как сервис. Для этих целей был скачен установщик и вуаля, вообщем как обычно – сразу не заработало:)

Далее стало интереснее: оказалось, что из консоли Tomcat запускается. Причем осложняло ситуацию отсутствие меня возле компьютера с проблемой, приходилось консультировать удаленно:)

Пообщавшись с седым старцем – goggle, ответ был найден: You are likely using the 32-bit versions of the service wrapper. Get the 64-bit ones here:
https://svn.apache.org/repos/asf/tomcat/connectors/trunk/procrun/bin/amd64/

В кратце, проблема в том, что используется неправильная версия приложения, которое запускает tomcat как сервис. Но у нас была 32-х разрядная Vista! Поэтому пришлось качать врапер, оторый лежал в https://svn.apache.org/repos/asf/tomcat/connectors/trunk/procrun/bin/. B случилось чудо! Все заработало!

p/s
В случае если используется 6 версия tomcat, то надо скачанный врапер переименовать (изменить цифру “5″ на цифру “6″).

p/s/s
Была найдена еще одна потенциальная проблема: The current Tomcat installer has a bug where it forgot to install one Windows dll. The solution is to copy a C:\WINDOWS\System32\msvcr71.dll from any Windows system you find it (like XP Pro or Vista or any Windows computer with a Microsoft Visual Studio installed) and copy it to the same directory on your Windows 2003 Server machine. Then Tomcat will launch fine.

Обновление от 14.01.2009:
Редактировать настройки томкета-сервиса можно в реестре, лежат они в “HKEY_LOCAL_MACHINE\Software\Apache Fondation”. Например, необходимость этого возникает, когда надо указать кодировку для java по умолчанию: -Dfile.encoding=UTF-8.

Серебряной пули не существует, по крайней мере для OutOfMemoryError

noreply@blogger.com (intr13) — Fri, 05 Dec 2008 16:00:00 +0000

В ответ на мою заметку об OutOfMemoryError, на одном замечательном форуме меня немножко поправили и дополнили.

Цитата (автор Shurr):

Для начала стоит попытаться определиться с чем проблема: с кодом приложения, или с ресурсами. Если проблема в ресурсах – я бы начал с базовых рекомендаций по диагностике тюнингу от производителя, например Tuning Garbage Collection от Sun. Конкретно по ключам запуска можно посмотреть здесь. В случае, если используется не HotSpot JVM от Sun, то и документацию по используемой реализации, например для IBM.

В данном случае ошибка возникает при горячем передеплое, и OutOfMemory вылетает для perm-области. После прочтения документации мы видим, что проблема скорее всего в ресурсах. Конкретнее – при горячем передеплое контейнер держит два полных набора классов: старые классы ждут полной выработки уже запущенных на исполнение задач, новые используются для всех вновь поступивших.

В качестве простого решения можно попробовать увеличить размер perm’а. Логически можно предположить, что увеличивать размер perm’а более чем в два раза сейчас не нужно, т.к. один полный набор классов в текущий момент влазит в выделенную для него память.

Если не поможет – нужно смотреть лог сборки мусора, производится ли она в указанной области, с какими результатами.

Да, я согласен, что проблема описанная мной в заметке – OutOfMemoryError, на самом деле намного глубже и серьезнее. Но ведь не всегда требуется глубокий анализ для решения проблемы, иногда банально не хватает времени:)

p/s
Спасибо Shurr за более глубокое разъяснение проблемы:)