“Protocol Buffers are a way of encoding structured data in an efficient yet extensible format. Google uses Protocol Buffers for almost all of  its internal RPC protocols and file formats.”

For my project I need to implement specific router for messages from different clients. So my router (receiver) should be able to read (parse) body of message in order to get information about for routing. But I couldn’t predict all protobuf message format on design phase, as result I should analyze message format on runtime.

Google team suggest to use special technique “Self-describing Messages” : insert additional field to message with full protocol description. As result all messages will have information about their structue. It is good trick, but the message size will extremely big. (main advantage of protobuf in my project is small message size). So I decide to have full message format catalogue on my router and update this catalogue in runtime.

The plain-text .proto file should be prepared as message using descriptor.proto and protoc utility.

The code below shows how router will read protocol format from file system and parse incoming message.

We will use addressbook.proto from examples:

package tutorial;
option java_package = "com.example.tutorial";
option
java_outer_classname = "AddressBookProtos";
message Person {
  required string name = 1;
  required int32 id = 2;        // Unique ID number for this person.
  optional string email = 3;
  enum PhoneType {
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
}
  message PhoneNumber {
    required string number = 1;
    optional PhoneType type = 2 [default = HOME];
  }
  repeated PhoneNumber phone = 4;
}
// Our address book file is just one of these.
message AddressBook {
  repeated Person person = 1;
}

Clients (sender) can implement classical way for producing message (generate java classes via protoc):

protoc –java_out=. addressbook.proto

And following example of message generate:

   Person.Builder person = Person.newBuilder();
   person.setId(Integer.valueOf(42));
   person.setEmail("test_email@gmail.com");
   person.setName("Viktor Villari");
   Person p = person.build();
   FileOutputStream fstream = new FileOutputStream(messagePath);
   CodedOutputStream outSream = CodedOutputStream.newInstance(fstream);
   p.writeTo(outSream);
   outSream.flush();

as result we will have file with message (messagePath)

After it we should generate descriptor for our addressbook.proto:

protoc --descriptor_set_out=address.proto.descriptor  addressbook.proto 

I transfer address.proto.descriptor to receiver format catalogue and following code allow me to parse message:

   // read protocol Descriptor
   FileInputStream input = new FileInputStream(protoDescripter);
   DescriptorProtos.FileDescriptorSet fdsProto = DescriptorProtos.FileDescriptorSet.parseFrom(input);
// point to specific file in FileDescriptorSet
   System.out.println("File name = " + fdsProto.getFile(0).getName());
   FileDescriptor fileDescr = FileDescriptor.buildFrom(fdsProto.getFile(0), new FileDescriptor[0]);
// point to specific message type in FileDescriptor
   System.out.println("Message type = " + fileDescr.getMessageTypes().get(0).getName());
   Descriptor messageType=fileDescr.getMessageTypes().get(0);
// read and parse incomming message
   input = new FileInputStream(messagePath);
   DynamicMessage dm = DynamicMessage.parseFrom(messageType, input);
// output fields from message
   Iterator<FieldDescriptor> i = messageType.getFields().iterator();
while (i.hasNext()) {
    FieldDescriptor field = i.next();
    System.out.println(messageType.getName() + "." + field.getName() + " value="
      + dm.getField(field) + " type=" + field.getJavaType());
   }
So, output of code:
File name = addressbook.proto
Message type = Person
Person.name value=Viktor Villari type=STRING
Person.id value=42 type=INT
Person.email value=test_email@gmail.com type=STRING
Person.phone value= type=MESSAGE

Resume: using this technique you able to build dynamic message parsing without increase size of each message.

И да, кто не знает, brickpop публикует изображения интересных lego моделей.

Как и все разработчики, я готов потратить несколько часов сейчас, что бы потом получить дополнительные удобства и экономию времени. Так и сейчас, вместо того что бы регулярно читать форум – настроил RSS потоки, которые содержат основные обновления. Пользуйтесь, может и вам будет полезно:

	DoubleBrick Творчество/технический	http://feeds.feedburner.com/doublebrick_creative_technic	RSS с форума http://www.doublebrick.ru/forums/. Работы участников форума, технический подраздел.
	DoubleBrick “Технодром”	http://feeds.feedburner.com/doublebrick_technic	RSS c форума http://www.doublebrick.ru/forums/. Lego Technic – интересные решения и вопросы.
	DoubleBrick “Куплю”	http://feeds.feedburner.com/doublebrick_buy	RSS c форума http://www.doublebrick.ru/forums/. О прокупке наборов и деталей лего.
	DoubleBrick “Продам”	http://feeds.feedburner.com/doublebrick_sell	RSS c форума http://www.doublebrick.ru/forums/. О продаже наборов лего.
	DoubleBrick “Продам детали”	http://feeds.feedburner.com/doublebrick_sell_parts	RSS c форума http://www.doublebrick.ru/forums/. О продаже деталей лего.

RSS — семейство XML-форматов, предназначенных для описания лент новостей, анонсов статей, изменений в блогах и т. п. Информация из различных источников, представленная в формате RSS, может быть собрана, обработана и представлена пользователю в удобном для него виде специальными программами-агрегаторами.

Лего – Основой наборов является кирпичик LEGO — деталь, представляющая собой полый пластмассовый блок, соединяющийся с другими такими же кирпичиками на шипах. В наборы также могут входить множество других деталей: фигурки людей и животных, колёса и т.д. Существуют наборы, в которые входят электродвигатели, различного рода датчики и даже микроконтроллеры. Наборы позволяют собирать модели автомобилей, самолётов, кораблей, зданий, роботов. Воплощает идею модульности, наглядно демонстрирующий детям то, как можно решать некоторые технические проблемы, также прививает навыки сборки, ремонта и разборки техники).

Артикул Lego: 8269

Год выпуска: 1999

Количество деталей: 329

Кол-во минифигурок: 1 (зато какая)

Описание: Bricker, Brickset, BrickLink, Peeron

Набор относится к соревновательной серии техник (Technic Competition), что подразумевает что набор позволит "соревноваться" двум игрокам.

В данном наборе все именно так: картинка на задней части коробки обещает что два игрока будут яростно сражаться с помощью двух "стрекоз" и большого мяча темно бирюзового цвета.

Передняя вид коробки, что досталась мне, был очень печальный: порванная полоза по краю коробки.

Но я то знал, что внутри этой большой коробки есть две маленькие: абсолютно целые и запечатанные.

Именно в этих коробках и лежат детали для каждой стрекозы отдельно, пурпурная и бирюзовая стрекоза.

Инструкция для каждой стрекозы отдельная, то есть сборку можно начать параллельно не мешая друг другу.

Внимательно посмотрев на изображение стрекоз становится понятно что бирюзовая стрекоза интереснее – в ней есть летчик и в эту же коробку вложены мяч и конусы. Именно с этой стрекозы я и начал собирать:

Отдельно собирается хвост с кабиной, "жало" и крылья. Так же резиновые стяги ставятся в последний момент.

Стрекоза в сборе, летчик готовится к посадке в кабину.

Кабина открывается как пасть, у летчика глубокая посадка (кресла в насекомых не полагается), зато есть два рычага управления стрекозой.

К бою, летчик изучает мяч которым приодеться сражаться.

Аналогичным путем собирается и вторая стрекоза, правда в ней нет летчика, а вместо кабины просто пасть, которая открывается так же как и бирюзовой стрекозе.

Пурпурная стрекоза отличается крыльями и кабиной/пастью, в остальном стрекозы одинаковые (соревнования честные же ведь).

С закрытой пастью, готова к бою.

Встреча перед боем.

Насекомые спорят у кого жало больше.

А теперь самое интересное, механизм работы "жала": черно-желтый рычага на верху стрекозы толкает жало вперед, а оно уже в свою очередь ударяет по мячу.

Возвращается жало в исходное состояние с помощью двух резинок растяжек.

Резюме: Отличный набор, жаль человечек только в одной стрекозе. Детали неожиданного цвета (в рамках текущих техник наборов).

и еще пару фотографий:

Полевой ремонт спускового механизма.

Мяч действительно большой.

I’m spent this long weekend for study RXP protocol which IBM recommend to communicate with IBM Rational RequisitePro.

As I know java, I decide to write small utility on Java RPX. I was my mistake, because IBM Java RPX is worst API which I sow in last years. Methods like OpenProject(arg0, arg1, arg2, arg3, arg4, arg5) make me crazy.

As result I use VBA RPX API as reference and Java RPX API just as implementation.

In any case, result of my homework – I’m able to build statistics based on RequisirePro repository about how often I change requirements in project. It helps me to analyse time when my requirements set is stable and ready for implementation. Also this simple chart show me which external actions affect requirements (architecture overview stage, review requirements by development team or test team).

In my next step I going to implement RSS stream for all requirements changes in project scope, it should help my team follow in any changes in product in frame iterative process.

Если не критичное место, то возможно первое попавшееся решение будет приемлемо. (Мне, например, без разницы какого цвета стикеры использовать, и формализовывать процесс выбора стикера – трата времени).

SW:  решение о том на какой платформе стоит разрабатывать новый продукт – достойно формального анализа, а вот цвет кнопки  – может и не стоит анализировать, ее влияние на конечный результат минимально.

1) Определить критерии для оценки альтернатив

Обозначить величины и их приоритеты (если несколько критериев). Рекомендуется использовать опыт предыдущих анализов, очень вероятно что критерии повторятся.

SW: критерии для выбора платформы – доступность разработчиков под эту платформу, стоимость решений на этой платформе, потенциальная производительность, риски.

2) Обозначить альтернативы

Поиск альтернатив проводить как внутри команды, так и используя внешние знания (поиск, анализ конкурентов).

SW: кластерное решение системы управления базами данных: MS SQL server, Oracle, или как показал поиск по гуглу – то еще MySQL.

3) Выбрать способ оценки альтернатив

Совсем не стоит полностью строить решение на всех альтернативах что бы понять какие лучше. Может некий симулятор или проверка подмножества функций позволить уже оценить выбранные критерии в п2.

Понять во что обойдется (время, стоимость и пр) оценка альтернатив по выбранному способу.

SW: синтетические тесты, экспертная оценка, моделирование – первые пришедшие в голову примеры методик оценки.

4) Проанализировать альтернативы используя п1 и п2

Не забыть сделать отчет по анализу каждой альтернативы, сохранить для потомков.

Возможно вернуться к п3 и анализировать другим методом если выбранный метод ранее не дал отчетливых значений выбранных критериев в п1.

SW: выполнить моделирование/тесты, выделить значния важных критериев, сохранить отчеты в репозиторий.

5) Выбрать из п2. базируясь на п1

Так как, часто анализ выполняется по моделям (то есть не полной информации), то при рекомендации одной из альтернатив не забыть указать в рисках, как было выбрана эта альтернатива.

SW: выбрали RAC Oracle, т.к. среди прочего показал больший рост производительности при добавлении ноды – риск: тестировали с ограничением на типы операций и объемы данных.

Резюме:

Звучит формально и надуманно, но забывать про первые три пункта не стоит. Опыт показывает, что все сразу приступают к п4 не обозначив, как будут выбирать,  по какому критерию и вообще не держа в голове все возможные альтернативы решений.

В базовом функционале модули этого не делали.

Исправить просто, надо добавить регистрацию модуля для нового (левого) “хука” и переустановить модуль.

$this->registerHook('rightColumn')

Для двух модулей (корзина, и модуль скидок), я эти изменения сделал – можно скачать здесь.

blockcart.zip
blockspecials.zip

PS базировался на последней на данный момент версии prestashop 1.3.1

Создал RSS поток для Prestashop SVN – дабы отслеживать все изменения в исходных кодах.

Добавить RSS

Внимание, обращаем внимание на новую версию prestashop.

При поддержке John JEAN из Wargan Solutions компании, что специализируется на компьютерной безопасности, мы нашли и исправили  несколько уязвимостей в коде которые затрагивает все версии prestashop (с v0.8 до v1.3).

Крайне рекомендуется обновить ваш магазин PrestaShop для решения проблем с безопасностью:

Для обновления вы можете:

- Обновить PrestaShop новой версией 1.3.1.

Эта версия идентична  1.3 (не включает исправления ошибок) и только проблемы безопасности исправлены

или вы можете исправить уязвимости вручную:

/!\ Не забудьте сделать копию своего магазина.

Файл: /config/smarty.config.inc.php
где: в конце файла, перед “?>”
добавить: $smarty->register_modifier(’secureReferrer’, array(‘Tools’, ’secureReferrer’));

Файл: /modules/paypalapi/error.tpl
где: строка 13
заменить : {$smarty.server.HTTP_REFERER}
на : {$smarty.server.HTTP_REFERER|secureReferrer}

Файл: /themes/prestashop/errors.tpl :
где: строка 9
заменить: {$smarty.server.HTTP_REFERER|escape:’htmlall’:'UTF-8′}
на: {$smarty.server.HTTP_REFERER|escape:’htmlall’:'UTF-8′|secureReferrer}

Файл:/themes/prestashop/shopping-cart.tpl :
где: строка 255
заменить: {$smarty.server.HTTP_REFERER|escape:’htmlall’:'UTF-8′}
на: {$smarty.server.HTTP_REFERER|escape:’htmlall’:'UTF-8′|secureReferrer}

Файл: /admin/login.php
где: строка 67
заменить:
$cookie->passwd = $employee->passwd;
$cookie->write();
на:
$cookie->passwd = $employee->passwd;
$cookie->remote_addr = ip2long($_SERVER['REMOTE_ADDR']);
$cookie->write();

Файл: /admin/confirm.php
где: строка 22
заменить: $referer = rawurldecode(Tools::getValue(‘referer’));
на: $referer = Tools::htmlentitiesUTF8(rawurldecode(Tools::getValue(‘referer’)));

Файл: /classes/Tools.php
где: строка 17
После: “class Tools
{”
Добавить две новых функции:

/**
* Get the server variable SERVER_NAME
*
* @param string $referrer URL referrer
*/
static function getServerName()
{
if (isset($_SERVER['HTTP_X_FORWARDED_SERVER']) AND $_SERVER['HTTP_X_FORWARDED_SERVER'])
return $_SERVER['HTTP_X_FORWARDED_SERVER'];
return $_SERVER['SERVER_NAME'];
}

/**
* Secure an URL referrer
*
* @param string $referrer URL referrer
*/
static public function secureReferrer($referrer)
{
if (preg_match(‘/^http[s]?:\/\/’.self::getServerName().’\/.*$/Ui’, $referrer))
return $referrer;
return __PS_BASE_URI__;
}

Файл: /classes/Cookie.php
где: строка 164
Заменить функцию isLoggedBack() новой
function isLoggedBack()
{
/* Employee is valid only if it can be load and if cookie password is the same as database one */
if ($this->id_employee AND Validate::isUnsignedId($this->id_employee) AND
Employee::checkPassword(intval($this->id_employee), $this->passwd) AND (!isset($this->_content['remote_addr']) OR
$this->_content['remote_addr'] == ip2long($_SERVER['REMOTE_ADDR'])))
return true;
return false;
}