Gr1g0ry K blog

Использование Zend_Form в Моделях

noreply@blogger.com (Gr1g0ry) — Mon, 4 Feb 2013 14:05:00 +0200

В последнее время в сообществе Zend Framework (ZF) выросло количество постов посвященных обсуждению Модели в шаблоне Модель-Вид-Контроллер. В ZF нет конкретного класса или интерфейса Модели; авторы фреймворка придерживаются позиции, что модели для каждого приложения специфичны и только разработчик может точно определить наиболее подходящий вариант. Многие другие фреймворки привязывают Модель к шаблонам доступа к данным - как правило: ActiveRecord или Table Data Gateway, не обращая внимания на тот факт, что Модель привязывается к способу сохранения данных.

А что произойдет, если Вы начнете использовать Memcached? или перейдете на архитектуру SOA? Что, если с самого начала Ваши данные поступают из веб-сервиса? Что делать, если вы используете базу данных, но бизнес-логика опирается на связи между таблицами?

Замечательные публикации, которые упомянуты выше, обсуждают различные подходы (используемые при создании модели), но не обязательно указывают на какие-либо конкретные подходы, которые разработчик может использовать при создании своих моделей. Таким образом, это будет первый пост из серии публикаций о некоторых конкретных методах, которые можно использовать при создании моделей. Подходы будут опираться на компоненты ZF, но могут быть использованы и для ряда других фреймворков.

Формы и фильтрация входных данных

В большинстве случаев программист хочет, чтобы Модель самостоятельно выполняла фильтрацию входящих данных. Причина в том, что фильтрация ввода принадлежит доменной логике (бизнес логике): это набор правил, которые определяют валидность входящих данных и привила их нормализации.
Однако, как это согласуется с формами? ZF имеет компонент Zend_Form, который позволяет использовать как цепочки валидаторов и фильтров для проверки входных данных, так и декораторы, определяющие внешний вид. Типичным подходом является создание Формы в Контроллере и передача входящих данных в нее; если данные проходят валидацию, они далее передаются в Модель.

А что, если привязывать Форму к Модели? Некоторые возразят, что это нарушает понятие "разделение ответственности" в связи с тем, что логика отображения Формы примешивается к Модели. Однако, по мнению Matthew O'Phinney, такая забота о чистоте кода является слишком педантичной. При подключении к Модели Форма может быть использована исключительно в качестве входного фильтра; когда же возникнут все специфичные для логики отображения действия, например, конфигурирование декораторов, установка атрибутов action и method и т.д. они выполняются через скрипт Вида. Кроме того, различные плагины такие, как - валидаторы, фильтры или декораторы - не загружается до их использования - то есть, практически, нет накладных расходов, при использовании Форм в качестве фильтра входящих данных.

Такой подход поможет придерживаться принципа DRY, одновременно помогая поддерживать четкое разделение бизнес логики и отображения. Наконец, можно вызывать как одну, так и несколько Форм из Модели, что поспособствует быстрой разработке приложений, а также обеспечит прочную семантическую связь между моделью и представлением. Перейдем непосредственно к методике.

Прикрепление Форм к Моделям

Просто добавьте в модель метод getForm(), передав ему один необязательный параметр – тип запрашиваемой формы. Используйте Форму, возвращаемую этим методом, каждый раз, когда потребуется валидация данных. (Некоторые модели требуют нескольких форм, что лучше спланировать заранее. Хорошим примером является модель пользователя, для которой понадобятся формы логина и регистрации.) Давайте посмотрим на это в действии:

class Spindle_Model_Bug
{
    protected $_forms = array();

    public function getForm($type = 'bug')
    {
        $type  = ucfirst($type);
        if (!isset($this->_forms[$type])) {
            $class = 'Spindle_Model_Form_' . $type;
            $this->_forms[$type] = new $class;
        }
        return $this->_forms[$type];
    }

    public function save(array $data)
    {
        $form = $this->getForm();
        if (!$form->isValid($data)) {
            return false;
        }

        $storage = $this->getStorage();
        if ($form->getValue('id')) {
            $id = $form->getValue('id');
            $storage->update($form->getValues(), $id));
        } else {
            $id = $storage->insert($form->getValues());
        }

        return $id;
    }
}

В фрагменте кода, приведенном выше, показано, как Форма выступает в качестве фильтра для входных данных. Вначале Форма используется для проверки допустимости входных данных, а затем, чтобы (с помощью фильтров) обеспечить нормализацию входящих данных. Вы также можете использовать Форму, чтобы проверить наличие некоторых дополнительных значений, как это делается здесь, чтобы, например, выбрать действия, необходимые для сохранения данных. Что происходит в Контроллере и Виде? В Контроллерах действий происходит небольшое изменение подхода. Вместо проверки данных с помощью Формы и передачи данных модели, Вы просто пытаетесь сохранить данные в модель:

class BugController
{
    public function processAction()
    {
        $request = $this->getRequest();
        if (!$request->isPost()) {
            return $this->_helper->redirector('new');
        }

        if (!$id = $this->model->save($request->getPost())) {
            // Failed validation; re-render form page
            $this->view->model = $model;
            return $this->render('new');
        }

        // redirect to view newly saved bug
        $this->_helper->redirector('view', null, null, array('id' => $id));
    }
}

Как видите, в Контроллере немного кода и вообще не упоминаются формы. Итак, как мы будем отображать Форму? Заметим, что Модель передается в Вид - что в конечном итоге дает нам доступ к Форме.

$form = $this->model->getForm();
$form->setMethod('post')
     ->setAction($this->url(array('action' => 'process')));
echo $form;

Такой подход позволяет разделить зоны ответственности. Вы выводите форму, которая дальше будет использоваться для фильтрации данных текущей модели. Обратите внимание на логику отображения, помещенную в файл Вида. Здесь задаются параметры method и action для текущей Формы, что как раз соответствует логике отображения.

Резюме

Есть, конечно, и другие способы решения проблемы, но это удобное и выгодное решение, которое максимизирует использование существующих компонентов. Привязка Форм к Моделям помещает всю логику, связанную с проверкой входных данных - в том числе сообщений об ошибках - в одном месте, и гарантирует, что Ваши формы останутся актуальными в случае изменения модели, например правил валидации или списка разрешенных входных данных.(перевод поста Matthew O'Phinney.)

Программы для стеганографии. Fox Secret

noreply@blogger.com (Gr1g0ry) — Sat, 20 Aug 2011 13:02:00 +0300

Думаю, читателям будет интересным познакомиться с существующими программами для стеганографии.

Начнем с простенькой разработки Fox Secret 1.00. Согласно тому, что написано в справке, автор программы: Леев Леонид Владимирович, Россия, Москва. Сайт: http://www.gray-fox.ru/

Программа бесплатная, имеет только одну версию и не обновлялась автором с 28 мая 2006 г. Однако данное ПО заслуживает, чтобы о нем сказать пару слов.

Предлагаемая криптография:

- симметричные алгоритмы шифрования Blowfish, IDEA, RC5, AES32, ГОСТ 28147-89, 3Way;

- ассиметричный алгоритм RSA.

Из стеганографии предлагается:

- сокрытие в текстовых форматах: TXT, RTF и HTML;

- сокрытие в графических форматах: Windows BMP (16-битный, 24-битный и 32-битный цвет), PNG, JPEG, TIFF;

- сокрытие в звуковых форматах: WAV и MP3.

Сокрытие в JPEG файл

Рассмотрим процесс сокрытия на примере JPEG файла.

Внешний вид программы при запуске:

Попытаемся что-либо спрятать. Выбираем меню Секрет / Новый. Открывается окно:

Нам дается возможность выбрать что будем прятать. Иконки Текст и Файл - очевидны. Если же мы выберем иконку Сейф, то прятать сможем целые группы файлов и каталоги с сохранением их структуры.

Выбираем иконку Файл и жмем кнопку Вперед. Открывается диалог выбора контейнера - файла изображения.

Судя по перечисленным в диалоге форматам, программа умеет скрывать данные в BMP, PNG, JPEG и TIFF. Первым попробуем JPEG. Следует обратить внимание на то, что FoxSecret скрывает данные непосредственно в выбранное изображение. Так что, если хотите не потерять исходное изображение, сделайте предварительно его копию.

Нам предлагают возможность зашифровать наши скрываемые данные. Обратите внимание на вместимость контейнера. Она указывает, что данные будут прятаться либо в комментарии файла JPEG, либо в конец путем дописывания.

Вводим пароль и жмем Вперед. Будет предложен выбор файла который будем прятать. Выберем другое изображение «800px-Dirij-angar.JPG», размер которого даже превосходит по размеру файл-контейнер.

Получаем контейнер со спрятанными данными.

Можно закрывать программу. Вложение прошло успешно. Естественно размер изображения-контейнера увеличился на размер вложенного изображения.

Извлечение и стеганоанализ

Чтобы извлечь данные нужно выбрать Секрет/Открыть, выбрать изображение, в которое были спрятаны данные. Пользователь сразу видит окно предложение ввода пароля для извлечения.

Далее нужно ввести пароль. В следующем окне вызвать пункт Достать из меню Файл и сохранить на диске полученное вложение.

Следует отметить, что при доставании СКРЫТОЕ ВЛОЖЕНИЕ ИЗ КОНТЕЙНЕРА НЕ УДАЛЯЕТСЯ. Т.е. достать его можно повторно.

ИНТЕРЕСНО, если выбрать JPEG файл без скрытого вложения, FoxSecret сообщит о том, что в данном файле вложение не обнаружено (:-D).

Таким образом Fox Secret ПРЯМО ПОДСКАЗЫВАЕТ ПОЛЬЗОВАТЕЛЮ ГДЕ ФАЙЛ С ВЛОЖЕНИЕМ, А ГДЕ ПУСТОЙ.

Откроем изображение со вложенными данными в бесплатной программе для просмотра изображений - IrfanView. Далее следует выбрать пункт меню изображение/информация.

В открывшемся окне «свойства изображения» выбираем кнопку комментарий и наблюдаем зашифрованное и «надежно (:-D)» спрятанное сообщение.

После удаления данного комментария файл-контейнер возвращается к первозданному виду.
Продолжение следует...

Стеганография, голограммы и комерция от Хабиба Хамама

noreply@blogger.com (Gr1g0ry) — Sat, 23 Jul 2011 13:18:00 +0300

Université de Moncton's Dr. Habib Hamam, P.Eng.,

HDR, разрабатывает новые подходы сокрытия
данных от хакеров. Photo: COLE BURSTON
/Canadaeast News Service

По материалам telegraphjournal.canadaeast.com/rss/article/1408740

Профессор канадского университета Université de Moncton разрабатывает стеганографическое программное обеспечение основанное на новых принципах.

Голограммы в их наиболее общей форме - это иллюзии. Они принуждают глаз видеть что-то, чего на самом деле там нет. Доктор Хабиб Хамам использует их для сокрытия секретов.

Профессор университета de Moncton заявил, что он разработал ПО которое использует общедоступные изображения, например фотографии Белого дома и скрывает конфиденциальную информацию. Оригинальное изображение Белого дома будет изменено, возможно некоторые голубые пиксели неба будут затемнены, но увидеть это невооруженным глазом невозможно . Однако, хакер используя технологии потенциально может обнаружить сокрытие.
В этом месте подключаются голограммы доктора Хамам. Дотошный хакер основывается на различиях и глубоко разбирает форматы данных, но любые подозрения могут быть устранены когда он столкнется с голограммой. Конечно вместо пикселизированого трехмерного героя из Аватара выступающего из экрана, хакер увидит мешанину из цифр. Ошибочно пропустив эту «кашу» как цифровую бессмыслицу он продолжит свои поиски. По крайней мере на это рассчитывает доктор Хамам.

Метод сокрытия данных во внешне безобидных данных называется стеганографией. Когда юноша-подросток дает порнографическому видеофайлу название «Рефераты и курсовые», он использует именно эту технику.

Слово стеганография происходит от греческого слова «сокрытие». Стеганография объединяет различные методы, например, водяные знаки, которые обычно используются для защиты интеллектуальной собственности.

«Криптография используется со времен Иисуса»,- гворит Hamam. Она эволюционировала от древних шифров до цифрового кодирования.

Но проблема криптографии в том, что если она усложняет доступ к данным и их расшифровке, то вы все равно знаете: они там.

Стеганография же подобна технологи стелс. Хакеры с меньшей вероятностью будут расшифровывать сообщение, которое выглядит абсолютно обычным.

Хамам первый, кто добавил второй уровень защиты основанный на голограммах. Однако это принесло так же дополнительную выгоду. Стало возможным скрывать больше информации в одном изображении. Обычно чтобы факт сокрытия прошел незамеченным контейнер должен быть значительно больше чем данные которые вы пытаетесь спрятать.

«Вы можете поместить детеныша кенгуру в карман кенгуру-матери, но нельзя сделать обратное», - говорит Хамам.

С помощью голографии Хамама «кенгуренок» может иметь размеры лишь в четыре раза меньше его матери и оставаться незамеченным. Автор метода заявляет, что он уже разработал программное обеспечение, которое легко может модифицировать изображения. Сейчас планируется следующий шаг. Хамам говорит, что хочет посмотреть возможно ли применить голографические идеи к аудиоданным. Для этого Хамам, который является участником Canada Research Chair, взаимодействует с профессором Саид Ахмет из Selouani Université de Moncton's Shippagan, который специализируется на обработке звука.

«Я хорошо разбираюсь в изображениях, но теперь я решил попробовать иной путь», - говорит Хамам.

Хамам оценивает стоимость продукта в 1,7 миллиона долларов. Исследования получают поддержку из различных источников, включая New Brunswick Innovation Fund. По словам автора, исследование будет готово к коммерциализации за два года. Когда это произойдет, теоретически каждый сможет купить данное ПО. Также планируется данное приложение для мобильных устройств.

Голограммы могли бы так же использоваться компаниями которые хотят защитить свои продукты от незаконного копирования на другие компьютеры, скрыто маркируя подлинную информацию в свое ПО.

По словам Хамама, он также имеет маркетингового партнера связанного с министром обороны.

У каждого есть что защищать говорит ученый-бизнесмен.

Реализация простейшего генератора псевдослучайной последовательности (ПСП) в Matlab

noreply@blogger.com (Gr1g0ry) — Mon, 20 Jun 2011 13:53:00 +0300

Прошу прощения за большой перерыв в публикациях.

Псевдослучайные последовательности чисел используются в криптографии буквально во всех методах. Очевидно, что для ее родственницы - стеганографии они тоже имеют большую важность.

Псевдослучайная последовательность – это… последовательность т. е. ее элементы можно пронумеровать: 1, 2, 3, … В то же время, элементы последовательности не должны зависеть от своих соседей или соседей соседей, это значит что следующий элемент последовательности должен быть непредсказуем.

Реализуем простенький алгоритм генерации ПСП на MATLAB. Реализовывать будем предложенный Д.Г. Лехмером в 1949г. конгруэнтный генератор ПСП. (В викисловаре одно из значений слова «конгруэтный» обозначает свойство алгебраического объекта — быть связанным с другим алгебраическим объектом стабильным отношением эквивалентности на алгебраической системе).

Последовательность чисел данного ПСП генератора определяется формулой: Линейный конгруэнтный метод заключается в вычислении членов линейной рекуррентной последовательности по модулю некоторого натурального числа m, задаваемой следующей формулой:

данная последовательность определяется целочисленными коэффициентами a, c, m и начальным членом X(0). Максимально возможная длинна ряда порождаемого данным генератором равна m. При превышении данной длинны последовательность начнет повторять цикл «случайных» чисел. Чтобы длина последовательности была максимальной коэффициенты a, c и m должны подчиняться правилам:

1. НОД(c,m) = 1 то есть, c и m взаимно просты (НОД - наибольший общий делитель. Например, для 12 и 20 НОД равен 4, что записывается как (12,20) = 4 . Наибольший общий делитель для взаимно простых чисел - 1)

2. a-1 кратно p для всех простых делителей p числа m. Данное условие означает, что a-1 должно состоять как минимум из всех простых делителей числа, исключая их повторение. Например если число m = 450 =2*3*3*5*5, то a-1 может быть произведением 2*3*5=30 следовательно a = 31

3. a-1 кратно 4, если m кратно 4. Данное условие означает, что если m делится на 4 без остатка, то значение a-1 так же должно делится на 4 без остатка.

Несоблюдение перечисленных правил резко (в 2-5 раз) сокращает длину псевдослучайной последовательности по сравнению с максимальной.

Привила 2 и 3 накладывают некоторые ограничения и на выбор числа m:

− если число m простое, длинна ПСП будет меньше максимальной;

− если m будет состоять из простых делителей, которые не повторяются, a-1 будет равно m. Например, если m = 2*3*5=30, невозможно подобрать такое a-1, которое меньше m и кратно всем простым делителям – 2 3 5;

− аналогично не решает проблему наличие двух делителей равных 2 (см. правило 3). Например, нельзя подобрать a-1 для m = 2*2*3*5=60

Учитывая сказанное, для формирования ПСП максимальной длинны будем брать m кратным 8, тогда a-1 может быть равно произведению всех простых делителей кроме первой двойки. Например, если m = 2*2*2*3*5 =120, то a-1= 2*2*3*5 = 60.

Простой Matlab скрипт реализует описанный ПСП - генератор:

function [X_PRS, O ] = psp( M )

%%PSP X_(k+1)=(a*X_k+c)mod m. Length = m.

%% searching for (m < M) & (m mod 8 = 0)

X=mod(M,8);

m=M-X;

% prime factor decomposition

f = factor(m);

%% getting a

a=1;

k=find(f>2);

for l=1:size(k,2)

a=a*f(k(l));

end;

a=a*4+1;

%% getting c

c=2*round(m./3);

while gcd(m,c)~=1

c=c+1;

end;

%% generation of pseudorandom sequence

X0=c+2;

X_PRS=zeros(1,m);

X_PRS(1)=X0;

for k=2:m

X_PRS(k)=mod((a*X_PRS(k-1)+c),m);

end;

% ranking PRS

O = sort(X_PRS);

end

Выполним данный скрипт в командной строке Matlab.

>> [X_PRS, O ] = psp(3145728);

В результате имеем массив - псевдослучайную последовательность X_PRS и ряд O, состоящий из тех же чисел но упорядоченных по возрастанию.

Первая двадцатка X_PRS выглядит так:

>> X_PRS20=X_PRS(1:20)

X_PRS20 =

Columns 1 through 6

2097157 1048644 887 2108686 1198521 1949288

Columns 7 through 12

2272075 176850 1250477 2624716 1615455 1077974

Columns 13 through 18

382177 774000 2721971 2879770 1785429 141908

Columns 19 through 20

796231 3010974

Первая двадцатка O, очевидно, выглядит так:

>> O20=O(1:20)

O20 =

Columns 1 through 12

0 1 2 3 4 5 6 7 8 9 10 11

Columns 13 through 20

12 13 14 15 16 17 18 19

График первой тысячи псевдослучайных чисел выглядит так:

Гистограммный статистический стегоанализ. Пример практической реализации

noreply@blogger.com (Gr1g0ry) — Sat, 16 Apr 2011 11:56:00 +0300

Учитывая пожелания читателей и статистику посещаемости для сообщений, этот пост посвящается практической реализации одного из методов стегоанализа (стеганоанализа, steganalysis). Ранее уже приводилось теоретическое обоснование различия гистограмм яркостей цветовых компонент для пустого изображения-контейнера и заполненного стегоизображения.

В русскоязычном интернете невозможно найти хоть какую-нибудь работающую программу для стегоанализа. Однако, теоретические и практические (коммерческие) разработки в мире шагнули весьма далеко.

Рис. 1 Гистограмма пустого и заполненного изображений

Не будем отставать и создадим наш собственный скрипт для Matlab, который будет отыскивать последовательное вложение. (Встроить вложение можно, с помощью ранее описанного метода). Метод обнаружения последовательного встраивания будем разрабатывать для 24 битного BMP изображения.

По приведенной ранее классификации, описываемый метод стегоанализа относится к

вероятностным методам,

которые в пространственной форме представления изображения

с помощью статистического критерия Хи квадрат ищут стеганографические вложения,
сделанные определенным алгоритмом.

Кто не понял предыдущее предложение - не переживайте: я сам его до конца не понимаю, а стереть жалко.

Общее описание алгоритма:

1. Разбиваем изображение на цветовые компоненты.

2. Каждую цветовую компоненту разбиваем на непересекающиеся прямоугольные блоки достаточной величины (Что такое «достаточная величина» требует особого исследования).

3. Для каждого блока строим эмпирическую гистограмму яркости. (Эмпирический – основанный на опыте, изучении фактов, опирающийся на непосредственное наблюдение, эксперимент.) На рисунке 1 гистограмма обозначена синим цветом.

4. Для каждого блока строим теоретическую гистограмму на основе эмпирической. Для построения теоретической гистограммы найдем среднее арифметическое количества пикселей с соседними яркостями.

Соседними будут яркости 0<->1 2<->3 … 254<->255, или в двоичной системе исчисления:

0000 0000<->0000 0001;

0000 0010<->0000 0011;

...

1111 1110<->1111 1111.

Теоретическая гистограмма наблюдается при встраивании данных в каждый бит (пиксель) цветовой компоненты. На рисунке 1 - обозначена красным цветом. Можно сказать, что при встраивании количество пикселей в соседних парах распределено равновероятно.

5. Для каждого блока сравним схожесть теоретической и эмпирической гистограмм с помощью статистики Хи квадрат (Пирсона). Если теоретическая и эмпирическая гистограммы различаются несущественно, то вероятно, что в каждый пиксель цветовой компоненты исследуемого блока встроена скрытая информация. Вычисляем значение статистики для проверяемого блока цветовой компоненты:

Теоретическая и эмпирическая гистограммы считаются схожими, если полученное эмпирическое значение статистики Хи квадрат меньше теоретического значения статистики Хи квадрат при заданном уровне значимости а и количестве степеней свободы k-1.

Если данное неравенство справедливо, то мы обнаружили встраивание в проверяемый блок. Однако, хватит уже теории.

Matlab cкрипт для гистограммного статистического стегоанализа

Данный скрипт является функцией, которую можно вызвать из командной строки MATLAB.

На вход функции подаются: адрес анализируемого изображения, размер непересекающихся прямоугольных блоков по горизонтали и вертикали, уровень значимости а (рекомендуется 0.9).

На выходе получаем изображения трех цветовых компонент: RED_out, GREEN_out, BLUE_out.
Серым цветом показаны места, где соседние пары яркостей имеют равновероятное распределение, т.е. предполагается встраивание. Красным, зеленым и синим цветом, соответственно, обозначены места цветовых компонент, где встраивания нет.

function [RED_out,GREEN_out,BLUE_out] = histo_chi2_steganalysis(IMG_in,stepX,stepY,Prbb);

% pirson_Xi_2_Analiz

Читаем картинку из файла, раскладываем ее на цветовые компоненты, вычисляем ее размер.

Picture = imread(IMG_in,'bmp');

Red = Picture(:,:,1);

Green = Picture(:,:,2);

Blue = Picture(:,:,3);

[Pheight,Pwidth] = size(Red);

Создаем индексные переменные для блоков, на которые будет разбито изображение.

a_ind_X = 1:stepX:Pwidth;

a_ind_Y = 1:stepY:Pheight;

Подсчитываем, сколько блоков по горизонтали и по вертикали у нас будет.

countX = size(a_ind_X,2);

countY = size(a_ind_Y,2);

Добавляем к изображению широкую «границу» из пикселей, чтобы крайние блоки не были обрезаны границей изображения.

brdrd_Red = [Red;Red((countY-1)*stepY:-1:(countY-2)*stepY+1,:)];

brdrd_Red = [brdrd_Red,brdrd_Red(:,(countX-1)*stepX:-1:(countX-2)*stepX+1)];

brdrd_Green = [Green; Green((countY-1)*stepY:-1:(countY-2)*stepY+1,:)];

brdrd_Green = [brdrd_Green, brdrd_Green(:,(countX-1)*stepX:-1:(countX-2)*stepX+1)];

brdrd_Blue = [Blue;Blue((countY-1)*stepY:-1:(countY-2)*stepY+1,:)];

brdrd_Blue = [brdrd_Blue,brdrd_Blue(:,(countX-1)*stepX:-1:(countX-2)*stepX+1)];

Формируем изображение с добавленными границами.

brdrd_Picture(:,:,1) = brdrd_Red(:,:);

brdrd_Picture(:,:,2) = brdrd_Green(:,:);

brdrd_Picture(:,:,3) = brdrd_Blue(:,:);

Зададим размеры массивов для хранения гистограммы, наблюдаемого значения Хи квадрат - ArrayReal и теоретического значения Хи квадрат - ArrayTeor:

HistoTeor=zeros(1,256);

ArrayReal = zeros(size(a_ind_Y,2),size(a_ind_X,2));

ArrayTeor = zeros(size(a_ind_Y,2),size(a_ind_X,2));

В цикле будем обращаться последовательно к первой, второй и третьей цветовой компонентам.

for Z = 1:3

IMG = brdrd_Picture(:,:,Z);

Для каждой цветовой компоненты последовательно переберем все, исследуемые на предмет встраивания, блоки. Для каждого блока определим эмпирическое и теоретическое значения Хи квадрат (процесс достаточно подробно прокомментирован в самом коде).

for Y = 1:stepY:Pheight

for X = 1:stepX:Pwidth

areaXY = IMG(Y:Y+stepY,X:X+stepX);

% POSTROENIE EMPIRICHESKOI GISTOGRAMMY

% REZUL'TAT - VERTIKAL'NYI VEKTOR #HistoEmpir#

HistoEmpir = imhist(areaXY);

% TRANSPONIROVANIE VEKTORA #HistoEmpir#

% REZUL'TAT - GORIZONTAL'NYI VEKTOR #HistoEmpir#

HistoEmpir = transpose(HistoEmpir);

% POSTROENIE TEORETIChESKOI GISTOGRAMMY #HistoTeor#

% REZUL'TAT - GORIZONTAL'NYI VEKTOR #HistoTeor#

k = 1:2:256;

HistoTeor(k) = (HistoEmpir(k)+HistoEmpir(k+1))/2;

HistoTeor(k+1) = (HistoEmpir(k)+HistoEmpir(k+1))/2;

%*******************************************************************

% RASChET VEROYaTNOSTEI EMPIRICHESKOI i TEORETIChESKOI YaRKOSTEI #VarTeor# #VarEmpir#

% REZUL'TAT - GORIZONTAL'NYE VEKTORA #VarEmpir# #VarTeor#

VarEmpir = HistoEmpir;

VarTeor = HistoTeor;

zero_ind = find(VarTeor <=20);

VarEmpir(zero_ind) = [];

VarTeor(zero_ind) = [];

% RASChET MASSIVA-SYR'Ya DLYa RASChETA REAL'NOGO ZNAChENIYa #Xi2#

% REZUL'TAT - GORIZONTAL'NYI VEKTOR #Xi2#

Xi2 = ((VarEmpir-VarTeor).^2)./VarTeor;

% UDALENIE OShIBOChNYH ZNAChENII DELENIYa NA NOL' IZ #Xi2#

Xi2 = Xi2(~isnan(Xi2));

% RASChET REAL'NOGO ZNAChENIYa #Xi2#

Xi2Real = sum(Xi2);

% RASChET TABLIChNOGO ZNAChENIYa #Xi2#

Xi2Teor = chi2inv(Prbb,size(Xi2,2)-1);

% FORMIROVANIE NAGLYaDNYH MASSIVOV REAL'NOGO I TABLIChNOGO ZNAChENII #Xi2#

ArrayReal((Y-1)/stepY+1,(X-1)/stepX+1) = Xi2Real;

ArrayTeor((Y-1)/stepY+1,(X-1)/stepX+1) = Xi2Teor;

end;

Результаты расчетов статистик Хи квадрат занесем в соответствующие массивы для первой, второй и третьей цветовых компонент. Массивы ArrayCompare хранят логические значения для каждой из анализируемых областей: «1» - встраивание есть, «0» - встраивания нет.

if (Z == 1)

RED_ArrayReal = ArrayReal;

RED_ArrayTeor = ArrayTeor;

RED_ArrayCompare = uint8(RED_ArrayReal

end;

if (Z == 2)

GREEN_ArrayReal = ArrayReal;

GREEN_ArrayTeor = ArrayTeor;

GREEN_ArrayCompare = uint8(GREEN_ArrayReal

end;

if (Z == 3)

BLUE_ArrayReal = ArrayReal./ArrayTeor;

BLUE_ArrayTeor = ArrayTeor./ArrayTeor;

BLUE_ArrayCompare = uint8(BLUE_ArrayReal

end;

На данном этапе у нас уже есть информация о «загрязненности» блоков изображения встраиванием. Для удобства пользователя покажем данные блоки на изображении.

В цикле перебираются все анализируемые блоки для каждой компоненты. Если анализируемый блок чистый, выводим его «родным» (красным, зеленым или синим) для компоненты цветом. Если блок со встраиванием, выводим его серым цветом

for Y = 1:stepY:Pheight

for X = 1:stepX:Pwidth

RED_out(Y:Y+stepY-1,X:X+stepX-1,1) = brdrd_Red(Y:Y+stepY-1,X:X+stepX-1);

RED_out(Y:Y+stepY-1,X:X+stepX-1,2) = brdrd_Red(Y:Y+stepY-1,X:X+stepX-1).*RED_ArrayCompare((Y-1)/stepY+1,(X-1)/stepX+1);

RED_out(Y:Y+stepY-1,X:X+stepX-1,3) = brdrd_Red(Y:Y+stepY-1,X:X+stepX-1).*RED_ArrayCompare((Y-1)/stepY+1,(X-1)/stepX+1);

GREEN_out(Y:Y+stepY-1,X:X+stepX-1,1) = brdrd_Green(Y:Y+stepY-1,X:X+stepX-1).*GREEN_ArrayCompare((Y-1)/stepY+1,(X-1)/stepX+1);

GREEN_out(Y:Y+stepY-1,X:X+stepX-1,2) = brdrd_Green(Y:Y+stepY-1,X:X+stepX-1);

GREEN_out(Y:Y+stepY-1,X:X+stepX-1,3) = brdrd_Green(Y:Y+stepY-1,X:X+stepX-1).*GREEN_ArrayCompare((Y-1)/stepY+1,(X-1)/stepX+1);

BLUE_out(Y:Y+stepY-1,X:X+stepX-1,1) = brdrd_Blue(Y:Y+stepY-1,X:X+stepX-1).*BLUE_ArrayCompare((Y-1)/stepY+1,(X-1)/stepX+1);

BLUE_out(Y:Y+stepY-1,X:X+stepX-1,2) = brdrd_Blue(Y:Y+stepY-1,X:X+stepX-1).*BLUE_ArrayCompare((Y-1)/stepY+1,(X-1)/stepX+1);

BLUE_out(Y:Y+stepY-1,X:X+stepX-1,3) = brdrd_Blue(Y:Y+stepY-1,X:X+stepX-1);

end;

Избавляемся от широкой границы, добавленной для работы с крайними блоками.

RED_out = RED_out(1:Pheight,1:Pwidth,:);

GREEN_out = GREEN_out(1:Pheight,1:Pwidth,:);

BLUE_out = BLUE_out(1:Pheight,1:Pwidth,:);

На данном этапе функция уже сформировала переменные-изображения, на которых видны результаты анализа. Для удобства добавим вывод результатов на экран. По желанию следующие три строки можно закомментировать или удалить.

figure;imagesc(RED_out);

figure;imagesc(GREEN_out);

figure;imagesc(BLUE_out);

end

Практическое использование функции для стегоанализа последовательного вложения

Кратко посмотрим, как работает наша функция.

Для анализа возьмем изображение 'stego_murzik3.bmp', ширину и высоту блока возьмем в четверть размера изображения, уровень значимости зададим 0.8:

[RED_out,GREEN_out,BLUE_out] = histo_chi2_steganalysis('stego_murzik3.bmp',512,512,0.8);

В результате получаем следующие изображения:

Красная компонента вся отображается серым цветом, что означает полное встраивание в красную компоненту. Зеленая компонента – зелена лишь наполовину, что проявляет области со встраиванием (серая) и без встраивания (зеленая). Синяя компонента показывает отсутствие встраивания по всей площади.

Кажется все замечательно. Однако попробуем уменьшить размер блоков, на которые изображение разбивается для анализа. Используем блоки размером 200х200 пикселей:

[RED_out,GREEN_out,BLUE_out] = histo_chi2_steganalysis('stego_murzik3.bmp',200,200,0.8);

Как видим, в местах определенных предыдущим анализом как чистые от встраивания оно "появилось". Это говорит о важности выбора размера и формы блоков, на которые разбивается для анализа изображение.

Результат прохода узкими вертикальными полосками 30х1023:

[RED_out,GREEN_out,BLUE_out] = histo_chi2_steganalysis('stego_murzik3.bmp',30,1023,0.8);

Анализ квадратиками 30х30:

[RED_out,GREEN_out,BLUE_out] = histo_chi2_steganalysis('stego_murzik3.bmp',30,30,0.8);

Все желающие могут скачать данную функцию и изображения, на которых можно самостоятельно посмотреть, как она работает.

Прекращено существование крупнейшей ботнет сети.

noreply@blogger.com (Gr1g0ry) — Mon, 11 Apr 2011 20:20:00 +0300

Согласно сообщениям службы BBC (http://www.bbc.co.uk/news/technology-12772319), благодаря усилиям Microsoft была разрушена спамерская сеть ботнет, содержащая около миллиона инфицированных компьютеров.

Исследователи по вопросам безопасности заявляют, что возможно это была наибольшая сеть компьютеров, зараженная вредоносным программным обеспечением. Не вполне ясно, был ли ботнет Rustock международной сетью. Согласно заявлениям экспертов, после отключения сети она может восстановиться в течение нескольких дней.

«В 2010 году Rustock - совокупность инфицированных машин, был наиболее активным источником спама в интернет. По оценкам экспертов, почти половина всех спамерских сообщений в наиболее интенсивный период – около 200 миллиардов сообщений в день принадлежат Rustock», – говорится в сообщении службы BBC.

Многие типы вредоносного ПО распространяются с высокой скоростью, что ослабляет уверенность пользователей в полной безопасности системы.
В отчете, опубликованном Panda Security, сообщается, что за первые три месяца 2011 года обнаружено около 73000 новых вредоносных программ, большинство из которых трояны. На 26% повысилось количество новых угроз по сравнению с тем же периодом за прошлый год.

«Возрастание количества сетевых приложений позволяют неспециалистам быстро создать троян и начать преступное дело, например, получить доступ к банковским реквизитам», – говорит Luis Corrons - технический директор PandaLabs.

Согласно исследованию Symantec в ежегодном отчете MessageLabs Intelligence 2010 Security Report (http://www.messagelabs.com/mlireport/MessageLabsIntelligence_2010_Annual_Report_FINAL.pdf), сеть Rustock ответственна, в среднем, за более чем 44 миллиарда спамерских email в день и имела более миллиона подконтрольных компьютеров-ботов. Ботнеты Grum и Cutwail - это, соответственно, вторая и третья, по величине, сети.

Руководители Symantec прогнозируют, что в 2011 году для управления ботнетами, злоумышленники пребегнут к стеганографическим методам для управления подконтрольными компьютерами. Это означает размещение команд на видном месте, возможно, в изображениях или музыкальных файлах расположенных на web-серверах файловых или социальных сетей. Такой подход позволит злоумышленникам тайно отдавать инструкции независимо от особенностей провайдера, что минимизирует шансы обнаружения.

Переведено с http://www.techzone360.com/topics/techzone/articles/155140-massive-botnet-virus-halted-mid-campaign.htm

Новый алгоритм встраивания ЦВЗ.

noreply@blogger.com (Gr1g0ry) — Tue, 29 Mar 2011 20:20:00 +0300

(переведено с сайта http://spectrum.ieee.org/...).
Стоит поблагодарить русских шпионов за подогрев интереса к теме стеганографии или методам сокрытия сообщений в внешне безопасных файлах (часто изображениях).

Прошлым летом в США раскрыли русских агентов, которые передавали скрытые сообщения в изображениях. Как сообщал Tech Talk post относительно устаревшая система сделала их легкой целью.

Мицуо Окада, выпускник Киотского университета в Японии продемонстрировал новую стеганографическую систему на Consumer Communications and Networking Conference, которая проходила в этом году. Автор не требует, чтобы его приложение подходило для целей ЦРУ :), однако отмечает, что программу можно использовать и для iPhone.

Окаду, скорее, интересует использование его стеганографического метода для защиты документов, чем сокрытие информации. Он желает предоставить цифровым файлам свой эквивалент водяных знаков для документов, которые позволяют пользователю определить их подлинность просто посмотрев сквозь них на свет.

Проблема большинства стеганографических методов, по словам Окады, в том, что для извлечения скрытой информации нужна специальная программа.

Для примера рассмотрим встраивания сообщения в безобидное изображение кошки с помощью широко используемого НЗБ (LSB) метода. Алгоритм прячет файл в так называемых некритичных битах яркости пикселя. Некритичные пиксели - это именно то, о чем говорит их название – наименее важная информация в пикселе. Пусть, например, серый пиксель однородно серой шерсти закодирован числом 00 10 01 00. Если изменить два последних НЗБ, то цвет изображения изменится на одну миллионную часть, что абсолютно неотличимо для человеческого глаза.

Окада отмечает, что пользователь не может проверить легитимность программы для извлечения данных, и что хуже эта программа становится уязвимой для декомпиляции и вмешательства в ее работу.

Его альтернативный подход использует черно-белое изображение в качестве передаваемого сообщения.

Алгоритм встраивания изменяет яркость изображения-носителя, чтобы закодировать посылаемое сообщение. Если пиксель изображения контейнера яркий, его яркость дополнительно усиливается; если пиксель темный, то его яркость дополнительно ослабляется в соответствии с яркостью встраиваемого сообщения.

Для проверки наличия ЦВЗ нужен инвертированный полупрозрачный оригинал. Перетаскиваем его поверх исходного изображения и получим скрытый ЦВЗ.

В данном случае в перце был сокрыт щенок.

Командой Окады было создано два сайта
(http://tg.net.ist.i.kyoto-u.ac.jp/easyext/ для PC и http://tg.net.ist.i.kyoto-u.ac.jp/easyext/PM/ipad.html для iPhon and iPad), где можно попробовать описанное самостоятельно.
Чтобы показать стойкость системы, представлены изображения со сжатием и добавлением шума. Для совершенно секретных систем существуют системы, которые оставляют меньше следов. (VOIP стеганография).

Насколько система безопасна или насколько "фальшивомонетчикам" легко добавить ЦВЗ, который основывается на преобразовании яркости? Как только появится возможность обеспечить какие-либо гарантии безопасности системы, определенно, исчезнет и легкость её эксплуатации вместе с внедренным щенком :-)
e57dbf9741e28d993ee6c71ae0a02e5c

Стегоанализ с известным контейнером или попиксельное сравнение изображений в Matlab.

noreply@blogger.com (Gr1g0ry) — Fri, 25 Mar 2011 17:10:00 +0200

Одним из наиболее простых способов стегоанализа является стегоанализ с известным контейнером. Он возможен при наличии исходного изображения. Заведомо пустая картинка сравнивается с той, которая подозревается в содержании скрытой информации. Однако, разницу в один бит (и даже больше) человеческий глаз увидеть не может. Напишем скрипт в системе математического моделирования Matlab, который произведет попиксельное сравнение цветовых компонент изображений и сделает их разницу более очевидной.

Рис.1 Мурзик без вложений :)

Загружаем изображения в Matlab. Возможен такой случай, когда мы не знаем какой из файлов является пустым, а какой содержит стегосообщение. Поэтому обозначим изображения переменными IMG_1 и IMG_2 без указания, какое из изображений чистое, а какое со встраиванием.

IMG_1_name='./images/murzik.bmp';

IMG_1 = imread(IMG_1_name);

IMG_2_name='./stego_murzik1.bmp';

% IMG_2_name='./stego_murzik2.bmp';

% IMG_2_name='./stego_murzik3.bmp';

IMG_2 = imread(IMG_2_name);

Определим размер изображений на тот случай, если ошибочно были выбраны изображения разного размера. Попиксельное сравнение неодинаковых по размеру изображений - невозможно.

IMG_size_y=size(IMG_1,1);

IMG_size_x=size(IMG_1,2);

IMG_size_y2=size(IMG_2,1);

IMG_size_x2=size(IMG_2,2);

Если размеры изображений не совпадают, выводим сообщение об ошибке и завершаем работу.

if ((IMG_size_y~=IMG_size_y2)||(IMG_size_x~=IMG_size_x2))

error('Выбранные изображения имеют неодинаковый размер. Попиксельное сравнение невозможно.');

end;

В случае, если все нормально и изображения одинакового размера, продолжаем:

if ((IMG_size_y==IMG_size_y2)&&(IMG_size_x==IMG_size_x2))

Разделим трехмерный массив изображения на двумерные массивы цветовых компонент RGB:

R_1=IMG_1(:,:,1);

G_1=IMG_1(:,:,2);

B_1=IMG_1(:,:,3);

R_2 =IMG_2 (:,:,1);

G_2 =IMG_2 (:,:,2);

B_2 =IMG_2 (:,:,3);

Проиндексируем те пиксели, которые полностью одинаковы, т.е. те, у которых значения для всех цветовых компонент совпадают:

ind_R=uint32(find((B_1==B_2) & (R_1==R_2) & (G_1==G_2 )));

ind_G=uint32(find((B_1==B_2) & (R_1==R_2) & (G_1==G_2 )));

ind_G=ind_G+IMG_size_y*IMG_size_x;

ind_B=uint32(find((B_1==B_2) & (R_1==R_2) & (G_1==G_2 )));

ind_B=ind_B+2*IMG_size_y*IMG_size_x;

Создадим новое изображение, в котором яркими точками будем показывать места неодинаковости пикселей:

IMG=IMG_2;

Определим цвет, который будет означать, что пиксели различаются.

IMG(:,:,1)=255;

IMG(:,:,2)=0;

IMG(:,:,3)=0;

Места, где пиксели различны, будут выделяться красным цветом.

Запишем одинаковые значения цветовых компонент на свои места.

IMG(ind_R)=IMG_2(ind_R);

IMG(ind_G)=IMG_2(ind_G);

IMG(ind_B)=IMG_2(ind_B);

Выведем на экран изображение, которое ясно показывает несовпадения пикселей.

imshow(IMG);

end;

С помощью нашего скрипта сравним пустую фотографию уже знакомого нам Мурзика. С его же фотографиями, в LSB которых встроены архивы трех литературных произведений:

«Утопия» Томаса Мора
«Мертвые души» Николая Гоголя
«Война и мир» (1-й том) Льва Толстого

Скрипты для встраивания и извлечения данных можно посмотреть в предыдущих постах.
Т.к. мы же и были авторами встраивания, то знаем, что встраивание происходило по столбцам, слева направо поочередно в красную, зеленую и синюю цветовые компоненты. Учтем эту информацию в дальнейшем анализе.

Рис.2 «Утопия»
Т. Мор

Как видно, после встраивания архива «Утопии» правая часть изображения осталась совершенно незатронутой. Можно сделать вывод, что данный архив занимает только часть 1-й цветовой компоненты изображения (Рис.2).
Рассмотрим внимательно левую часть рисунка, ту, где есть встраивание. Среди красных точек, где сравниваемые изображения не совпадают, можно увидеть пиксели, которые одинаковы для обоих изображений. Более внимательное изучение показывает, что «загрязнению» подверглось 50% Мурзика. Следовательно, вероятность изменения байта цветовой компоненты встраиванием равна 0.5.

Рис.3 «Мертвые души»
Н. Гоголь

Рассмотрим встраивание большего объема. Архив «Мертвых душ» Николая Гоголя занимает всю 1-ю цветовую компоненту и чуть более половины второй (Рис.3). В правой части рисунка 3 подобно левой части рисунка 2 изменения коснулись только половины пикселей (изменению подверглась только первая цветовая компонента).

Левая часть рисунка 3 гораздо сильнее «загрязнена» по сравнению с исходным изображением. Это объясняется объединением случайных событий: «изменение пикселя в 1-й цветовой компоненте» и «изменение пикселя во 2-й цветовой компоненте».

P(A+B)=P(A)+P(B)-P(AB)=
=0.5+0.5-0.5*0.5=0.75

Следовательно, в левой части рисунка 3 «загрязнено» уже 3/4 пикселей.

Рис.4 «Война и мир»
1-й том Л. Толстой

Наибольшее встраивание - 1-й том «Войны и мира» Льва Толстого занимает все три цветовые компоненты. Сквозь пелену измененных пикселей едва проглядываются те, которые остались без изменений.
Посчитаем вероятность того, что пиксель останется неизменным после рассеянного встраивания во все цветовые компоненты.

P(A+B+С)=P(A)+P(B)+P(С)-P(AB)-P(BС)-

-P(СA)+P(ABC)=

=0.5+0.5+0.5-0.25-0.25-0.25+0.125=0.875

При встраивании во все пиксели всех цветовых компонент без изменения останется лишь 12,5 % пикселей.
Загрузить скрипт сравнения с файлами, которые использовались в публикации можно по ссылке.

Стеганография в Matlab (извлечение)

noreply@blogger.com (Gr1g0ry) — Thu, 17 Mar 2011 18:02:00 +0200

Пример извлечения скрытой информации из графического файла.

Имеем файл BMP – формата со скрытым в его НЗБ (LSB) файлом архива. Процесс сокрытия описан в предыдущем посте.

Для извлечения, как и для внедрения будем использовать систему математического моделирования Matlab. Причины использования Matlab так же описаны в предыдущем посте.

Будем считать, что Matlab запущен и текущим каталогом является каталог с файлом, который содержит скрытое сообщение.

Загружаем в Matlab изображение, которое служит контейнером для скрываемого сообщения:

ext_IMG_name = './stego_murzik2.bmp';

ext_IMG = imread(ext_IMG_name);

В Workspace появилась массив цветовых компонент (RGB) ext_IMG, который и хранит скрываемый файл. В первых битах в красной компоненте закодирован размер сокрытого файла. Естественно он мог находиться и в других битах. Будем считать, что об этом мы заранее договорились с тем, кто встраивал сообщение.

Определим размер рисунка в пикселях:

ext_IMG_size_y = size(ext_IMG,1);

ext_IMG_size_x = size(ext_IMG,2);

Рассчитаем количество информации которую можно было максимально внедрить в НЗБ:

ext_max_Bytes = ext_IMG_size_y*ext_IMG_size_x*3/8;% Bytes

Определяем в скольких битах зашифрован размер файла.

ext_num_bits = ceil(log2(ext_max_Bytes));% bits

Извлекаем из изображения те пиксели (вернее значения яркости красной компоненты) в которых зашифрован размер файла.

ext_ind = 1:ext_num_bits;

ext_FILE_size_bits_arr = ext_IMG(ext_ind);

Выделяем НЗБ из байтов изображения. Получим массив бит которые составляют размер спрятанного файла.

ext_FILE_size_bits_arr = uint32(bitand(ext_FILE_size_bits_arr ,1));

Из массива получим число - размер спрятанного файла.

for ext_ind = 1:1:ext_num_bits

ext_FILE_size_bits_arr(ext_ind) = ext_FILE_size_bits_arr(ext_ind)*(2^(ext_ind-1));

end;

ext_FILE_size_bits_arr = ext_FILE_size_bits_arr';

ext_FILE_size = uint32(sum(ext_FILE_size_bits_arr));

Создадим индекс байтов цветовых компонент, в которые занесена скрытая информация ext_ind:

ext_ind = ext_num_bits+1 : ext_num_bits+ext_FILE_size*8;

Выделим байты со скрытой информацией:

ext_pixels_with_bits = ext_IMG(ext_ind);

Оставим только значимые для нас наименее значимые биты:

ext_BITS_arr=bitand(ext_pixels_with_bits,1)';

Разобьем длинный столбец бит на восемь равной длинны частей и поставим эти части рядом. Полученный прямоугольный массив представляет собой те байты информации, которые были внедрены в изображение:

ext_BITS_arr=reshape(ext_BITS_arr,ext_FILE_size,8);

Сформируем из нашего прямоугольного массива бит последовательность байт данных, которые были изначально внедрены.

ext_BITS_arr = uint8([ext_BITS_arr(:,1)*128,...

ext_BITS_arr(:,2)*64,...

ext_BITS_arr(:,3)*32,...

ext_BITS_arr(:,4)*16,...

ext_BITS_arr(:,5)*8,...

ext_BITS_arr(:,6)*4,...

ext_BITS_arr(:,7)*2,...

ext_BITS_arr(:,8)*1]);

ext_BYTES = sum(ext_BITS_arr,2);

Запишем последовательность данных в файл.

fid = fopen('./default.rar','w');

count = fwrite(fid, ext_BYTES);

fclose(fid);

Вуаля. В каталоге с данным скриптом появится извлеченный архив.

Текст скрипта для Matlab и изображения со выстраиваниями прилагаю в архиве.

В одном из изображений как было сказано находится первый том «Войны и мира» Во втором – впрочем посмотрите сами…

Стеганография в Matlab. Пример последовательного вcтраивания в НЗБ. (LSB embedding).

noreply@blogger.com (Gr1g0ry) — Thu, 10 Mar 2011 15:56:00 +0200

Теория хороша только в случае подтверждения практикой. Так и в вопросах стеганографии знать, что скрываемое сообщение можно поместить в НЗБ (наименее значимые биты), не значит уметь это сделать. Существует несколько готовых стеганографических программ, как платных, так и бесплатных, которые спрячут файл в изображение или аудио. Однако использование таких программ не дает полного контроля над процессом. Куда происходит встраивание? Насколько оно стойко к обнаружению? Насколько изменяется файл?.. На многие подобные вопросы ответа не будет.

Для начала сделаем простой стеганографический скрипт в системе математического моделирования Matlab.

Почему Matlab? Просто эта система позволяет сконцентрировать внимание на алгоритме сокрытия. Не нужно уметь открывать файл, распознавать его формат, показывать изображение на экране… Все это Matlab уже умеет. Так же он умеет работать с изображением как с матрицей, выполнять битовые операции (and, or, xor…) и многое, многое другое. Язык написания скриптов же очень прост и становится интуитивно понятным для любого кто хоть немного знаком с программированием.

Будем считать, что Matlab у вас уже установлен и запущен. Об основных окнах и приемах работы в matlab можно почитать в http://matlab.exponenta.ru/ml/book1/index.php

- в рабочем каталоге создаем папку, «images». Помещает в папку цветное изображение, в которое будем прятать данные;

- создаем пустой M-File

- назовем этот файл sample_embedding

Загружаем в Matlab изображение, которое будет служить контейнером для скрываемого сообщения:


Рис. 1. Наглядное представление цветовых компонент изображения

emb_IMG_name='./images/murzik.bmp';

emb_IMG = imread(emb_IMG_name);

В Workspace появилась переменная IMG <1024xl024x3 uint3>. Это трехмерный массив цветовых компонент RGB (red, green, blue).

В Matlab принята особая система работы с матрицами, которая несколько отличается от привычной для программистов работы с массивами. К элементам матриц можно обращаться как традиционным способом :

RedComponentPixel=IMG(1,1,1);

или

GreenComponentPixel=IMG(1,1,2);

так и с помощью линейной индексации:

RedComponentPixel=IMG(1);

или

GreenComponentPixel=IMG(1048577).

в приведенных строках переменным RedComponentPixel и GreenComponentPixel. присваиваются значения яркости красной и зеленой компоненты левого верхнего пикселя рисунка 1024х1024.

Рис. 2. Представление индексации
массивов в Matlab

Понять линейное индексирование цветовых компонент можно из рисунка 2.

Подробнее о работе с матрицами в matlab можно почитать на http://matlab.exponenta.ru/ml/book1/matlab/chapter3/3_5.php.

Определим размер рисунка в пикселях:

emb_IMG_size_y=size(emb_IMG,1);

emb_IMG_size_x=size(emb_IMG,2);

Рассчитаем количество информации которую можно внедрить в НЗБ:

emb_max_Bytes=emb_IMG_size_y*emb_IMG_size_x*3/8;% Bytes

Определяем сколько бит необходимо для хранения максимально возможного размера файла.

emb_num_bits=ceil(log2(emb_max_Bytes));% bits

Загружаем в переменную emb_FILE файл, который будем встраивать.

fid = fopen(emb_FILE_name);

emb_FILE = fread(fid);

status =fclose(fid);

emb_FILE_size=size(emb_FILE,1);% Bytes

Для примера объемности встраиваемых данных был взят RAR-архив первого тома «Войны и мира» в текстовом формате. Пароль архива: Password.

Проверяем, не превышает ли встраиваемый файл максимально допустимый размер.

if (emb_FILE_size*8+emb_num_bits<=emb_max_Bytes*8)

emb_possible=true;

else

emb_possible=false;

end;

Если стеганографическое встраивание возможно, кодируем длину скрываемого файла последовательностью бит.

% FILE size -> bit's row

emb_FILE_size_arr=zeros(emb_num_bits,1);

for ind=0:1:emb_num_bits-1,

emb_FILE_size_arr(ind+1)=bitand(bitshift(emb_FILE_size,-ind),1);

end;

Так же разделяем байты файла который будем встраивать на биты. Этот шаг нужен так как встраивание будет происходить побитно.

% hidded FILE -> bit's row

emb_DATA_bits = uint8(im2bw([bitand(emb_FILE,128),...

bitand(emb_FILE,64), ...

bitand(emb_FILE,32), ...

bitand(emb_FILE,16), ...

bitand(emb_FILE,8), ...

bitand(emb_FILE,4), ...

bitand(emb_FILE,2), ...

bitand(emb_FILE,1)],0.6));

Объединяем битовую последовательность в которой закодирован размер файла с битовой последовательностью самого файла.

%FILE size bits + FILE data bits

emb_BITs=[emb_FILE_size_arr; emb_DATA_bits(:)];

Формируем индекс для встраивания битовой последовательности:

emb_BITs_ind=1:size(emb_BITs,1);

emb_BITs_ind=emb_BITs_ind';

Долгожданный момент! Встраиваем битовый ряд файла в НЗБ изображения.

emb_new_IMG(emb_BITs_ind)=bitshift(emb_IMG(emb_BITs_ind),-1);

emb_new_IMG(emb_BITs_ind)=bitshift(emb_new_IMG(emb_BITs_ind),1)+emb_BITs;

Записываем стеганоизображение в файл и показываем его пользователю.

imwrite(emb_new_IMG,'stego_murzik2.bmp','bmp');

imshow(emb_new_IMG);

В той же папке, где располагается скрипт для встраивания появится BMP-файл. Наименее значимые биты которого содержат скрытое сообщение.

Для тех у кого нет желания собирать весь скрипт из текста сообщения, искать файл для изображения и файл который можно спрятать, а попробовать как это все работает хочется, даю ссылку на архив со всеми файлами.

Разработчики стеганографических алгоритмов обратили внимание на VoIP

noreply@blogger.com (Gr1g0ry) — Fri, 25 Feb 2011 13:14:00 +0200

Польские исследователи разработали стеганографические методы, которые предоставляют возможность скрыть информацию в VoIP (Voice over IP; IP-телефония) трафике.

Сетевая стеганография, т.е. сокрытие информации в сетевом трафике, уже получила некоторое распространение, однако для сокрытия обычно использовался стандартный поток данных.

Исследователи, Войцех Мазурчек (Wojciech Mazurczyk ) и Кжиштоф Джипйорски (Krzysztof Szczypiorski), предложили три метода для сокрытия информации в голосовом потоке. Подобно другим видам стеганографии, их методы могут быть опасны для организаций из-за риска утечки конфиденциальной информации.

Мазурчек и Джипйорски являются исследователями по вопросам сетевой безопасности, в Варшавском технологическом университете. Разработчики шутливо называют свои методы "стеганофонией": как комбинацию стеганографии и телефонии.

Реальное название этих методов: LACK, HICCUPS и Security Mechanism Steganography.

LACK передает скрытую информацию путем в преднамеренно задержанных VoIP-пакетах. Поскольку приемники VoIP отбрасывают пакеты пришедшие с задержкой, скрытая информация проходит по каналу не обнаруженной.

HICCUPS могут использоваться в голосовых беспроводных LAN (Local Area Network – локальная сеть) и использует поврежденные пакеты с несовпадающими контрольными суммами, чтобы избегать обнаружения.

Security Mechanism Steganography изменяет служебные данные VoIP-пакетов , например, поля для аутентификации, в каждом случае сокрытия. Исследователи убеждены, что эта техника защитит обнаружения от стеганоаналитическими системами.

«Поскольку число предложенных стеганографических методов высоко, и нет универсального метода стегоанализа, VOIP стеганография является угрозой безопасности для организаций»,- заявляют исследователи.

Пропускная способность новых методов позволят передавать до 1.3Mb информации за секунду в обоих направлениях.

Система стегоанализа, работающая в реальном времени

noreply@blogger.com (Gr1g0ry) — Wed, 2 Feb 2011 14:31:00 +0200

Backbone Security выпустила сетевую версию ПО для стегоанализа, которое обнаруживает стеганографиические вложения и защищает от кражи конфиденциальной информации.

Стегоаналитический сканер реального времени StegAlyzerRTS, разработанный в SARC (Steganography Analysis and Research Center) является единственной в мире коммерчески доступной системой стегоанализа в режиме реального времени. Последняя версия StegAlyzerRTS способна работать в сетях с пропускной способностью 1 Гбит / с.

С помощью стеганографических алгоритмов, в один файл может быть скрытно помещен другой. В отличие от криптографии, которая переводит информацию в последовательность знаков, стеганография скрывает само существование информации.

Одним из последствий экономического кризиса является то, является повышение вероятности кражи информации изнутри. В некотором отношении, информация стала более ценна, чем деньги, потому что может быть продана и перепроданы много раз на черном рынке.

Темпы кражи внутренними пользователями растут угрожающими темпами. Угрозе подвергаются персональные данные, медицинская тайна, данные являющиеся интеллектуальной собственностью… Сотрудники могут использовать свободное или условно бесплатное стеганографическое ПО (более 1.000 программ) для кражи информации.

StegAlyzerRTS может обнаружить загрузку любого из 900 приложений для стеганографии используя архив SARC's. Обнаружение такого типа пользовательской активности позволяет на ранних этапах предупредить кражу конфиденциальной информации. Система обнаруживает стеганографическое ПО посредством модели сгнатур.

"Любой компании, со значительным количеством конфиденциальной информации или интеллектуальной собственности следует беспокоиться об использовании стеганографии ее сотрудниками", – заявляет Bart Guerreri, председатель и главный исполнительный директор Backbone Security: "Наша единственная в своем роде система учитывает указанные угрозы. Не существует другого ПО, способного в режиме реального времени обнаруживать стеганографические вложения и извлекать скрытую информацию."

Классификация методов стегоанализа

noreply@blogger.com (Gr1g0ry) — Thu, 27 Jan 2011 13:21:00 +0200

Как и любое сложное явление, стегоаналитические или стеганоаналитические методы можно классифицировать по многим критериям.

В русскоязычной среде еще нет устоявшейся традиции написания слова стегоанализ. Если исходить из мировой практики то правильнее писать стегоанализ от английского варианта написания (steganalysis). Однако если следовать написанию популярных отечественных книг по данной тематике: Конахович Г.Ф., Пузыренко А.Ю. "Компьютерная стеганография. Теория и практика" или В. Г. Грибунин, И. Н. Оков, И. В. Туринцев "Цифровая стеганография", ... следует писать стеганоанализ. Опираясь на количество результатов поиска того и другого вариантов (поиск производился в google и yandex) более употребителен в интернет сообществе термин стегоанализ.

По широте анализа контейнеров, в которых скрываются данные, методы стегоанализа делятся на:

методы, предназначенные для выявления данных, скрытых определенным алгоритмом;
методы „слепого” распознавания.

Конечно же, узконаправленные методы, то есть ориентированные на определенный алгоритм, имеют лучшие показатели нахождения скрытых данных. Их недостатком является то, что в случае небольшого изменения алгоритма сокрытия, искомые данные уже могут не обнаруживаться. Преимуществом „слепых” или же универсальных методов является широкий спектр стеганографических алгоритмов сокрытия, над которыми они могут работать. Вместе с тем эти методы нуждаются в „обучении”, от качества которого зависят их стегоаналитические возможности.

По влиянию на файл-контейнер, которое содержит скрытые данные, стегоаналитические методы делятся на :

методы пассивного стегоанализа, которые определяют наличие/отсутствие скрытых данных в стегоконтейнери, или что определяют алгоритм, за которым происходило встраивание.
методы активного стегоанализа, которые определяют длину встроенного документа, его расположение, некоторые параметры алгоритма встраивания, а также изымают скрытую информацию.

По объекту поиска в стегоконтейнерах стегоаналитические методы можно разделить на такие типы:

сигнатурные методы, построенные на поиске в стеганограммах так называемых „отпечатков пальцев" (fingerprints), - фрагментов кода, которые оставляют после своей работы стеганографические программы;
вероятностные методы, которые основаны на анализе вероятностных показателей, характерных для стегосообщений.

К методам сигнатурного типа относятся:
- визуальная атака на стегосистемы;
- анализ соответствия формата данных (поиск лишних включений).
Так в определенных видах изображений оказываются достаточно тесные связки всех бит изображения. Используя для таких изображений программы-фильтры, можно увидеть встроенную информацию, которая нарушает имеющиеся зависимости. Визуальная атака полностью основывается на способности зрительной системы человека анализировать зрительные обиды и обнаруживать существенные расхождения в сравниваемых изображениях.
Примерами “лишней” информации являются дополнительные байты информации, которые дописываются в конец графического файла, или дублирование цветов, в палитре.

К вероятностным методам можно отнести:
- анализ статистики Хи-квадрат;
- метод исследования статистических моделей высшего порядка.
Идея статистического стегоанализа заключается в сравнении теоретического распределения наименее значимых бит рисунка с фактическим распределением этих же бит в этом же рисунке. При этом мера сходства теоретического и фактического распределения является мерой достоверности встраивания скрытой информации.Cтатистические модели высшего порядка основываются, к примеру, на вейвлет-декомпозиции изображений. По результатам декомпозиции строится „характеристический" вектор, который используется для дифференцирования изображений с сокрытыми данными и «чистых». Наилучшие результаты модель дает после „тренировки" на некотором наборе изображений-контейнеров и соответствующих им стегоизображений.

По форме представления исследуемого изображения, методы стегоанализа можно разделить на:

методы, которые анализируют изображение непосредственно, то есть в пространственной форме представления;
методы, которые анализируют частотные формы представления изображения, то есть после перевода его к частотной форме с помощью дискретного превращения косинуса, или вейвлет-преобразования.

По виду математических инструментов, которые используются для определения факта встраивания, различают:

методы, которые используют статистические критерии согласия (Хи-квадрат);
методы, которые используют меры подобия цифровой совокупности;
метод определения JPEG- совместимости.

Напоследок хочу сказать что никакая классификация не является бесспорной и однозначной :)

Гистограммный стегоанализ

noreply@blogger.com (Gr1g0ry) — Wed, 26 Jan 2011 11:01:00 +0200

В русскоязычном интернете почти не встречается статей посвященных алгоритмам и кухне стегоанализа или стеганоанализа (steganalysis). Восполним это пробел. Стегоанализ - это противодействие стеганографии, как криптоанализ - это противодействие криптографии. Основная цель стеганографии - скрыть факт передачи данных. Следовательно, основная цель стегоанализа - обнаружить факт сокрытия передачи данных.

Рассмотрим метод обнаружения последовательного встраивания в LSB на примере изображения формата BMP.

Бытует мнение, что Указатели в LSB изображений являются случайными. На самом деле это не так! Хотя человеческий глаз и не заметит изменений изображения при изменении последнего бита, статистические параметры изображения будут изменены. Перед сокрытием данные обычно архивируются (для уменьшения объема) или шифруются (для обеспечения дополнительной стойкости сообщения при попадании в чужие руки). Это делает биты данных очень близкими к случайным. Последовательное встраивание такой информации заменит LSB изображения случайными битами. И это можно обнаружить!

Для примера возьмем одну цветовую компоненту полноцветного изображения BMP и на ней покажем процесс отыскания встраивания. Яркость цветовой компоненты может принимать значения от 0 до 255. В двоичной системе исчисления - от 0000 0000 до 1111 1111.

Рассмотрим пары:

0000 0000<->0000 0001;

0000 0010<->0000 0011;

...

1111 1100<->1111 1101;

1111 1110<->1111 1111.

Данные числа различаются между собою только в LSB (выделены жирным). Таких пар для цветовой компоненты BMP изображения: 256/2=128

В случае стеганографического встраивания т.е. замены LSB на случайную последовательность, количество пикселей в парах выравняется. Гистограмма станет ступеньками (по два соседних значения яркости см.рис.)

На рисунке синим цветом обозначена гистограмма изображения без встраивания, а красным - гистограмма того же изображения после встраивания заархивированных данных вместо последнего слоя. Сравнение двух гистограмм и дает возможность стегоанализа последовательно скрываемых бит.

Типы указателей в С++

noreply@blogger.com (Gr1g0ry) — Tue, 25 Jan 2011 13:12:00 +0200

В С++ Существует три ситуации, связанные с константами, указателями и объектами, на которые они указывают:
- указатель на константный объект;
- константный указатель на объект;
- константный указатель на константный объект.

В первой ситуации объект, на который указывает указатель, не может быть модифицирован, но можно установить указатель на что-нибудь другое:

const char* pstring = "Некоторый текст";

Во второй ситуации адрес, сохраненный в указателе, не может быть изменен, но объект, на который он указывает, может:

char* const pstring = "Некоторый текст";

И, наконец, в третьей ситуации как указатель, так и объект, на который он указывает, определены как константы, а потому никогда не могут быть изменены:

const char* const pstring = Некоторый текст";

Все это касается указателей любого типа. Указатель на тип char использован исключительно для примера.

Стеганоанализ аудиофайлов от актера кино

noreply@blogger.com (Gr1g0ry) — Wed, 19 Jan 2011 13:29:00 +0200

Соревнование выявило новое поколение кибер-сыщиков.

Актер Пол Лейврок (Paul Laverack) исполнял роль преступника в нескольких эпизодах австралийского шоу Stingers о копах. «Я, собственно, играл преступника, который пытался купить ребенка», - смеется он. Тем не менее, сейчас он мог бы раскрыть реальное преступление. Только что Пол занял первое место, победив команды профессионалов в борьбе за главный приз, британского соревновании кибер-сыщиков.

Британские Соревнования по Кибер Безопасности (UK Cyber Security Challenge) основаны фирмами разыскивающими новые компьютерные таланты. Соревнования призваны выявить следующее поколение компьютерных детективов в борьбе с надвигающимися из киберпространства опасностями.

Лейврок– завоевал приз по цифровым экспертизам. При этом он – абсолютный самоучка, а знания получил, ремонтируя собственные компьютеры и подрабатывая в сфере IT в перерывах между ролями.

В качестве приза он пойдет на мастер-класс, в Detica – отделение по кибербезопасности BAE Systems – компании, которая занимается разработкой военных технологий. Там Laverack сможет отшлифовать свои умения.

Догадка, которая позволила выиграть этот приз – это обнаружение зашифрованного текста спрятанного с помощью стеганографии в аудио-файле. Все профессионалы пропустили данный текст.

Закодированное сообщение или информация спрятанная таким способом сложна для обнаружения и требует глубокого знания множества аудио- форматов. Как Laverack смог собрать такие знания?

«Не смотря на то, что я актер, я всегда интересовался компьютерами»,- говорит он. «Я рос с компьютерами. Случались различные неполадки, вирусные атаки из интернета. На них и развились мои знания компьютерной безопасности.»

Случай с Лейвроком продемонстрировал то, на что надеялся руководитель конкурса, Джуди Бейкер: «Он показал существование обычных людей способных к решению проблем, возникающих в борьбе с компьютерной преступностью».

Британские соревнования по кибер-безопасности спонсируются британской оборонной исследовательской компанией Qinetiq, антивирусной фирмой Sophos, европейской аэрокосмической фирмой EADS, британским Open University и Field Fisher Waterhouse а также Европейской юридической фирмой, специализирующаяся на нарушениях в сфере IT.

С июля прошлого года, около 4000 британцев приняли в конкурсе – возраст большинства участников 25-30, интересным исключением были 16-ние участники. Подавляющее большинство составляли мужчины.

В минувшие выходные, некоторые из них сражались за новый приз конкурса и строили домашнюю и бизнес-сети. Задачей было обеспечить защиту от множества угроз, в том числе USB - вирусов и взлома через Wi-Fi.

Плохие парни побеждают?

Ведущий специалист компании Sophos - Джеймс Лин говорит о необходимости обучения компьютерных специалистов в ногу со временем, чтобы противостоять постоянно меняющейся тактике компьютерных преступников.

В качестве примера он приводит программное обеспечения, которое рекламирует себя как антивирусная система, загружается бесплатно и… дает преступникам полный контроль над компьютером. Эта программа даже устанавливает McAfee Antivirus, для защиты от других вирусов и имеет весьма дружелюбный пользовательский интерфейс сообщает Джеймс.

«Дело в том»,- поясняет он, что: «правонарушители совершенствуют свой уровень ежесекундно, а те кто борятся с ними улучшают свои знания гораздо реже".

По оценкам Sophos каждый день происходит около 60000 компьютерных атак. Что показывает огромную пропасть между числом угроз и числом людей, которые им противостоят.

Общая классификация стеганографии

noreply@blogger.com (Gr1g0ry) — Tue, 18 Jan 2011 13:09:00 +0200

Стеганография — это наука о скрытой передаче информации путём сохранения в тайне самого факта передачи. В отличие от криптографии, которая скрывает содержимое секретного сообщения, стеганография скрывает само его существование.

В самом общем виде стеганографию я бы классифицировал по используемым методам (классификация не претендует на уникальность и может быть проведена по другим критериям):

Техническая стеганография использует технические методы, чтобы скрыть сообщение. К техническим методам можно отнести использование симпатических (невидимых) чернил. Текст, записанный такими чернилами, проявляется только при определенных условиях (нагрев, освещение, химический проявитель и т. д.). Еще один пример технической стеганографии – микроточки активно использовались во время Второй мировой войны. (Микроточки – микроскопические фотоснимки, вклеиваемые в текст писем, телеграмм.)

Лингвистическая стеганография скрывает сообщение, изменяя параметры элементов из которых состоит носитель или создавая новый носитель таким образом, чтобы он содержал передаваемое сообщение. Пример лингвистической стеганографии – модификация семаграмм которая и будет нести скрытую информацию (это может быть небольшое изменение размера или гарнитуры шрифта). Также к лингвистической стеганографии относят "жаргонные шифры" – язык, который понятен определённой группе людей, но непонятен другим.

Цифровая стеганография основывается на внедрении дополнительной информации в цифровые объекты (как правило мультимедиа: изображения, видео, аудио, текстуры 3D-объектов). Наиболее распространенным методом цифровой стеганографии является внедрение в LSB (Least Significant Bit, наименьший значащий бит). Для целей внедрения скрытых меток в медиафайлы также используются методы внедрения в частотную форму представления контейнера.

Встраивание в НЗБ (LSB embedding). Просто и доступно.

noreply@blogger.com (Gr1g0ry) — Sat, 15 Jan 2011 12:12:00 +0200

Внедрение в наименее значимый бит (НЗБ или LSB - Least Significant Bit) - один из наиболее используемых и исследуемых способов стеганографического сокрытия. Сущность этого метода отображена в самом его названии и заключается в замене НЗБ контейнера - файла в который будет встраиваться скрытая информация. В качестве контейнера могут выступать несжатые изображения и аудио. Прежде всего разберемся, что какие же биты наименее значимы и что это вообще такое. Для примера возьмем изображение формата BMP глубиной в 8*3=24 бита. В такой картинке цвет представлен сочетанием трех цветовых компонент: красной, зеленой и синей
(см.рис.).

Каждая цветовая компонента кодируется 1-м байтом (8-ю битами. Бит - это наименьшая единица измерения в двоичной системе исчисления равняется "0" или "1"). Биты в байте имеют неодинаковый вес. Если самый правый бит принимает значение 0 или 1 то это и означает 0 и 1. Значение второго (справа налево) бита будут означать в десятичной системе - 0 или 2, третьего - 0 или 4,..., восьмого - 0 или 128. Наименьшее число, которое можно представить одним байтом будет, конечно 0 - 0000 0000, а наибольшее - 255 - 1111 1111.

Для наглядности представим яркость зеленой компоненты в 3D формате. Яркие точки изображения представлены пиками, а темные - впадинами. Из рисунка выделим одну строку и посмотрим на нее как бы сбоку (для наглядности взята лишь часть строки).

8,7,6,5 (считая справа) - биты обозначены красным, оранжевым, желтым, и зеленым цветами. 4,3,2,1 - всеми оттенками голубого и синего.
Из гистограммы наглядно видно видно насколько малый вклад вносят темно-синие биты. Вот они то и называются наименее значимыми и именно в них обычно происходит встраивание информации.
Рассчитаем максимальный объем стеганографического встраивания в BMP-изображение разрешением 1024х768 пикселей и с глубиной цвета 24 бита. Будем считать, что встраивание происходит лишь в 1-й бит цветовых компонент. Умножаем высоту на ширину и получаем количество бит, которые можно спрятать в одной цветовой компоненте.

1024*768=786 432 Бит

Для трех цветовых компонент объем встраивания будет равен.

786 432*3 = 2 359 296 Бит = 294 912 Байт = 288 килоБайт.

Эта величина приблизительно равна 20% от емкости дискеты. (Если кто-то еще помнит как они выглядели :-)

Нейронные сети в Matlab. Аппроксимация функций

noreply@blogger.com (Gr1g0ry) — Tue, 15 Jun 2010 15:05:00 +0300

Нейронные сети хорошо осуществляют сглаживание или подбор значений функций по точкам. Нейронные сети могут эмпирически подобрать большинство функций. Причем, это могут быт как функции одной переменной, так и нескольких. Для первого примера возьмем зашумленную функцию одной переменной.

Пусть необходимо создать и обучить нейронную сеть, которая бы находила значение функции по заданному аргументу. Функция задана таблицей

1	2	3	4	5	6	7	...
4,19	9,85	8,64	-8,16	9,07	-6,74	9,41	...
-2,12	-8,89	-6,30	2,44	-8,44	-6,28	-9,42	...

Для наглядности изобразим точки функции на плоскости:

Создать нейронную сеть в Matlab возможно тремя способами:

с помощью функции командной строки
используя графический интерфейс пользователя

nftool
nntool

Мы рассмотрим первый из них. Разобрав его можно будет с легкостью разобраться с командами

nftool и nntool.

Представление исходных данных

Для аппроксимации функции, ее аргументы (x1,[x2,…]) представим в виде столбцов, сгруппированных в матрицу. Значения (y1,[y2,…])- аналогично. Столбцы матриц аргуменов X и значений Y должны соответствовать.

Например, аргументы и результаты для задачи XOR будут такими:

Inputs = [0 1 0 1;

0 0 1 1];

Targets = [0 0 0 1];

В нашем примере мы сами создадим исходные значения функции.

L=100;

NOISE=rand(1,L)*1.5-0.75;

X=rand(1,L)*20-10;

Y=X.*cos(X)+NOISE;

TABLE=[X;Y];

Создание НС из командной строки

Создадим сеть. Для этого примера, используем однонаправленную сеть с обратным распространением ошибок и сигмоидальной функцией передачи в скрытом слое и линейной функцией передачи в выходном слое. Эта структура хорошо подходит для аппроксимации функций.

Количество нейронов N используемых в скрытом слое зависит от сложности решаемой задачи (в данном случае аппроксимируемой функции).

NET = newfit(X,Y,N);

Обучение сети

По умолчанию для обучения данная нейронная сеть использует алгоритм Левенберга-Маркварта [Levenberg-Marquardt]. Входные и целевые векторы в случайном порядке данные делятся на три набора:

60% векторов используются для обучения;
20% векторов – для проверки достоверности результатов и чтобы избежать перетренировки сети;
Последние 20% используются для независимого испытания сети

Тренировка НС

Чтобы тренировать сеть, введите:

NET=train(NET, X,Y);

Откроется окно

Оно показывает процесс тренировки сети и позволяет его прервать, нажав кнопку “Stop Training”.

По умолчанию остановка процесса обучения происходит, когда среднеквадратичная ошибка проверки достоверности результатов возрастает шесть эпох подряд.

В этом примере, результат адекватен из следующих соображений:

Заключительная среднеквадратичная ошибка (СКО) мала.
Ошибка проверочного (Validation) и тестового (Test) наборов утверждения имеют подобные характеристики.
Переобучения не произошло (после точки остановки происходит лишь увеличение СКО проверочного набора до 16-й эпохи ).

На следующем рисунке можем увидеть аппроксимированную функцию-результат.

Еще одним полезным инструментом оценки результата обучения нейронной сети может быть построение функций регрессии результатов Output (которые дает обученная нейронная сеть) от целевых значений Y (которые были изначальным условием нашей задачи).

Если результаты аппроксимации оказались неудовлетворительными можно попробовать какой-либо из следующих подходов:

Увеличить число скрытых нейронов.
Увеличить число учебных векторов.
Увеличьте число входных переменных, если таковые имеются.
Использовать другой алгоритм обучения (http://www.mathworks.com/access/helpdesk/help/toolbox/nnet/backpro7.html)

В данном случае, нас устраивает тренированность сети NET.

Использование нейронной сети для получения значений аппроксимируемой функции.

Используя тренированную сеть NET, получим значения искомой функции для аргументов из интервала [-10;10] с интервалом 0.5.

X_rez=-10:0.5:10;

Y_rez = sim(NET, X_rez);

plot(X_rez,Y_rez,'LineStyle','none','Marker','.','MarkerSize',15);