Постараюсь описать здесь ответ на этот животрепещущий вопрос, чтобы было куда отправлять страждущих с различных форумов. Начиная с версии 7.7, Matlab поддерживает работу с форматом netCDF нативно, без различных примочек, которые требовались раньше. Синтаксис, который используется для работы с netCDF файлами довольно странный, ну да, не мне судить. Здесь я опишу, как в Matlab совершить одно простое действие, а именно прочитать данные из файла.

Если вы собираетесь работать с netCDF, то для начала неплохо бы ознакомиться с тем, что из себя представляет этот формат. В этом случае дальнейшее не будет вам казаться абракадаброй. Но в общем случае можно обойтись и без этих уникальных знаний, если все, что вам нужно, это выковырять данные из файла и забыть о netCDF как о страшном сне. Информация о функциях Матлаба для работы с netCDF расположена тут.

Для начала, давайте скачаем подопытный файл. Это будет файл с шестичасовой приземной температурой любимого всеми гидрометеорологами NCEP реанализа. Я буду использовать вот этот файл за 2010 год (20 мегабайт). Чтобы открыть netCDF файл, нужно иметь представление о его структуре, о тех переменных которые в нем находятся и об аттрибутах этих переменных. Для этого служит функция ncdisp.

В результате вы получите табличку с данными по вашему файлу. По большому счету вас должно интересовать только то что находится в разделе Variables, то есть информация о переменных, содержащихся в вашем файле. В данном примере это переменные lat (широты), lon (долготы), time(время прошедшее от 1-1-1 00:00:0.0 в часах), air (температура воздуха в Кельвинах).

UPD: Говорят что не во всех релизах Матлаба есть функция ncdisp. Если у вас тот самый запущенный случай, то для виндоуз вы скачиваете бинарники программы ncdump отсюда, для Убунту Линукс и ему подобных пишите в терминале:

Далее в терминале виндоуз или линукс вводите команду

по идее, если вы работаете в Виндоуз, то программа ncdump.exe должна быть в папке с файлом. Эта команда выведет вам примерно ту же информацию что и ncdisp.

Сначала давайте попробуем добыть главное - температуру воздуха. Перво-наперво нужно открыть файл, для того чтобы Matlab мог с ним работать:

По каким-то своим внутренним причинам функции, которые запрашивают данные из переменных netCDF, работают не с их именами, а с их порядковыми номерами, поэтому нам нужно узнать каков порядковый номер переменной air:

Получился порядковый номер 3. Мы в общем и сами могли это посчитать, зная, что счет переменных в данном случае идет с нуля, а не с единицы.
Теперь, зная порядковый номер netCDF переменной, мы можем скопировать значения из нее в переменную Матлаба:

В итоге вы получите трехмерную матрицу [долгота, широта, время]. Казалось бы задача решена, но не стоит торопиться. Если вы взгляните на значения в переменной data, то они будут очень отдаленно напоминать то, что вы ожидаете увидеть, таких температур, даже если они выражены в Кельвинах, на Земле не бывает. Дело в том что данные в файлах реанализа хранятся в виде целых чисел, которые занимают гораздо меньше места чем числа с плавающей запятой. Делается это для того, чтобы файлы были меньше. Чтобы получить температуру, нужно преобразовать эти данные нехитрым способом.

Если вы посмотрите на атрибуты для переменной air, полученные при помощи ncdisp, то увидите там:

Для того, чтобы получить данные в Кельвинах, нужно умножить все на scale_factor и прибавить add_offset.

Вы можете просто взять эти цифры из описания файла, либо вытянуть их при помощи следующих команд:

К сожалению, просто так умножить и прибавить не получится. Если вы сейчас попробуете проделать эту операцию, то получите следующую ошибку:

Дело в том, что тип переменной data сейчас int16 и на числа с плавающей запятой они умножаться не хотят. Необходимо перевести данные в тип single

На самом деле можно это сделать уже при копировании данных из переменной netCDF в переменную Матлаб. Далее переводим в Кельвины:

И, если нужно, в Цельсии

Еще немного полезной информации по этому вопросу есть в этой ветке нашего форума.

Индексом NAO (а также его близким родственником AO) пользуется огромное количество народа, но найти его в netCDF формате мне не удалось. Пришлось делать самому. Кому нужен просто файлик - вот он NAO index in netCDF format (up to 2011.04). Кто хочет посмотреть на очередной пример использования Nio для создания netCDF файла, велкам под кат.

Более подробно про NAO можно почитать в википедии. Если коротко, то NAO это индекс, характеризующий изменчивость атмосферного давления, с которым любят связывать (зачастую успешно) различные явления в океане и атмосфере - от ледовитости СЛО до частоты тропических циклонов. Его упоминание можно найти чуть не в каждой статье посвященной Арктике или северной Атлантике. Тем более странно, что при такой популярности версии NAO в формате netCDF в интернете не нашлось, обычно он распространяется в виде текстовых файлов. Чтобы исправить эту несправедливость я написал небольшой скрипт, при помощи которого можно в принципе конвертировать любой текстовый файл вида:

Год Месяц Значение

в netCDF.
Значения индекса брались с этого сайта (там же можете найти и AO).

Сам скрипт:

Небольшие пояснения. Функция timetostep работает очень похоже на то, что описано в этом посте, только наоборот :) У нее страшные имена переменных, но уж так мне захотелось сделать в тот момент, когда я ее писал. Нужна она нам для того, чтобы рассчитать для каждой даты, на которую у нас есть индекс (считаем, что индекс задан на 15 число каждого месяца), количество часов прошедшее с "начального" момента времени, который будет стоять в аттрибуте units нашей переменной time. Напомню, что в netCDF файле время может задаваться разными способами и один из них "hours since" - количество часов, прошедшее с какого-нибудь момента времени. В нашем случае это "1948-01-01 00:00:00".

PyNio будет ругаться если файл, уже существует, так что стираем его, если он у нас вдруг уже есть.

Далее стандартно открываем текстовый файл, считываем его построчно в переменную lines, создаем пустые пока переменные nao и ttime. В цикле обрабатываем каждую строку. К переменной time присоединяем результат работы функции timetostep, которой частично передаем значения полученные из нашего текстового файла, а именно год и месяц. Заметьте, что при передаче месяца используется zfill(2), чтобы номер месяца всегда состоял из двух цифр (например не 3, а 03 для марта). Величина временного шага задана в 3600 - что соответствует одному часу в секундах.

Дальше создается netCDF файл, подобно тому как это описано в этом посте. Измерение (dimension) у нас только одно - время. Единицы измеререния - часы с 1 января 1948 года. Можно, при желании, сделать и "seconds since 1948-01-01 00:00:00", тогда нужно будет поменять 3600 на 1 при вызове функции timetostep.

Если вы сконвертируете при помощи этого скрипта какие-нибудь полезные индексы, то с удовольствием размещу их netCDF файлы здесь, либо на Oceanographers.RU для использования людьми, которые не так нежно любят Python как мы с вами :)

теперь запустите модель:

> out.txt служит для перенаправления вывода модели в текстовый файл, который, при желании, можно потом проанализировать.

Если через некоторое время вы увидели в командной строке надпись

радуйтесь, у вас все получилось. Если вместо этой надписи появляется ошибка и вы обновлялись до последнего кода из CVS, возможно стоит все таки загрузить последний чекпоинт. Также полезная информация о причинах ошибки может содержаться в файле STDERR.0000, который должен появиться в вашей папке, либо собственно в выводе модели, который вы благоразумно сохранили в файл out.txt.

Но предположим, что все сработало как надо. Тогда в папке, в которой вы запускали модель должна появиться куча файлов вида

,
в которых начальные буквы - название переменной (в данном случае T-температура), затем номер итерации, номер тайла или номер процессора. Если вы помните наше ковыряние в файле SIZE.h, сетка модели может быть поделена между тайлами и процессорами, и по умолчанию вывод модели также будет поделен в соответствии с тем, как вы распределили вашу сетку. В нашем случае процессор один и от тайлов мы избавились, так что особых проблем не предвидится. Однако на многопроцессорных системах бывает удобно автоматически сливать все части в один файл, для этого в файле data в раздел &PARM01 нужно добавить

Но что-то мы отвлеклись, вернемся к нашим файлам. Есть файлы *.data и файлы *.meta. Файлы *.meta - текстовые и содержат небольшую служебную информацию, то есть метаданные. В файлах *.data хранятся результаты работы вашей модели. Представляют они из себя все те же бинарники, которые можно просматривать также, как мы это делали с файлами форсинга и иниациализации во второй части. Имена и единицы измерения основных переменных можно посмотреть здесь. Если после имени переменной стоит tave, значит это не "мгновенный" вывод модели не snapshot, а результат осреднения за период времени, заканчивающийся в ту итерацию, номер который стоит в файле. Есть еще файлы пикапов и файлы с описанием грида, которые сгенерировала модель, но мы не будем на них останавливаться.

Смотреть файлы по одному, при помощи нашего простого скрипта из второй части, дело, конечно, интересное, но утомительное. Опять же никакого особого анализа не проведешь. К счастью разработчики модели и им сочувствующие написали большое количество скриптов для обработки и анализа результатов работы модели. К сожалению (ну а для кого-то может быть и к счастью), большинство этих скриптов написано на MATLAB. Основная их масса находится в папке ..../MITgcm/utils/matlab. Поройтесь там, найдете много интересного. Для анализа же этого эксперимента можно начать с скриптов настроенных специально под него. Находятся они в папке ..../MITgcm/verification/tutorial_global_oce_latlon/diags_matlab . Самый простой способ начать ими пользоваться это находясь в Матлабе, перейти в папку run и напечатать:

В итоге вы получите массу картинок с разнообразным анализом, например таким:

Чтобы разобраться с тем, как это сделано, придется самостоятельно покопаться в скриптах.

Как однажды мне сказал один из разработчиков модели: "Настоящие мужчины работают с бинарниками". И чаще всего так и происходит. Уже бинарные файлы вывода модели превращаются в netCDF. Связано это и со скоростью записи данных на диски, которая важна в больших экспериментах и с ограниченностью места на этих самых дисках. Но для небольших экспериментов писать сразу в netCDF может быть удобнее. Давайте настроим нашу модель так, чтобы она сохраняла данные не в бинарных файлах, а сразу в netCDF. За это отвечает отдельный пакет mnc, который мы с вами уже скомпилировали с моделью (если у вас были правильно установлены библиотеки netcdf, конечно).

Для начала сотрем все, что мы насчитали:

Теперь откроем файл data.pkg. Скомпилировать пакет бывает недостаточно для того, чтобы он заработал, нужно также "включить" его путем добавления в файл data.pkg. Как видите пакет mnc сейчас закомментирован, давайте сотрем # перед ним, тем самым раскомментировав его. В итоге файл data.pkg должен выглядеть так:

Теперь откроем файл с настройками самого пакета data.mnc. Как вы видите тут имеется уже несколько параметров, некоторые из которых закоментированы. Расскоментируйте параметр snapshot_mnc , поменяйте .FALSE. на .TRUE. и сохраните файл.

Похоже, что включение этой опции переводит в формат netCDF не только snapshotы, но и все остальные типы файлов. Однако поиграв с настройками часть из них можно выводить в бинарный формат. Процесс настройки пакета mnc похож на процесс настройки большинства пакетов - включаете пакет в data.pkg и меняете его параметры в data.name. Где искать параметры описано во второй части.

Запустите модель еще раз и в вашей папке появится новая папка с именем

В ней будет содержаться файлы с результатами работы модели в формате netCDF. Теперь их можно смотреть при помощи ncview, который мы установили еще в первой части. Вот, например, температура на глубине -290 метров после примерно года интеграции модели:

В публикацию, конечно, не вставишь, но для быстрого просмотра результатов ncview очень хорош.
А вот как выглядит батиметрия , которорая вместе с другими параметрами вашей сетки сохраняется в файл grid.t001.nc

Обратите внимание на то, что если вы будете считать с несколькими тайлами или на нескольких процессорах, данные в netCDF будут, как и в случае с бинарниками, сохраняться в разные файлы для разных процессоров. Склеивать их потом вместе задача не тривиальная и ни один скрипт для этого предназначенный у меня не завелся. Именно для того чтобы обойти эту неприятность мы избавились от тайлов при редактировании SIZE.h

На этом я, пожалуй, закончу. Надеюсь что руководство получилось не слишком сумбурным и в итоге окажется кому-нибудь полезным. Как вы уже, наверное, поняли простор для экспериментирования практически безграничный и дальше в нем вам поможет ориентироваться достаточно хорошо написанная документация. Пользоваться лучше всего последней pdf версией, которая расположена здесь. Если будет желание поделиться своими результатами, можно это сделать либо в комментах тут, либо на форуме Oceanographers.RU.

UPD Оказывается люди занимающиеся MITgcm в России уже есть. Сергей Семин из Нижегородского Государственного Технического Университета любезно поделился со мной частью своей магистерской диссертации, в которой дано теоретическое описание модели и инструкции по ее запуску, во многом более подробные чем те что представлены здесь.

Есть самый главный файл общих настроек модели и называется он просто data. Файлы, которые меняют параметры связанные с пакетами называются data.name, где name - название пакета. Параметры, которые вы можете изменять перечислены в файле ..../MITgcm/model/inc/PARAMS.h для основного файла data, и в файлах ..../MITgcm/pkg/name/NAME_PARAMS.h для data.name файлов пакета, где name - название пакета. Очень удобно, я знаю :) Давайте взглянем поближе на файл data.

Он состоит из блоков, начинающихся с

и заканчивающихся знаком &. Полезно помнить, что в некоторых системах может потребоваться замена & на слеш. Следующий параграф при первом прочтении можно смело пропустить, там рассказывается как искать дополнительные параметры для изменения.

Если вы отыскали в файле PARAMS какой-то параметр, который хотите поменять, то вам нужно точно знать, в каком блоке этот параметр должен находиться, при изменении его в файле data. Тут вы должны сделать еще один финт ушами и пойти в файл ..../MITgcm/model/src/ini_parms.F в случае если интересующий вас параметр должен быть в файле data, либо в ..../MITgcm/pkg/name/name_readparms.F (все уже надеюсь помнят что такое name) если собираетесь менять параметры для пакета (файлы типа data.name). В этом файле нужно найти к какому списку имен принадлежит интересующий вас параметр. Выглядеть это будет примерно так:

Здесь PARM02 - название блока, в котором должен быть ваш параметр при изменении его в файле data (или data.name для пакета). То есть вы должны посмотреть название параметра в одном файле, куда его поместить во втором, а собственно изменить уже в третьем. На первых порах дико, но потом привыкаешь :).

Рассмотрим некоторые из параметров файла data.

Референсная температура и соленость. Необходимость их задавать связана с особенностью формулировки модели. Они задаются на каждом уровне, в нашем случае их 15. Строчка 15*20 означает, что мы просто вставили 15 двадцаток подряд. В случае солености тоже особо не парились и задали линейный профиль из 15 одинаковых значений солености. Если вдруг вы не зададите нормальных начальных условий по температуре и солености (см. ниже), то tRef и sRef будут вашими начальными значениями, естественно одинаковыми в каждой точке модели.

Комментарий от Сергея Семина: Здесь не плохо бы было вставить напоминание о том, что обязательно надо следить за тем, какие значения принимают параметры по умолчанию. Например, если не задать, как Вы их называете, референсные температуру и соленость, то они будут не нулевыми, а 20 oC и 30 psu соответственно. Я несколько раз натыкался на проблемы, связанные с этим.

Количество шагов по времени.

Размер шага по времени в секундах для уравнения движения. Вообще большинство параметров задающих временные интервалы выражается в секундах, так что привыкайте к огромным числам.

Размер шага по времени в секундах для уравнения переноса трассера.

Модельные "часы", которые, в частности определяют размер шага по времени для nTimeSteps. Если вы умножите deltaTClock на nTimeSteps, то получите длительность интеграции модели в секундах. В нашем случае она составляет 1728000 секунд, или 20 дней. Обычно deltaTClock делают равной deltaTtracer.

В нашем примере шаг по времени уравнения движения и уравнения переноса трассера разный. Это сделано для того, чтобы модель считала быстрее. Обычно же шаг по времени обоих уравнений делают равным и задают параметром deltaT. В этом случае не задают и deltaTClock, который по умолчанию приравнивается deltaT.

Периодичность так называемых чекпоинтов. С данной периодичностью модель будет полностью сохранять свое состояние в файлах начинающихся со слова pickup. При помощи этих файлов можно будет, при желании, продолжить расчет модели. Это необходимо в массе случаев, например при сбое железа. Не будете же вы из-за, скажем, скачка напряжения тратить еще один месяц (вполне реалистичное время расчета некоторых конфигураций модели) на то чтобы все пересчитать.

Если сохранять каждый чих произведенный моделью, то есть записывать на диск результаты расчета за каждый временной шаг, то никакого диска может не хватить. Плюс операции записи на диск обычно медленны, что для серьезных конфигураций оборачивается большими потерями времени. Поэтому сохраняют обычно данные с большими промежутками времени. Но в этом случае вы получаете, так называемый snapshot, то есть снимок состояния модели в определенное время, никак не среднее состояние. Здесь мы сохраняем состояние модели в 24:00 через каждые 10 дней.

А вот уже при помощи этого параметра вы можете сохранять среднее состояние модели за определенный промежуток времени. Здесь мы сохраняем среднее состояние модели за 10 дней. Чтобы эта возможность работала, необходимо включать пакет timeave (что мы уже сделали при компиляции).

Окончание раздела &PARM03 посвящено настройке временных интервалов внешнего атмосферного форсинга, и релаксации поверхностных температуры и солености (о как сказанул, объяснение более человеческим языком ниже). К сожалению модель у нас получится не слишком совершенной, поэтому периодическое возвращение к климатологическим параметрам на поверхности (и только на поверхности) ей будет необходимо.

Раздел &PARM04 посвящен настройке вашей сетки. Тут выбирается тип сетки (в нашем случае usingSphericalPolarGrid ) и задается толщина вертикальных слоев (переменная delR). Повторюсь, delR это не глубины, это толщины слоев, то есть в нашем случае максимальная глубина модели не 690 метров, как вы могли бы подумать, а 5200 м - сумма толщин всех слоев. Параметры ygOrigin, dySpacing и dxSpacing задают соответственно положение южной широты, шаг по широте и долготе в градусах. Как видите полярным областям в нашем сетапе ничего не светит - южная граница установлена на -80 широту, по широте у нас 40 линий каждая по 4 градуса, то есть покроем мы только 160 градусов от -80 до 80 градусов с.ш.

Последний раздел файла data - &PARM05, посвящен различным файлам, которые будут использоваться для инициализации модели и ее форсинга. Если файл находится не в той же директории где вы будете запускать модель, прописывайте полный путь до него.

Файл с батиметрией. Представляет из себя двоичный файл с матрицей такого же размера как и ваша сетка (в нашем случае 90x40). Посмотреть на него можно таким матлабовским кодом:

Заметьте, что порядок байтов в бинарных файлах примеров - big-endian, если вдруг решите прорыть где-нибудь канал или взгромоздить гору, то сохраняйте тоже в big-endian, например так:

Следующие два файла:

содержат в себе начальные поля температуры и солености, с которых модель будет стартовать. Это такие же бинарные файлы как и bathymetry.bin только в каждом из них по 15 полей по одному для каждого уровня. Посмотреть на поля можно при помощи такого матлабовского кода:

вот, к примеру, температура в поверхностном слое:

Дальше идут файлы внешнего форсинга модели:

поля ветра, потока тепла и пресной воды. Все эти файлы содержат по 12 полей, по одному на каждый месяц, и прочесть их можно тем же кодом, что и файлы начальных условий, уменьшив, конечно, количество итераций в цикле до 12, вместо 15. Вот, например, результирующий поток тепла в Июле, когда в Южном полушарии зима и океан в основном отдает тепло в атмосферу:

Если вернуться немножко назад по нашему файлу data, и посмотреть в раздел &PARM03, то вы увидите такие строчки:

Они означают, что форсить нашу модель мы будем повторяющимися данными (у нас ведь всего по 12 полей в каждом файле), каждое поле будет работать один месяц (externForcingPeriod) и повторяться цикл будет через год(externForcingCycle). То есть внешнее воздействие атмосферы не будет изменяться по несколько раз в день, как в "больших" экспериментах, а будет одинаковым на протяжении одного месяца, потом сменится на следующее, а через год цикл повторится.

В данном примере атмосферный форсинг уже проинтерполирован на модельную сетку. Однако в MITgcm имеется приятная возможность использовать форсинг на оригинальной сетке (например файлы NCEP реанализа), модель проинтерполирует их сама.

Последние файлы в нашем списке, содержат данные для релаксации поверхностной температуры и солености:

В разделе &PARM03 задано что релаксация поверхностной температуры будет проводиться раз в два месяца (tauThetaClimRelax= 5184000.,), а солености раз в шесть (tauSaltClimRelax = 15552000.,)

В следующей части мы наконец-то заставим нашу модель работать, теперь уже честное пионерское :)

Раньше моделирование океана и атмосферы было уделом горстки избранных. Чем-то это напоминало ситуацию с Линуксом конца 90х годов - разобраться было можно, но сложно. Те времена давно прошли, и как Линукс теперь доступен для средних умов, так и заставить работать свою гидродинамическую модель океана может практически каждая домохозяйка, было бы желание.

Документация у модели, про которую я буду рассказывать в этом посте довольно хорошая и объемная. Но этот объем является как преимуществом, так и недостатком, поскольку у новичка разбегаются глаза, и с чего начать бывает не понятно. Здесь я, по-возможности, расскажу как скомпилировать модель, и запустить на ней простейший эксперимент, а также немного пролью свет на то, где в каких файлах нужно что подкрутить, чтобы модель работала так как вам нужно. Возможности дальнейшей настройки огромны и ограничиваются практически только вашей фантазией и доступными вычислительными ресурсами.

Немного про нашу модель. Полное ее название Massachusetts Institute of Technology General Circulation Model или MITgcm. Разрабатывается она, как не трудно догадаться, в этом уважаемом заведении и является одной из лучших на данный момент в мире. Позволяет моделировать разномасштабные процессы, от, условно, поведения бури в вашем стакане, до крупномасштабной циркуляции океана. На сайте периодически публикуются популярные обзоры исследований, в которых модель используется. По-большому счету она является тем исходным материалом, из которого вы лепите свой собственный сетап, настроенную под свои задачи модель, которая может даже называться вашим именем, или именем вашего института, но ядром ее все равно будет старая добрая MITgcm. Кстати, о возрасте. Если сравнивать с монстрами типа POP, то модель начали разрабатывать сравнительно недавно с середины 1990х годов. Это позволило заложить в нее некоторые новые идеи, витавшие среди людей, занимавшихся вычислительной гидродинамикой в то время.

Разработчики MITgcm хорошо понимают принцип: "Если хочешь, чтобы твоим продуктом пользовались, пиши понятную документацию". Лучше всего пользоваться последней ее pdf версией. В доках много примеров, в самом коде тоже довольно много комментариев, что бывает очень полезно, поскольку, как это не печально, иногда изменения в документации не успевают за изменениями в модели. Я тут собираюсь немного растечься мыслию по древу и описывать процесс в подробностях. Опытные же или нетерпеливые товарищи могут сразу перейти к разделу документации Getting Started with MITgcm, там сжато, но ясно описан весь процесс.

Надеюсь, что я вас убедил в том, что если вы подумываете о занятиях гидродинамическим моделированием океана, то на MITgcm стоит взглянуть хотя бы одним глазком, так что приступим. Ставить модель будем на Ubuntu 10.10. Тем кто ни в зуб ногой в Линуксе, могу посоветовать попробовать мой образ Ubuntu 8.04 для виртуальной машины, но не факт, что установка не будет отличаться в деталях. Предполагается также, что вы не падаете в обморок от слов "терминал" и "командная строка".

Для начала подготовим плацдарм, то есть установим недостающие в стандартной поставке программы:

cvs - система контроля версий, в которой ведется разработка модели, с ее помощью мы получим исходный код,

netcdf - библиотека для создания файлов формата netcdf, в принципе установка ее опциональна,

build-essential - набор утилит для компиляции,

gfortran - компилятор FORTRAN, которым мы нашу модель будем компилировать.

ncview - простейший просмотрщик netCDF файлов

После того как плацдарм подготовлен, давайте получим код нашей модели. Разработка ее, как упомянуто выше, ведется в системе контроля версий cvs. Просматривать сам код и его изменения можно прямо в браузере, что бывает удобно. Процедура получения кода описана тут и заключается во вводе следующих команд в терминал:

тут вводим пароль cvsanon

начнется процесс загрузки. Размер загруженной, в итоге, папки с именем MITgcm будет около 300 мегабайт.
Вариант попроще и понадежнее - скачать последний чекпоинт, вариант модели, который работает и работает правильно отсюда. Тогда вы можете быть уверены, что за пол часа до того как вы скачали код, кто-то из разработчиков не внес в него изменения не совместимые с жизнью.

Зайдя в директорию модели вы увидите 12 поддиректорий, про большинство которых можете пока забыть. Интересовать нас будут для начала папки model и pkg. Внутренности MITgcm устроены следующим образом - есть ядро, которое обеспечивает основные функции модели и есть пакеты (packages), которые обеспечивают дополнительный функционал.

Есть пакеты для обсчета морского льда, расчета вертикального перемешивания, форсинга модели внешними граничными условиями и так далее. Пакеты не просто приятные дополнения, без них модель представляет собой довольно унылое зрелище, которое мало что может, так что любая более-менее серьезная конфигурация использует несколько пакетов. С другой стороны такой подход позволяет делать довольно легкие конфигурации, избавленные от лишнего функционала. Действительно зачем вам динамика морского льда, если вы моделируете, например, экваториальные области?

Как не сложно догадаться основное ядро лежит в папке model, а пакеты в папке pkg. Вы можете по ним побродить ради любопытства, но для запуска модели там ничего изменять не нужно. Наш путь лежит в папку verification. Здесь расположены уже подготовленные "эксперименты", то есть сконфигурированные особым образом наборы файлов, которые при компиляции и запуске модели будут обеспечивать ее работу в различных режимах, при различных условия и т. д. Тут и простейший океан в виде бокса на вращающейся сфере, отдельные моря и даже отдельные склоны. Описание того в какой папке какой эксперимент находится можно найти здесь. Предлагаю не размениваться на боксы и сразу начать с чего-нибудь более-менее реалистичного. Эксперимент в папке tutorial_global_oce_latlon будет моделировать океан на сетке 4x4 градуса, включает в себя реалистичную топографию и 15 уровней по глубине. Скромненько и со вкусом. Его подробное описание тут.

Перейдя в папку tutorial_global_oce_latlon мы снова увидим несколько поддиректорий, назначение которых следующее:

build - в данный момент пуста, в ней мы будем компилировать наш код

code - содержит файлы, которые необходимы для настройки базовых параметров модели перед ее компиляцией. То какие пакеты будут включены в модель, какие опции этих пакетов будут использоваться, каков будет размер сетки на которой мы будем считать и т.д.

CVS - служебная папка cvs, забудьте про нее.

diags_matlab - папка со служебными матлабовскими скриптами, позволяющими анализировать вывод модели

input - папка, в которой содержатся файлы с настройками для которых не нужна перекомпиляция модели, также там находятся файлы с батиметрией, файлы описывающие сетку модели, файлы с внешним форсингом (например атмосферными параметрами).

results - в папке служебный вывод модели для сравнения с вашим выводом

run - пустая папка, в которой мы, впоследствии, будем запускать модель.

Тут в общем ничего обязательного и заданного нет, если вы понимаете, что делаете то можете и модель в папке input запускать и компилировать в code. Однако такая структура и разделение на практике довольно удобна и лучше её придерживаться.

Перейдем в папку code. Здесь мы будем придавать форму нашей будущей модели, то есть определять, какие пакеты в нее будут включены, и как эти пакеты будут настроены. Первым файлом, представляющим для нас интерес будет packages.conf. Это простой текстовый файл, в котором один за одним перечислены пакеты, которые мы будем включать в модель. В нашем случае это:

много думать над ними не надо, просто посмотрите что они там есть. Набор не особо примечательный, и все параметры пакетов настроены по умолчанию. Откуда это видно? Дело в том, что у каждого уважающего себя пакета есть файл NAME_OPTIONS.h, где NAME - название пакета заглавными буквами. Расположен этот файл в директории пакета (..../MITgcm/pkg/name). В этом файле задаются основные настройки для пакета. Если вы хотите изменить эти настройки, то копируете этот файл в папку code (на самом деле в любую папку где будет происходить компиляция) и изменяете его параметры. Перед компиляцией, в папку где будет проводится компиляция, копируются все необходимые файлы (из папок model и pkg), но если файл с таким именем в папке уже присутствует, то он не заменяется. Таким образом при компиляции будет использован не файл из исходных текстов, а измененный вами файл.

Это используется не только для настройки пакетов, но и для хаков, хакнутый файл не заменяется на файл из исходников и используется при компиляции. Это произойдет, например, с файлами ptracers_forcing.F и ptracers_forcing_surf.F, которые были изменены для данного эксперимента, и оригиналы которых находятся в папке пакета ptracers. К счастью обычно хакать фортрановские файлы не нужно и все о чем вам нужно беспокоиться это NAME_OPTIONS.h.

Отсутствие файлов вида NAME_OPTIONS.h в папке code значит, что использоваться будут значения по умолчанию. Вообще такая ситуация не очень характерна для "взрослых" экспериментов, поскольку там присутствует по крайней мере файл определяющий основные настройки модели CPP_OPTIONS.h . Оригинал его находится в ...../MITgcm//model/inc . Давайте скопируем его в нашу папку code

В принципе никакого влияния на будущую компиляцию модели это наше действие не окажет, поскольку изменять CPP_OPTIONS.h мы не собираемся, вы можете поэкспериментировать с этим в будущем. Сейчас просто предлагаю на него посмотреть в вашем любимом текстовом редакторе. Внутри вы видите кучу параметров, которые по умолчанию включены (стоит флаг #define) или отключены (#undef). Включать и выключать их вы можете меняя один флаг на другой. Есть еще параметры, которые включаются в зависимости от того включен (#ifdef) или отключен (#ifndef) другой параметр. Ели вы не знаете, что делаете, то, как обычно, лучше оставлять умолчальные настройки.

Примерно также выглядят NAME_OPTIONS.h файлы пакетов, и, повторюсь, для их настройки вы копируете NAME_OPTIONS.h в ту папку где будет производиться компиляция и изменяете их.

Последний файл, который нам нужно обсудить в папке code - SIZE.h. Здесь вы задаете размеры вашей сетки, то как вы ее разобьете на квадратики и скольким процессорам отдадите на съедение. Когда дойдете до компиляции на многопроцессорных машинах можете помедитировать на эту полезную картинку до полного просветления:

Пока же, поскольку процессор у нас один, то сильно выпендриваться мы не будем, и даже уберем разделение на тайлы, заменив nSx = 2, на nSx = 1. В этом случае нам нужно также заменить sNx = 45, на sNx = 90. На будущее, всегда проверяйте, что общее количество точек по "горизонтали" Nx = sNx*nSx*nPx и по "вертикали" Ny = sNy*nSy*nPy. Именно по этой причине изменив nSx на 1 нужно поменять sNx на 90, чтобы баланс сошелся :) То, что Nr = 15 значит, что у нас 15 уровней глубины. Все сходится, поехали дальше.

Почему я все время твержу, что нужно копировать файлы в папку, в которой будет производиться компиляция, а копирую их в code, компилировать, в котором ничего не планируется? Потому что папочка code служит своеобразным бекапом и напоминанием о том, что мы поменяли, а что нет. Саму же компиляцию будем проводить в папке build. Перейдите в папку build и наберите:

все что вы наворотили в папке code скопируется в build.

Комментарий от Сергея Семина: Место, где вы копируете доплненный исходный код в папку build. Это делать не очень удобно, так как в случае исправления исходного кода придется все еще раз копировать. Тут есть два выхода либо создать символьные ссылки, либо воспользоваться ключем утилиты genmake2 -mods='/path/to/code/directory'. Путь может быть как абсолютный, так и относительный. Я обычно пользуюсь последним вариантом.

Теперь нам нужно подготовиться к компиляции. Для этого служит утилита genmake2. У нее много разных полезных опций, но мы воспользуемся только одной "-of", задающей путь до файла, в котором прописаны флаги компилятора, пути к библиотеками и другая полезная муть. Выглядит это будет так:

Можете заглянуть в директорию ../../../tools/build_options/ , чтобы полюбоваться на то для скольких возможных комбинаций систем и компиляторов добрые люди понаписали файлов. Если linux_ia32_gfortran не сработает (например вы используете архитектуру отличную от ia32) можете попробовать что-нибудь более подходящее для вашего случая.

Комментарий от Сергея Семина: Ключ -of /path/to/optfile во многих случаях не обязательный, утилита genmake2 как правило сама умеет определять архитектуру, компилятор и задавать нужные пути до библиотек netcdf.

Если в результате работы genmake2 не возникло проблем, то можно продолжать. Сначала сделаем

Эта команда в частности скопирует (на самом деле залинкует, но это не важно) необходимые для компиляции файлы в директорию build, но те файлы, что уже находятся в этой директории, с вашими изменениями, заменены не будут. Ну и наконец вводим команду

и наслаждаемся бегущими по экрану значками. Если компиляция пройдет успешно, в директории build должен будет появиться файл mitgcmuv - это и есть ваша скомпилированная модель.

О том как заставить эту модель работать в следующей серии.

Слухи о тормознутости Python сильно преувеличены, просто нужно уметь его готовить. Конечно скорости C или Fortran вы на нем не добьетесь, но и его вполне можно заставить быстро обрабатывать огромные массивы информации. Если вы хотите считать быстро, то ваш враг номер один в Python (также как и в MATLAB, кстати) это циклы, заданные в явном виде (оператор for). От большинства из них можно избавиться, применяя нехитрые приемы. Об одном таком приеме, позволившем увеличить скорость обработки массива размером более 100 гигабайт в 46 раз, я очень коротко расскажу в этом посте.

Дано: четерехмерный массив с полями температуры (x,y,глубина, время). Поскольку сетка у нас не регулярная, имеются два двумерных массива широт (lat) и долгот (lon).
Задача: вырезать из этого массива хитрую область, и получить среднее по этой области для каждой глубины, за каждый отсчет времени.

Область выглядит следующим образом:

Одним из возможных решений данной задачи является такой код:

У нас имеется внешний цикл по времени (ttime), внутри него цикл по глубинам (lev), затем цикл по x (ff) и по y (zz). Вот в этом последнем цикле мы и проверяем каждую точку на соответствие нашим условиям по широте и долготе и если она им удовлетворяет, добавляем ее значение в массив (THO_new), с которым будем дальше совершать все необходимые непотребства.
Количество точек в одном шаге по времени, которые небходимо прогнать через циклы и обработать условными операторами составляет в данном случае 52355070 штук, что занимает 2 минуты 18 секунд. Шагов по времени у нас 487, так что ждать окончания работы программы мы будем дооолго.

Способ второй:

Понятное дело, что точки с необходимыми нам координатами будут занимать одинаковое положение во всех полях. Поэтому проще сразу определиться с индексками тех точек что нас интересуют. Для этого используем оператор numpy.where, которому в качестве условия передаем наши пожелания по ограничению региона. К сожалению, конструкции вида 100 < lon < 140 он не воспринимает, так что небоходимо пользоваться логическими операторами (естественно можно использовать не только AND (&) но и, напримерр OR (|)). В качестве вывода, мы получаем индексы тех точек, что удовлетворяют нашим условиям.

Циклы по времени и глубинам мы оставляем, а вот перебирать каждую точку двумерного поля нам уже не нужно, мы точно знаем какие точки нам нужны. Сначала создаем переменную a, в которую заливаем двумерное поле (это сделано исключительно из-за того что 100 гигабайт в память не влезало :)). Затем добавляем в переменную THO_new те значения, что вписываются в заданную нами область. Дальше уже происходит наложение маски (пропущенных значений) и осреднение THO_new, что для нас в данном контексте не особо важно, поэтому эту часть я не привожу. Время работы нового кода для одного шага по времени составляет 3 секунды.

Спасибо Марку Карсону (Mark Carson) за идею.

Если у вас имеется домашняя сеть и современный телевизор, бегать с дисками и флешками от компьютера, при помощи которого вы скачиваете файлы к телевизору совершенно не обязательно. Чудеса техники позволяют вам просматривать видео по сети прямо с компьютера. Для этого необходимо чтобы на компьютере бежал медиа сервер, и в случае с телевизорами Samsung, такой медиа сервер предоставляется производителем. Однако самсунговский PC Share Manager работает только под самую популярную операционную систему :) У пользователей альтернативной системы все же есть возможность воспользоваться плодами прогресса и минимизировать беготню между компьютером и телевизором.

Я этом посте я приведу простую последовательность действий которая позволит установить и настроить MediaTomb под Ubuntu. Этот рецепт проверен на Ubuntu 10.10 и телевизоре Samsung LE37C650, думаю что он будет работать и для других современных телевизоров этой фирмы.

Для начала установим MediaTomb. Можно поставить и из репозитория:

Либо по этой ссылке (я ставил по ссылке :) )
''mediatomb''

Затем нам нужно немножко поколдовать с конфигурационным файлом. Сначала откроем его текстовым редактором:

Тут нужно внести изменения в трех местах. В секцию server нужно добавить:

В секции import/mappings/extension-mimetype

Измените значение protocolInfo extend на yes

После этого сохраните файл и запустите MediaTomb из меню Приложения -- Аудио и Видео. Он откроется в вашем стандартном броузере. Там уже при помощи графического интерфейса вы сможете расшарить папки с вашими файлами и смотреть их на телевизоре.

Сервер стартует при загрузке компьютера. При необходимости его можно остановить:

запустить

и перезапустить

Приятного просмотра :)
Дополнительная информация тут и тут.

Практически на любой их аргумент вы почти мгновенно сможете представить если не полноценную научно популярную заметку, то как минимум список публикаций по теме. К слову есть подобные приложения для iPhone и Nokia, так что владельцы альтернативных платформ также имеют возможность при случае блеснуть интеллектом.

Вкратце: приложение это хорошо структурированный сборник аргументов людей сомневающихся в реальности современного глобального потепления, либо в его антропогенном происхождении либо его неприятных последствиях. Для каждого из этих аргументов существует короткий ответ с опровержением и более развернутая научно-популярная заметка, часто с графиками и ссылками на научные публикации. Все это загружено в ваш телефон, то есть нет необходимости быть подключенным к сети для того чтобы утереть нос зарвавшемуся скептику, но поскольку список аргументов и контраргументов постоянно пополняется и обновляется, приложение будет периодически ходить в интернет за апдейтами.

Немножко подробнее о том что внутри

На первом экране вы увидите три категории на которые разбиты аргументы: "Это не мы", "Этого не происходит", "Это не плохо".

Собственно аргументов целый вагон и маленькая тележка, а если быть точным на момент написания поста их было 119. Можно только подивиться работоспособности и упертости, в хорошем смысле слова, автора сайта Джона Кука, который постоянно собирает, каталогизирует эти аргументы и довольно грамотно, при этом доступно разъясняет почему они скорее всего ложны.

Имеется также вкладка с десяткой самых популярных у скептиков аргументов. Ответы на них сделаны с особой тщательностью :)

Естественно при таком объёме информации никакая каталогизация не поможет, и необходимо пользоваться поиском. Доступен он при нажатии на кнопку меню и сделан по взрослому, то есть выводит возможные результаты уже в процессе набора.

Текст по умолчанию довольно мелкий, но существует возможность его увеличить (правда до определенных пределов), это можно делать как кнопками так и мультитачем. Графики кликабельны и их можно разворачивать на весь экран и рассматривать настолько подробно насколько позволяют размеры телефона. Также естественно кликабельны и ссылки на научные статьи. Джон старается ставить ссылки на версии доступные для свободного скачивания, так что при желании зачастую вы сможете ознакомиться и с оригинальным исследованием, правда для этого уже необходимо быть подключенным к интернет.

При изменении положения телефона текст поворачивается, также как и отдельно открытые картинки.

В заключении отмечу что приложение сделано очень качественно и с ним приятно работать в не зависимости от того какого мнения по поводу глобального потепления вы придерживаетесь :)

Ссылки

QR код:

Также можно установить с AppBrain:

Оригинальный пост с описанием на ScepticalScience.

Я тут опишу только тот функционал которым сам пользуюсь. Сайт развивается очень активно (думаю не в малой степени потому что не так давно он стал поддерживаться издательством Springer) и часто появляется новый функионал,  в последнее время все больше направленый на развитие именно социальной составляющей сервиса, которую я пока не очень освоил.  Так что рассказ будет посвящен в основном работе с библиографией и призван заинтересовать и помочь начать входить во вкус :)

Перво наперво вам необходимо зарегистрироваться. Пройдя по ссылке  вы увидите стартовую страницу с минималистичным интерфейсом, все вкусное ждет вас после регистрации, жмите на "Join now".

Процедура регестрации легка и непринужденна, подтверждать email не нужно, вы сразу можете начинать работу. На странице вашего профиля будет много чего интересного, но первым делом обратите внимание на два меню в левом верхнем углу:

В меню CiteULike находятся ссылки на рубрики сайта относящиеся ко всем пользователям, такие как популярные посты в блогах, список групп к которым вы можете присоединиться и тому подобное. В меню MyCiteULike пункты относящиеся непосредственно к той информации которую вы будете заносить в свою базу.

Для начала  давайте настроим ваш браузер для того чтобы добавлять библиографические ссылки было быстро и удобно. В меню CiteULike выберете "Browser Button". На этой странице вам предложат установить так называемый "букмарклет", специальную ссылку в вашей панели закладок. Если находясь на странице со статьей поддерживаемого CiteULike журнала  вы нажмете на букмарклет, то перейдете на  CiteULike и начнете автоматическое добавление статьи в свою библиотеку.

Добавить букмарклет в Firefox очень просто. Для этого вам необходимо убедиться что панель закладок отображается и просто перетащить на нее одну из двух ссылок "Post to CiteULike". Отличаются они тем что один букмарклет запускает добавление статьи в базу в том же окне, а другой открывает дополнительное окно. На мой взгляд более практично использовать дополнительное окно, но это дело вкуса.  Если вы по какой то причине пользуетесь IE или Safari, то сможете найти инструкции по установке букмарклетов и для этих браузеров. Существует также новая версия букмарклета, которая поддерживает добавление статей из  Scopus, ISI Web of Knowledge, Mendeley, Google Scholar и Google Books, но она пока не очень стабильна.

Теперь давайте добавим нашу первую статью, например вот эту . Перейдя на страницу со статьей, нажимайте на букмарклет

Вы перейдете на CiteULike и увидите следующую картину:

Если сайт журнала поддерживается, то библиографическая информация добавится автоматически. Вам также предлагают сразу добавить таги для этой статьи, что должно упростить ее поиск в дальнейшем.

• "Post to" позволяет вам выбрать куда постить статью. По умолчанию статья добавляется в вашу библиотеку, но если вы присоединитесь к каким либо группам то можете добавить статью и в них.
• "Priority" позволяет выбрать приоритет для этой статьи, хотите вы ее прочитать как можно быстрее или можно отложить это мероприятие. Я этой опцией обычно не пользуюсь.
• Если вы читаете "Progress in Physics" но не хотите чтобы приличные люди об этом знали, то можете запостить статью приватно :) .
• "Notes" - можете сразу написать какой ни будь комментарий к статье.
• "Attachment" - это одна из самых полезных функций, вы можете добавить файл со статьей. Если "расшарить" библиографическую запись для других можно, то с файлом такого сделать нельзя, так что .pdf будет доступен только для вас. Полезно это тем что не всегда есть доступ к рабочему компьютеру с подпиской на журналы, а если вы будете добавлять файлы в CiteULike то сможете открывать их из любого места где есть интернет.
• "BibTeX Key" - по умолчанию CiteULike присвоит какой то ключ, но вы можете предложить свой и если вы не так ленивы как я то лучше это, конечно, сделать.

Обычно я не заполняю ничего (может кроме тагов) и просто жму на Post Article. Вы попадаете в свою библиотеку, которая на данный момент состоит всего из одной статьи. Давайте кликнем на нее и посмотрим что же у нас получилось.

Как видите со своими записями вы можете делать много разного интересного, начиная от расшаривания их в группах и написания рецензий, до поиска людей которые тоже добавили свою статью к себе в библиотеку. Последнее позволяет вам находить людей с похожими интересами, вы можете начать следить за тем что они добавляют, при этом существует большой шанс найти в их библиотеках что ни будь для себя интересное. Но мы с вами посмотрим на последнюю опцию "Expand records". Нажав на треугольничек около данной опции мы увидим представление библиографической записи в форматах BibTeX и RIS. Запись для BibTeX выглядит таким образом:

Я обычно копирую именно BibTeX запись со страницы статьи, хотя есть возможность более продвинутого экспорта по нажатию на оранжевую кнопку "Export" у заголовка статьи. Приходится кое что подчищать (например url, citeulike-article-id), менять  BibTeX Key но в принципе это не обязательно.

Естественно существует как возможность экспорта всей вашей библиотеки в  BibTeX базу данных, так и импорта вашей базы в CiteULike. Немножко про импорт я писал в этом посте. 

К сожалению не все сайты журналов пока поддерживаются CiteULike, но даже в этом случае шанс избавить себя от ручного добавления  статьи есть. Вам будет показан интерфейс поиска, в котором вы с большой долей вероятности найдете интересующую вас библиографическую запись. Мне обычно больше везет с CrossRef.

Если ничего не помогло, то, конечно, есть возможность добавить статью дедовским способом, последовательно внося библиографическую информацию в соответствующие поля. Доступно это из меню MyCiteULike>>Post manually.

Последнее о чем мне хотелось бы упомянуть это поиск. Для меня было не совсем очевидно что на сайте есть отдельно поиск по всему сайту, который расположен в правом верхнем углу и поиском по вашим записям, который расположен по адресу  MyCiteULike>>Search. Я в основном пользуюсь последним.

Надеюсь что этот пост поможет вам начать работать с этим замечательным инструментом и со временем вы откажитесь от ненадежных и неудобных офлайновых программ для хранения и работы с библиографической информацией :)  Я описал только те функции которые считаю основными, но как я уже говорил, сайт очень богат на различные дополнительные сервисы, так что имеет смысл походить по менюшкам, возможно вам приглянется возможность вести свой блог про интересующие вас статьи, или вы организуете группу для своей лаборатории и будете там обмениваться новинками и обсуждать их.

Мой профиль http://www.citeulike.org/user/Magik , следите и конектитесь )