Приведу набор не особо связанных между собой простейших приёмов обработки данных которые пригодились мне в последнее время. Они хоть и простейшие, но обнаружить их стоило мне некоторых трудов, поэтому я решил подбить их в один небольшой пост. Если кто-то решит поделиться своими простыми приёмами облегчающими жизнь, в частности с использованием numpy, милости прошу в комменты, с удовольствием добавлю их в пост )

(more...)

В одном из предыдущих постов я рассказывал почему бинарники это далеко не всегда хорошо и зачем нам бывает нужно перевести их в формат netCDF. Там я приводил пример того как можно это сделать при помощи NCL. Здесь я рассмотрю способ который возможно подойдёт большему количеству народа, поскольку не предусматривает установку NCL, а даёт возможность воспользоваться уже установленным в составе PyNGL модулем PyNIO. Этот модуль предназначен в частности для открытия и создания netCDF файлов, и по моим впечатлениям делает это гораздо более простым способом чем NCL (хоть PyNGL и производная NCL :)).
(more...)

(more...)

• Atom N270 / 1.6 GHz
• RAM 1 GB
• Festplatte 160 GB
• GMA 950 Dynamic Video Memory Technology 3.0
• WLAN : Bluetooth, 802.11b/g/n
• Win XP Home
• Breitbildschirm TFT 1024 x 600 ( WSVGA ) Anti-Reflexion
• Kamera.

Вариант с виндой был куплен сознательно, поскольку комп брался не мне, а жене, и ты никогда не знаешь, в каком проприетарном формате захочется распространять данные этим археологам. Через пол часа после того, как я с матюгами подключил таки наш зашифорованный WAP WiFi на винде (не думал что это настолько нетривиальный процесс) и отдал машинку законной владелице, мне было приказано ставить линукс. Причинами стали стрёмность хождения по инету под виндой (отвыкать от безопасности неохота), ну и уже привычка к линуксу

Под катом описание того как на MSI Wind ставился Linux в качестве второй системы и общие впечатления от работы.

(more...)

В незапамятные времена, когда интернет у всех был медленным и дисковое пространство было на вес золота, королём форматов для распространения данных был, так называемый, бинарный формат. Это обычная последовательность нулей и единиц, которая не содержит в себе никакой информации о данных находящихся внутри. Чтобы "расшифровать" его вам нужно добыть информацию о структуре файла, о порядке байтов (endianness), о типе данных (float, integer), о том не умножены ли данные на какое-нибудь значение, что за единицы измерения используются, что за координаты, за какую дату и время эти данные и так далее и тому подобное. Геморрой. Единственное достоинство бинарного формата это размер получающихся файлов, он сравнительно мал.

Прогресс не стоял на месте и были изобретены, так называемые, self-describing форматы, одним из которых является netCDF. Преимущество этих форматов в том, что вам не надо пытать создателей файлов для того, чтобы получить информацию о его содержании, в идеале вся необходимая информация должна уже содержаться в самом файле. Это позволяет создавать приложения однообразно работающие с различными данными представленными в self-describing форматах, а не заново изобретать велосипед для каждого нового бинарника.

Размер файлов netCDF больше чем бинарных, но если это было очень важным в 90е, то в 2000х большинству нет разницы качать один или два мегабайта, телефонные модемы постепенно вымирают и слава богу. Тем не менее, некоторые несознательные граждане продолжают предоставлять данные в бинарном формате, то-ли по привычке, то-ли ленясь изменять схемы обработки, работающие с 90х (работает, не трогай). Ещё одной причиной может быть то, что создание правильного netCDF файла это не самая простая задача (в отличии от его чтения).

Далее я приведу код для довольно простого создания netCDF файла из бинарных при помощи языка программирования для наук о Земле NCL о котором я рассказывал в одном из предыдущих постов.
(more...)

Я почему-то всегда думал что создание карт для Google Earth это занятие для избранных. С такой помпой очередной институт всегда анонсировал что его данные теперь и на Google Eatrh, что мне казалось группа программистов денно и ношно трудилась над этой непростой задачей год и вот теперь, наконец, долгожданный .kml файл увидел свет.

При ближайшем рассмотрении всё оказалось просто до тривиальности.

Собственно создание карты будет проводиться при помощи PyNGL, питоновского модуля позволяющего отображать двумерные данные на карте. Основы работы с этим модулем описаны в данном блоге и могут быть найдены по тегу PyNGL.
После мы обрежем карту при помощи convert и создадим простейший .kml файл, который и "натянет" наше изображение на Google Earth.

Поехали.
(more...)

Моделирование атмосферы, океана а также других элементов земной системы уже в начале 90х годов было развито довольно хорошо и стало производить такое количество данных, что для обработки всего этого зоопарка переменных потребовалось создать специальный язык.
NCL это интерпретируемый, объектно ориентированный язык программирования, который предназначен специально для людей занимающихся анализом данных привязанных на сетку связанную с географическими координатами, попросту говоря с Землей, и в особенности модельеров. Не могу не заметить что NCL это прародитель так нежно любимых мною PyNGL/PyNIO.

В дополнение к обычным свойствам, присущим языкам программирования, NCL также обладает средствами для манипуляции метаданными, тонкой настройки визуализации, импорта данных в различных форматах широко используемых в геонауках и поддержкой матричной алгебры.

В NCL включены более 600 функций и процедур облегчающих жизнь человека который видит перед собой террабайтные массивы данных и понимает что что-то с этим ему придётся делать иначе диплома не видать как своих ушей. Среди них:

• те что используются специально с климатическими и модельными данными
• для расчёта эмпирических ортогональных функций, трансформаций Фурье, сингулярного разложения, осреднения, стандартного отклонения, синусов, косинусов, логорифмов, минимумов, максимумов и так далее.
• получения и трансформации временной информации
• отображения примитивов (линий, залитых площадей, маркеров), спецсимволов для метеокарт, изоповерхностей и других графических объектов
• интерполяция, аппроксимация и регридинг в одном двух и трёх измерениях
• облегчённый анализ скалярных и векторных значений глобальных геофизических величин

Сегодня я расскажу как поставить NCL и написать в нём несложную программу.
(more...)

Ferret - это интерактивная среда для визуализации и анализа больших наборов метеорологических и океанологических данных, то есть, он может работать с любыми гридированными данными, будь-то вывод моделей или спутниковые продукты. Работает ferret по утверждению создателей на всём, но под виндоуз вам придётся попотеть, чтобы его завести. Можно обрабатывать данные как находящиеся на вашем компьютере, так и данные лежащие в интернете при помощи протокола OPeNDAP. Ferret предлагает подход подобный тому, что используется в пакете Mathematica: новые переменные создаются интерактивно как математические выражения. Расчёты могут быть сделаны для произвольно выбранных районов.

Несмотря на то, что разработчики уверяют, что их детище производит иллюстрации качества пригодного для использования в научных публикациях, это, на мой взгляд, не так. Хоть некоторые действительно вставляют графику Ferret в свои работы, на мой взгляд до уровня PyNGL или GMT ей как до луны. Но, в роли инструмента для анализа ferret очень удобен и тут можно закрыть глаза на качество вывода. Для того, чтобы проверить свою гипотезу или взглянуть на то, не слишком ли далеко модель отдрейфовала от реальности, совсем не нужно располагать графикой высшего разряда, вполне достаточно адекватных картинок. Тут главное, чтобы вы могли создавать эти картинки быстро и интерактивно, а в этом ferret мало кому уступит первенство.
(more...)

Это продолжение предыдущего поста. Сегодня мы рассмотрим, как отобразить два графика в одном окне, как это сделать в разных окнах, как добавить математические выражения в подписи к осям и в любое место графика, а также, как подписать какую-нибудь деталь на графике, которая вам особенно нравится.
(more...)

Этим постом я начинаю серию вольных переводов избранных отрывков документации к Matplotlib.
Это питоновская библиотека для создания двухмерных графиков высокого качества (publication quality). Сделана с таким расчётом чтобы переход на неё доставил минимальные затруднения опытным пользователям матлаба. Как говориться на сайте библиотеки, Matplotlib старается сделать простые вещи простыми а сложные вещи возможными.

Как выглядит создаваемая графика можно посмотреть тут
Как устанавливать библиотеку я уже писал в предыдущем посте

Начнём с простого графика и контроля свойств линии.
(more...)