Визуализация данных и информационный дизайн

С Новым Годом!

2014-12-24T12:24:00.001+03:00

Привет! Дарю тебе Солнце и Луну на весь 2015 год. Это большой календарь-постер, показывающий движение Солнца и Луны в твоем городе.

Доставить распечатанный плакат к НГ уже не успеем, но можно скачать PDF, распечатать и подарить другу.

С Новым Годом!

Календарь-постер Яблоня

2014-12-19T14:51:00.000+03:00

Мои друзья из журнала Инфографика сделали офигенный календарь-постер на 2015 год.
Суперклевый подарок на Новый Год в наши непростые, но интересные времена -‿-

http://bestcalendar2015.ru/varik

Карта Лондона, раскрашенная по достатку жителей. 1889 год!

2014-10-16T11:00:00.000+04:00

По клику — в большом разрешении (26 MB).

via radicalcartography.net

Оригиналы: www.lib.umich.edu (1,2,3,4)

Самая лучшая и полная коллекция инструментов для визуализации данных

2014-10-08T11:00:00.000+04:00

visualisingdata.com

Новогоднее пожелание

2014-10-06T11:00:00.000+04:00

Дедушка Мороз, помнишь я в прошлый раз рассказывал тебе о двух своих самых сокровенных желаниях? Я просил тебя стереть границы между странами и отправить всех разработчиков Internet Explorer в ад?

Так вот, если два желания слишком сложно для тебя, то хрен с ними, с границами. Как-нибудь разберемся. Просто отправь всех разработчиков эксплорера в ад. И желательно немедленно.

Что на этот раз? Вставляю SVG-файл на HTML-страницу. В SVG есть 10 одинаковых текстовых надписей. 6 в одну строку, 4 в другую. Надписи отличаются только текстом и x-y координатами. Добавляю через css всем надписям text-decoration: underline. В результате у верхних надписей есть подчеркивание, у нижних — нет. И такое только в Internet Explorer 10 и 11. Во всех остальных браузерах на всех устройствах все ок. И в Internet Explorer 9 все ок! А в 10 и 11 не ок. Еще раз, надписи ничем кроме координат не отличаются. Дед Мороз, ну пожалуйста!

В итоге, открываю SVG в Inkscape'е, выделяю нижние надписи и сдвигаю их на 1 пиксел вниз. Открываю Эксплорер — подчеркивание появляется...

Вся надежда на тебя, дедушка Мороз!

Визуализация структуры библиотеки D3

2014-08-22T10:43:00.000+04:00

maurizzzio сделал библиотеку PojoViz для визуализации связей внутри любых javascript объектов. Теперь можно визуально посмотреть как устроена любая js-библиотека. Вот например, структура любимой мною D3.

Какой почтой пользуются российские чиновники — работаем с PostgreSQL

2014-08-18T11:00:00.000+04:00

Главный драйвер открытых данных в России Иван Бегтин опубликовал на hubofdata.ru статистику электронных адресов госслужащих. Всего 344695 записей. Давайте посмотрим, какие домены у них самые популярные.

Для этого загрузим tsv-файл с данными в базу PostgreSQL:

create table gosmails (regnum varchar,name varchar,regcode varchar,okogu_code varchar,okogu_name varchar,okved varchar,email_domain varchar,orgtype varchar,headagency_regnum varchar,headagency_name varchar);

copy gosmails from '/Users/Kostia/Downloads/allorgs_29072014.tsv' DELIMITERS '' HEADER QUOTE '"' CSV;

И выведем список доменов, сгруппированных по имени и отсортированных по количеству:

select email_domain,count(email_domain) as num from gosmails group by email_domain order by num desc limit 100;

Как видим (ниже), с трехкратным отрывом от яндекса лидирует mail.ru — более боловины всех записей. Ничего удивительного :-)
Но на пятом месте неожиданно всплывает gmail.com!

Кто же им пользуется?

select name, count(name) as num from gosmails where email_domain='gmail.com' group by name order by num desc limit 100;

В основном — школы и детские сады (таблица ниже). Но изредка встречаются и другие, в том числе налоговые инспеции :-)

А у тебя есть ссылки на интересные датасеты? Давай их поанализируем? ;-)

Топ100 доменов почты российских чиновников:

mail.ru	153416
yandex.ru	59853
rambler.ru	19098
bk.ru	6349
gmail.com	5744
list.ru	3992
inbox.ru	3674
ya.ru	1926
ufk62.ru	1849
ufamts.ru	1245
ngs.ru	1047
krasmail.ru	856
sura.ru	759
atnet.ru	721
udm.net	685
ufk19.kts.ru	570
donpac.ru	558
sibmail.com	557
ab.ru	555
vologda.ru	512
kazna.nnov.ru	485
sinergi.ru	463
nios.ru	454
amur.ru	452
mts-nn.ru	451
mail.primorye.ru	436
udmnet.ru	420
pochta.ru	416
onego.ru	393
gfu.ru	389
admlr.lipetsk.ru	379
kaluga.ru	376
chel.surnet.ru	331
MAIL.RU	326
vlc.ru	324
tatar.ru	317
mail.orb.ru	312
samtel.ru	305
edu.27.ru	295
mail.ryazan.ru	287
mtcs.ru	284
admsurgut.ru	274
sibmail.ru	274
gov66.ru	266
com.mels.ru	265
bratsk-city.ru	262
irmail.ru	260
online.debryansk.ru	249
obraz-orenburg.ru	246
sibnet.ru	230
mr.omskportal.ru	224
ellink.ru	218
kmtn.ru	211
mail.kamchatka.ru	205
ufk43.ru	204
tomsk.gov.ru	202
ivedu.ru	201
volganet.ru	201
mail.kuban.ru	192
live.ru	189
rikt.ru	184
ufk.atlas-nsk.ru	183
cbx.ru	178
vmail.ru	176
mosgorzdrav.ru	173
mo.primorsky.ru	171
ufk69.ru	168
tunev.gov.spb.ru	166
kristel.ru	160
k96.ru	155
esoo.ru	153
lnk.kuzbass.net	150
dszn.krasnodar.ru	149
kursknet.ru	149
cap.ru	148
omskmintrud.ru	147
ufk27.ru	147
adm.kaluga.ru	139
mosuzedu.ru	138
e1.ru	135
tevriz.treasury.ru	134
icm.buryatia.ru	133
002.pfr.ru	133
saratov.gov.ru	133
narod.ru	132
admnsk.ru	132
kmscity.ru	130
admbgo.ru	130
permraion.ru	130
tura.evenkya.ru	130
astranet.ru	129
uraltc.ru	127
ikso.org	127
obrs.admin.tomsk.ru	126
land.ru	125
adm-ekburg.ru	125
spb.edu.ru	124
mamontovo22.ru	124
yuzhno-sakh.ru	122
vologda.edu.ru	122

Топ50 российских организаций, использующих почту в домене gmail.com

муниципальное бюджетное дошкольное образовательное учреждение детский сад "Солнышко"	6
Муниципальное общеобразовательное учреждение Семидомская основная общеобразовательная школа	5
администрация Старопестеревского сельского поселения	4
Муниципальное дошкольное образовательное учреждение детский сад № 12 "Малышок"	3
краевая государственная бюджетная общеобразовательная школа-интернат "Бийский лицей-интернат Алтайского края"	3
муниципальное казенное общеобразовательное учреждение "Смазневская средняя общеобразовательная школа" Заринского района Алтайского края	3
муниципальное казённое дошкольное образовательное учреждение "Новоманошкинский детский сад" Заринского района Алтайского края	3
муниципальное казённое общеобразовательное учреждение "Яновская основная общеобразовательная школа" Заринского района Алтайского края	3
муниципальное казённое общеобразовательное учреждение "Среднекрасиловская основная общеобразовательная школа" Заринского района Алтайского края	3
муниципальное казённое общеобразовательное учреждение "Хмелевская средняя общеобразовательная школа" Заринского района Алтайского края	3
Открытое акционерное общество "Корпорация развития Оренбургской области"	3
муниципальное бюджетное общеобразовательное учреждение "Гимназия №45"	3
муниципальное казённое общеобразовательное учреждение "Батунская начальная общеобразовательная школа" Заринского района Алтайского края	3
муниципальное казённое дошкольное образовательное учреждение "Голухинский детский сад" Заринского района Алтайского края	3
муниципальное бюджетное общеобразовательное учреждение "Прутская средняя общеобразовательная школа"	3
муниципальное казенное общеобразовательное учреждение "Смирновская начальная общеобразовательная школа" Заринского района Алтайского края	3
Муниципальное бюджетное образовательное учреждение дополнительного образования детей "Детская художественная школа им. Ф.А.Бронникова"	3
муниципальное бюджетное общеобразовательное учреждение "Средняя общеобразовательная школа №35"	3
муниципальное казённое общеобразовательное учреждение "Шпагинская основная общеобразовательная школа№186" Заринского района Алтайского края	3
муниципальное казенное общеобразовательное учреждение "Зыряновская средняя общеобразовательная школа" Заринского района Алтайского края	3
муниципальное бюджетное учреждение "Информационно-методический центр управления по физической культуре, спорту и туризму администрации Ленинск-Кузнецкого городского округа"	3
муниципальное казенное образовательное учреждение дополнительного образования детей "Центр детского творчества" Заринского района, Алтайского края	3
муниципальное казенное общеобразовательное учреждение "Аламбайская средняя общеобразовательная школа" Заринского района Алтайского края	3
Инспекция Федеральной налоговой службы по г. Тюмени № 3	3
Муниципальное общеобразовательное учреждение "Средняя общеобразовательная школа № 4"	3
Финансовое управление по Кемеровскому району	3
муниципальное казённое общеобразовательное учреждение "Новоманошкинская средняя общеобразовательная школа" Заринского района Алтайского края	3
Инспекция Федеральной налоговой службы по г. Тюмени № 1	3
муниципальное казенное учреждение "Централизованная бухгалтерия учреждений образования Вилючинского городского округа"	3
муниципальное казённое общеобразовательное учреждение "Новокопыловская средняя общеобразовательная школа" Заринского района Алтайского края	3
муниципальное казённое дошкольное образовательное учреждение "Жуланихинский детский сад" Заринского района Алтайского края	3
муниципальное казённое учреждение культуры "Ключевской сельский Дом культуры"	3
муниципальное казённое дошкольное образовательное учреждение "Хмелёвский детский сад" Заринского района Алтайского края	3
муниципальное казенное общеобразовательное учреждение "Гоношихинская средняя общеобразовательная школа" Заринского района Алтайского края	3
Муниципальное предприятие "Горторг" города Магнитогорска Челябинской области	3
муниципальное казенное общеобразовательное учреждение "Староглушинская начальная общеобразовательная школа" Заринского района Алтайского края	3
муниципальное бюджетное общеобразовательное учреждение "Средняя общеобразовательная школа №53 с углублённым изучением отдельных предметов"	3
муниципальное казенное общеобразовательное учреждение "Жуланихинская средняя общеобразовательная школа" Заринского района Алтайского края	3
муниципальное казённое дошкольное образовательное учреждение "Смазневский детский сад" Заринского района Алтайского края	3
муниципальное казённое общеобразовательное учреждение "Стародраченинская средняя общеобразовательная школа" Заринского района Алтайского края	3
муниципальное казённое дошкольное образовательное учреждение "Новокопыловский Детский сад" Заринского района Алтайского края	3
Муниципальное дошкольное образовательное учреждение детский сад № 4 "Колосок"	3
Казенное учреждение "Дирекция единого заказчика по городскому хозяйству" муниципального образования Ханты-Мансийского автономного округа - Югры городской округ город Радужный	3
государственное бюджетное научное учреждение "Институт социально-политических и правовых исследований Республики Башкортостан"	3
Рубцовский городской Совет депутатов Алтайского края	3
Государственное бюджетное учреждение Управление по физическому воспитанию учащихся и подготовке олимпийского резерва Республики Башкортостан	3
муниципальное казённое общеобразовательное учреждение "Верх-Камышенская средняя общеобразовательная школа имени Героя Советского Союза Александра Афанасьевича Чиркова"	3
муниципальное казённое общеобразовательное учреждение "Голухинская средняя общеобразовательная школа" Заринского района Алтайского края	3
Муниципальное бюджетное образовательное учреждение дополнительного образования детей "Детская школа искусств № 48"	3
муниципальное казённое дошкольное образовательное учреждение "Яновский детский сад" Заринского района Алтайского края	3
Комитет по образованию администрации Родинского района Алтайского края	3
муниципальное казенное общеобразовательное учреждение "Озернинская основная общеобразовательная школа" Заринского района Алтайского края	3
муниципальное бюджетное общеобразовательное учреждение "Лицей №2"	3
муниципальное казённое общеобразовательное учреждение "Новодраченинская средняя общеобразовательная школа" Заринского района Алтайского края	3
муниципальное казённое общеобразовательное учреждение "Афонинская начальная общеобразовательная школа" Заринского района Алтайского края	3
муниципальное казённое общеобразовательное учреждение "Тягунская средняя общеобразовательная школа" Заринского района Алтайского края	3
Муниципальное общеобразовательное учреждение средняя общеобразовательная школа №6	3
муниципальное бюджетное образовательное учреждение дополнительного образования детей "Детская музыкальная школа №3" города Магнитогорска	3
Муниципальное казенное учреждение "Централизованная бухгалтерия" муниципального образования "Томаринский городской округ" Сахалинской области	3
федеральное казенное учреждение "Исправительная колония № 37 Главного управления Федеральной службы исполнения наказаний по Пермскому краю"	3
Муниципальное общеобразовательное учреждение Константиновская средняя общеобразовательная школа	3
муниципальное казенное дошкольное образовательное учреждение "Верх-Камышенский детский сад" Заринского района Алтайского края	3
Муниципальное казённое учреждение "Городская библиотека"	3
муниципальное казенное дошкольное образовательное учреждение "Новодраченинский детский сад"Заринский район, Алтайский край	3
муниципальное казённое учреждение культуры "Ключевская сельская библиотека"	3
государственное бюджетное учреждение здравоохранения Амурской области "Белогорская больница"	3
Муниципальное казённое общеобразовательное учреждение "Комарская средняя общеобразовательная школа" Заринского района Алтайского края	3
Администрация Верх-Язьвинского сельского поселения	2
Муниципальное казенное учреждение "Ресурсный центр развития и сопровождения образования" Нововаршавского муниципального района Омской области	2
Государственное казенное учреждение Калужской области "Центр безопасности дорожного движения"	2
Муниципальное казенное общеобразовательное учреждение Брединская средняя общеобразовательная школа № 3	2
Муниципальное бюджетное учреждение "Калиновская сельская библиотека"	2
краевое государственное казенное образовательное учреждение дополнительного образования детей "Хабаровская краевая детско-юношеская спортивно-адаптивная школа"	2
Комитет администрации Алтайского края по финансам, налоговой и кредитной политике	2
Муниципальное общеобразовательное учреждение "Брусничная средняя общеобразовательная школа"	2
областное государственное бюджетное учреждение социального обслуживания "Комплексный центр социального обслуживания населения Слюдянского района"	2
Муниципальное бюджетное образовательное учреждение дополнительного образования детей "Станция детского и юношеского туризма и экскурсий г. Горно-Алтайска"	2
муниципальное казенное образовательное учреждение "Скородумская средняя общеобразовательная школа"	2
Муниципальное казенное общеобразовательное учреждение "Средняя общеобразовательная школа с.Кривая Лука"	2
Государственное унитарное предприятие Забайкальского края "Читинское продовольствие"	2
Муниципальное бюджетное учреждение культуры "Вознесенская сельская библиотека"	2
Муниципальное бюджетное образовательное учреждение дополнительного образования детей "Чусовская детская школа искусств имени Балабан"	2
муниципальное бюджетное общеобразовательное учреждение "Средняя общеобразовательная школа № 13 г. Горно-Алтайска"	2
областное государственное бюджетное образовательное учреждение дополнительного профессионального образования "Учебно-методический центр по гражданской обороне и чрезвычайным ситуациям Томской области"	2
Оренбургский центр по гидрометеорологии и мониторингу окружающей среды - филиал Федерального государственного бюджетного учреждения "Приволжское управление по гидрометеорологии и мониторингу окружающей среды"	2
муниципальное бюджетное учреждение здравоохранения "Новоселовская центральная районная больница"	2
Муниципальное учреждение "Администрация Зареченского муниципального образования"	2
муниципальное бюджетное дошкольное образовательное учреждение "Детский сад № 34"	2
муниципальное бюджетное специальное (коррекционное) образовательное учреждение для обучающихся, воспитанников с ограниченными возможностями здоровья "Специальная (коррекционная) общеобразовательная школа - интернат № 104, VIII вида"	2
Муниципальное казенное учреждение культуры "Централизованная клубная система администрации Анцирского сельсовета"	2
комитет по образованию администрации Центрального района	2
Муниципальное общеобразовательное учреждение "Видимская средняя общеобразовательная школа"	2
Федеральное государственное бюджетное учреждение "Научный центр реконструктивной и восстановительной хирургии" Сибирского отделения Российской академии медицинских наук	2
муниципальное бюджетное образовательное учреждение дополнительного образования детей "Павловская детско-юношеская спортивная школа"	2
федеральное казенное учреждение "13 отряд федеральной противопожарной службы Государственной противопожарной службы по Волгоградской области (договорной)"	2
государственное бюджетное учреждение Краснодарского края "Центр спортивной подготовки по тяжелой атлетике"	2
муниципальное бюджетное дошкольное образовательное учреждение детский сад № 5, III категория	2
муниципальное бюджетное общеобразовательное учреждение "Веселовская средняя общеобразовательная школа №1 Акбулакского района Оренбургской области"	2
бюджетное общеобразовательное учреждение города Омска "Лицей № 74"	2
Муниципальное казённое учреждение культуры "Зеньковский сельский Дом культуры"	2

Как хорошо уметь писать... В смысле — кодить :-)

2014-08-11T11:00:00.000+04:00

Круче всего наблюдать, как твоя программа добывает данные. Например, автоматом узнает у Яндекса геокоординаты ста тыщ адресов. Просто смотреть в экран и наблюдать за бегущими в терминале циферками — это завораживает! А потом пойти спать с приятным чувством: программист спит — служба идет.

Или я решил загрузить все свои фото на Фликр, после того как Марисса Меер дала каждому по бесплатному терабайту. Но из-за выбранного образа жизни интернет у меня не всегда быстрый. И из-за этого существующие upload-клиенты с задачей справлялись плохо. Я пару месяцев мучился, прежде чем додумался написать программу на питоне. Всего 30 строк! Запускаешь ее, смотришь как бегут строки в терминале, и настроение улучшается -‿-

Или еще проще. Нынешний провайдер не дает скачивать торренты на нормальной скорости. А нужно 30 гигов данных выкачать. "17 недель до завершения" — показывает торрент-клиент. Ок. Арендую linux-сервер на амазоне (год бесплатно!), выкачиваю туда эти 30 гигов (за полчаса!) и за день закачиваю себе на компьютер обычным wget. А потом еще сутки смотрю, как PostgreSQL обрабатывает эти данные, попутно обращаясь к серверам Bing и Google, чтобы узнать высоты полумиллиона точек на карте — это круче любых наркотиков!

И это все не считая возможности создавать любые интерактивные визуализации данных, вроде карты возраста зданий Москвы...

К чему я это все? Учитесь программировать, если еще не умеете! Всего чуть больше года назад я тоже ничего этого не умел :-)

Карта мира в topojson как ее видит Правительство России

2014-08-08T17:31:00.002+04:00

В финале одной из работ с визуализацией данных на карте мира заказчик попросил поправить карту мира. А именно — добавить к России Крым, сделать границу между Грузией и Абхазией с Южной Осетией и включить обратно в Сербию Косово.

Во всем интернете не нашлось ни одной карты в векторном формате не то, что с Абхазией, а даже с Крымом.

Было бы здорово, если каждое правительство сразу после признания какой-то новой страны или изменения своей территории выпускало новую карту в json'е или любом другом формате.

А так пришлось править. Если кому понадобиться: github.com/meule/maps

Зум на картах d3js

2014-07-11T20:10:00.000+04:00

Во всем интернете не нашел ни одного рабочего примера карты на d3js с зумом. Чтобы zoom одновременно работал и от скролла мышки и от кнопок + – :-( Единственное рабочее решение — функция Ильи Бояндина в ответе на Stackoverflow.

Спасибо, Илья!

Visualize this!

2013-07-22T11:00:00.000+04:00

Мне нравятся методы работы издательства Манн, Иванов и Фербер. Выпуская специализированную книгу, они рассылают её экспертам в отрасли на рецензию. Мне досталась "Искусство визуализации в бизнесе. Как представить сложную информацию простыми образами" Нейтана Яу. И я согласился, поскольку читал ее в оригинале и мне было интересно посмотреть перевод.

Я, правда, не понял, почему оригинальное название "Visualize this" перевели как "Исскуство визуализации в бизнесе". Книга будет интересна не только бизнесу, но и журналистам, и блоггерам, и наверно даже дизайнерам-фрилансерам.

Эту книгу можно разделить на две части. Половина этой книги устареет через пару лет, поскольку описывает существующие программные инструменты для визуализации данных и рассказывает, как с ними работать. А программы сейчас меняются очень быстро. Я вообще считаю, что инструкции к программам не должны печататься на бумаге, а должны быть либо встроены в сами программы, либо работать поверх этих программ. Берегите лес :-)

Печатать же можно более общие знания, принципы и примеры, которые останутся актуальными ещё долго. И вторая часть книги как раз и содержит полезную информацию об отношениях в данных и базовых способах и принципах их визуализаций. Знание этих принципов не сделает вас сразу профессионалами, но позволит вам не делать плохую работу.

Ещё в книге очень много интересных примеров. Многие из них Нейтан Яу публиковал у себя в блоге, и они почти всегда рождали у меня свои идеи для визуализации.

Мне определенно было интересно освежить свои знания о некоторых принципах и снова вдохновиться отличными примерами. Но самая большая польза от книги лично для меня была в другом. Она сподвигла меня начать программировать. И помог мне в этом как раз "недостаток" книги — описание инструмента — как получить данные с определенного сайта с помощью языка программирования Python.

У меня была задача преобразовать 100 тысяч адресов в Санкт-Петербурге в геокоординаты для визуализации на карте. В книге был другой пример, но меня поразила простота, с которой несколько строк кода решают похожую задачу. В результате я потратил пару часов на установку Питона и на адаптацию примера из книги под свои цели. И получил огромное удовольствие, наблюдая как моя программа постепенно решает мою задачу. 100 тысяч адресов моя программа обрабатывала полчаса. Говорят, что именно столько длится оргазм у свиней :-)

Мне кажется, что это лучший способ использовать книгу: взять свою текущую задачу по визуализации данных или придумать её (просмотр примеров даст вам много идей) и читать те места книги, которые относятся к этой задаче. И постепенно её решать, получая удовольствие. Чтобы начать как раз хватит получаса ;-)

Мои книги по инфографике

2012-12-17T12:32:00.002+04:00

Перед очередным расставанием сфотографировал большую часть моих книг по инфографике, визуализации данных и презентациям. И добавил ссылки на Озон и Амазон.

Получилась интерактивная фотография:

Модульная сетка для PowerPoint

2012-10-11T02:26:00.000+04:00

Модульная сетка используется почти всеми дизайнерами. Все дизайнерские программы имеют встроенные инструменты для работы с модульной сеткой. Существуют различные шаблоны модульной сетки для разных областей.

Однако модульная сетка пока очень редко используется в презентациях. Поэтому я решил сделать шаблоны для Powerpoint с несколькими вариантами такой сетки. Выравнивайте объекты на слайде по выбранной сетке или изменяйте её под свой дизайн!

Форматы: 3х4, 4х4, 5х4, 6х4 и сетка Фиббоначи. Есть варианты для размера слайда 4:3 и 16:9.
Скачать архив zip с шаблонами модульной сетки для Microsoft Powepoint (pptx) на сайте Petrogly.ph

Картинки:

Скачать архив zip с шаблонами модульной сетки для Microsoft Powepoint (pptx) на сайте Petrogly.ph

Корреляция между уровнем ВВП и количеством самозанятого населения

2012-08-13T11:30:00.000+04:00

При поиске данных о занятости населения по странам, обнаружил интересную корреляцию.

Чем меньше в стране независимых работников (чем больше людей работают "на дядю"), тем больше ВВП страны на душу населения.

DBpedia+Tableau или Как показать на карте все авиакатастрофы

2012-07-03T14:13:00.001+04:00

В последнее время я часто использую Tableau Public, чтобы покопаться в данных и показать какие-нибудь идеи. Возможности этого инструмента огромны (но тем не менее ограничены ;-).

С некоторых пор я заметил, что мне нужны данные, которые в принципе существуют, но в неструктурированном или полуструктурированном виде. И очень часть в Википедии.

Я спросил в группе LinkedIn Information Access and Search Professionals, как подступиться к Википедии. И Dupont Gérard из Франции посоветовал чудесный инструмент: DBpedia.org.

DBpedia представляет данные Википедии в структурированном виде и позволяет запрашивать их различными методами. Я использовал язык запросов SPARQL. Для не очень сложных запросов достаточно изучения примеров и какого-нибудь хорошего коротенького руководства.

Составляем SPARQL-запрос, немного редактируем полученную таблицу в Excel и визуализируем в Tableau Public.

Вот, например, интерактивная (чуть-чуть) карта всех* авиакатастроф, для которых в Википедии указаны координаты, с количеством жертв и типом самолёта. От вопроса до картинки — меньше часа**!

* Я ещё не разобрался до конца с данными из русскоязычной Википедии, похоже, что в DBpedia они ещё не до конца структурированы.

** Вопрос ещё нужно правильно поставить (причём, это самое важное — что и зачем мы хотим показать!). А картинку — додизайнить. Дизайн и правильная постановка вопроса занимают большую часть времени )

Гайдлайн по визуализации статистики от ООН

2012-02-12T23:21:00.001+04:00

Наткнулся на весьма полезный документ от ООН с рекомендациями по визуализации статистических данных. Рекомендации даны в довольно сжатом виде, но самое главное — с объяснениями, почему надо делать так:

Общие рекомендаций про аудиторию, коммуникации и истории.
Про структуру и язык текстов.
Советы по выбору основных способов визуального представления и их использованию.
Про использование анимации, видео и интерактивных визуализаций.

И всё это с примерами, хорошими и плохими.
Вот пример про недостатки круговых диаграмм. Не смотря на правую картинку, попробуйте расположить сектора круговой диаграммы в порядке возрастания

Всего 50 страниц неплотного текста с картинками.

В документа чувствуются идеи Фью и Тафти, что приятно. Если вы читали их книги, то ничего нового скорее всего не узнаете, но что-то полезное обязательно вспомните. :-)

Кстати, это вторая часть документа, который называется "Making Data Meaningful". Есть ещё первая, про то, как рассказывать истории с помощью статистики. И совсем новая третья часть, про то, как доносить свои идеи в современном медиапространстве.

~~У этого документов один недостаток (и то не для всех) — он на английском.~~
Первые две части, оказывается (спасибо, leonich!), есть на русском: 1 и 2

Small multiples

2012-01-10T11:00:00.000+04:00

Британская Daily Mail недавно опубликовала статью голландских морских пехотинцах. Самое интересное в статье — их фотографии до, во время и после их службы в Афганистане.

Такой вид визуализации Эдвард Тафти назвал small multiples — серия повторяющихся картинок, отличающихся некоторыми деталями.

Сергей Сурганов в своём переводе Тафти назвал такой способ параллельным изложением. Очень интересный и сильный способ визуализации информации.

via

С Новым Годом!

2011-12-31T01:53:00.000+04:00

Вот что Google говорит о том, как часто в его базе данных книг встречается это поздравление, а также упоминание Снегурочки и Деда Мороза:

Пусть в новом году ваши данные станут ещё интереснее!

Database от Stanford — всё понятно

2011-12-20T17:29:00.003+04:00

Я никогда не понимал, зачем в офисном пакете Microsoft Office приложение Access...

Летом увидел где-то ссылку на онлайн-курс Artificial Intelligence, организуемый Стэнфордским университетом. И я на всякий случай зарегистрировался. И сразу зарегистрировался аналогичный курс по базам данных. В итоге на Artificial Intelligence времени не хватило, а базами данных я так увлёкся, что выполнил почти все упражнения и сдал экзамены. Так же как 340 соотечественников...

Я понял, что это как раз то, чего мне не хватало в Excel. И тут же применил для анализа 344 Мегабайт данных о транзакциях (в Access же). Это круто!

Ещё один побочный эффект: логика Tableau Public сразу стала понятной.

Видеолекции на английском, но он такой простой, что через некоторое время можно не включать субтитры. И всё построено на примерах. Точнее на одном примере, который используется в большинстве тем. Теперь мне стало понятно, почему Стэнфорд — это Стэнфорд.

Ответы на некоторые задания необходимо дать в форме текстовых запросов (чаще всего на языке SQL). И вот тут спрятан СамыйПриятныйМомент. Когда ты вводишь ответ, жмёшь кнопку проверки, и система в ответ на несколько строк твоего текста (о котором несколько дней назад ты вообще ничего не знал) пишет "Correct". Радости твоей нет предела!
И так два месяца )

Спасибо Jennifer Widom!

Кстати, в следующем году открывается ещё несколько интересных бесплатных курсов: pgm-class.org (внизу страницы весь список).

8 000 000 строк данных за 24 минуты

2011-12-07T17:30:00.000+04:00

Вот что получается, если самой лучшей и единственной в России команде видео-инфографики дать 8 миллионов строк данных о транзакциях по пластиковым карточкам:

Инфографика: Транзакции по картам Сбербанка в реальном времени

Шедевр визуализации от Росстата

2011-11-26T03:18:00.000+04:00

Картинка из Статистического бюллетеня "Основные показатели сельского хозяйства в России"

Там ещё много таких. Но сразу по ссылке увидеть их не получится. Нужно сначала скачать архив RAR, разархивировать его и открыть файл DOC.

Интересно, это кто-то использует вообще?

7 000 000 000

2011-11-11T03:04:00.002+04:00

Вы наверно знаете, что совсем недавно нас на планете стало что-то около семи миллиардов. Сколько это? Как это случилось? Почему? Что будет дальше?
На эти вопросы своими прекрасными работами отвечают инфограферы The Economist, The Guardian, ООН, NPR.

В блоге Daily Chart от The Economist сразу две записи об этом событии.
В первой показано, сколько места заняло бы население планеты, если всех людей поставить плечом к плечу в разные времена. И сколько места досталось бы каждому человеку, если всех людей равномерно распределить по всей поверхности суши Земли. Сейчас это размер Красной площади.

Ещё один Daily Chart от Экономиста — видеоинфографика с интересными решениями диаграмм:

Ещё одна видеоинфографика медиа агенства NPR рассказывает, как нас стало 7 миллиардов:

На сайте The Guardian можно интерактивно изучить рост и прогноз роста населения разных стран. А самое главное — для каждой страны приводятся три другие страны с похожими паттернами роста населения и продолжительности жизни. Для России это Германия, Румыния и Япония.

Красивое видео от National Geographic:

И наконец ООН вместе с SAP сделали сайт с интерактивной инфографикой для исследования различных демографических показателей населения Земли в прошлом и будущем. Можно посмотреть корреляцию демографических, социальных и экономических показателей. На сайте есть видео-ролики, показывающие, как с помощью такой инфографики рассказывать интересные истории.

Что ещё можно сюда добавить?

iLive

2011-10-09T01:23:00.000+04:00

В память об этом Великом Человеке. Juan Osborne взял 2500 сообщений, оставленных после смерти Стива Джобса, и и показал самые часто встречающиеся.

Текстовые слайды

2011-10-03T17:36:00.000+04:00

Наткнулся на слайд из презентации компании Амедиум. Слайд о том, что текста на слайдах должно быть мало:

Кручу, верчу, показать хочу

2011-08-22T21:54:00.000+04:00

ООН давно публикует очень много разнообразных данных со всех концов света. Например, данные воспроизводства населения в разных странах. Существует много вариантов визуализации этих данных — графики, столбчатые и линейчатый диаграммы, спарк-лайны, etc. И в зависимости от задачи лучше использовать определённые. И необязательно показывать данные как есть. Например, можно произвести несложные действия над этими данными и показать их совсем в другом свете.

Ребята из отдела инфографики The Economist взяли и посчитали для каждой страны количество лет, необходимое, чтобы всё население вымерло при существующих показателях убыли населения. И показали на диаграмме:

Конечно, сравнение весьма условное и не учитывает многие другие факторы. Однако теперь данные "заговорили". Пять веков более понятно, чем 1,2 дочери на каждую женщину.