О статистике, по-русски

События: Мастер-класс Андрея Скворцова в «Digital October»

Infoanalyze — Thu, 03 May 2012 17:38:50 +0000

Отчет с мастер-класса Андрея Скворцова в "Digital October" с видеозаписью уже готов.

28 марта в 19:30 в Digital October выступит Андрей Скворцов с мастер-классом об инфографике и искусстве представления данных в удобном и наглядном формате.

Андрей Скворцов

Директор и совладелец крупнейшей в России студии видеоинфографики - компании "Меркатор", куратор проектов "Россия в цифрах" (телеканал «Россия-24»), "Москва в цифрах" («Москва-24»), а также службы инфографики телеканала «Россия-1». Автор и соавтор сотен инфографических роликов и презентационных фильмов для крупнейших компаний России и мира (Vimetco, Orange, PWC, STADA, «Лаборатория Касперского», Yota, Ростелеком, РЖД, Сбербанк, Газпром и др.). Обладатель золотой медали Нью-Йоркского фестиваля презентационных фильмов, с 2010-го года член жюри фестиваля от России. Академик российской Академии телевидения, ведущий "Погоды на НТВ" (как сам говорит, "не отпускает образование метеоролога"). Выпускник Гарвардской школы бизнеса (курс OPM), программы MBAбизнес-школы AIBEc, кафедры метеорологии географического факультета МГУ. Четырехкратный рекордсмен России по парашютному спорту (в классе больших формаций).

В современном мире коммуникация становится все более визуальной. Газеты, телевидение, интернет, докладчики -- все больше и больше "говорят картинкой". Объем информации возрастает, что влечет за собой рассеивание внимания аудитории и увеличение затрат времени на поиск нужных данных.

Один из удобных способов решения проблемы представления информации – инфографика. С ее помощью можно в понятной и простой форме рассказать зрителю о количественных и статистических данных. О том, какие задачи решает инфографика, и как с ней работать, расскажет Андрей Скворцов, директор и совладелец крупнейшей в России студии видеоинфографики.

Андрей коснется вопросов:

Каковы общие приниципы составления инфографики?
Нужна ли инфографика коммерческим компаниям?
Какие проблемы можно решить с ее помощью?
Как сделать хорошую инфографику, даже не умея рисовать?
Как оценить качество профессиональной инфографики?
Какой бывает инфографика, какие ее виды существуют?
В чем особенности видео инфографики?

Кроме того, Андрей расскажет об опыте создания компании, занимающейся инфографикой, и о важных условиях ее успешной работы: методологии разработки, базовых принципах, подборе и образовании сотрудников.

Для участия необходимо зарегистрироваться.

Кстати, по событиям в области инфографики есть отличная инфографика, сделанная авторами блога "Inforapher"

Точечная гистограмма в R (dotplot, ggplot2)

chetvericov.ru — Sun, 25 Mar 2012 13:02:41 +0000

В ggplot2 версии 0.9.0 добавился интересный вариант визуализации данных — dotplot. По сути это гистограмма, которая отражает напрямую количество наблюдений. Не знаю, как это по другому описать, просто взгляните на график:

Dotplot + density plot, ggplot2

Линиями отражено распределение плотности, «точками» — наблюдения. Шкала x — средняя точность ответов. Данные представлены для двух групп из одного из моих экспериментов. На графике четко видно, что в обеих группах есть люди, которые просто не прочитали инструкцию, или прочитали неправильно (точность 0.1 — правильный ответ на уровне шанса) =)

Делается такой график вполне просто:

> ggplot(data=art_ev_aggr,aes(x=accuracy)) 
+ geom_density(aes(linetype=factor(target_time),y=..scaled..)) 
+ geom_dotplot(dotsize = .5,aes(size=2, fill=factor(target_time)))
+ labs(fill="Target time", linetype="Target time")

Когнитивная психология и эмоции. Блог Андрея Четверикова, 2012. |
оригинал заметки

Метки: dotplot, ggplot2, R, визу, визуализация

Полиномиальная регрессия через функцию lm

Язык и среда R — Fri, 23 Mar 2012 14:06:38 +0000

Работаю в R недавно, может этим фактом и вызван следующий вопрос, но хотелось бы узнать на него ответ для дальнейшего самосовершенствования.

В R есть большое количество способов построить модель полиномиальной регрессии, я обычно пользовался банальным:
fit <- lm(y~poly(x,2)…)
Но недавно мне понадобилось вывести полученную модель в виде стандартного уравнения полиномы второй степени:
y = c + b*x + a*x^2
Казалось бы все просто, пишем coef (fit) — вот нам и коэффициенты… Но тут и началось самое интересное, рассмотрим на примере.

Есть простая таблица data:

x y

41.82315 0.3862740

63.61050 0.3161208

88.39984 0.3040334

97.02666 0.2243317

99.19001 0.1723193

Опишем зависимость y от x, приняв за регрессионную модель полином второй степени. Воспользуемся двумя способами, которые обычно в литературе указываются как эквивалентные:
fit1 <- lm(y ~ poly(x, 2), data=data)

fit2 <- lm(y ~ x + I(x^2), data=data)

Для того, чтобы доказать эквивалентность моделей без математических ухищрений воспользуемся функцией predict, предварительно создав проверочную таблицу new.data:

1 40

2 50

3 60

4 70

5 80

6 90

7 100

Проверяем:

predict (fit1, new.data)

1 2 3 4 5 6 7

0.3768877 0.3700196 0.3541075 0.3291514 0.2951513 0.2521072 0.2000191

predict (fit2, new.data)

1 2 3 4 5 6 7

0.3768877 0.3700196 0.3541075 0.3291514 0.2951513 0.2521072 0.2000191

Значения одинаковые, соответственно модели эквивалентны.

Теперь попытаемся записать математическую формулу полиномы, которая, как мне казалось, для fit1 и fit2 должна быть одинакова.

coef (fit1)

(Intercept) poly(x, 2)1 poly(x, 2)2

0.28061583 -0.15108564 -0.03106045

coef (fit2)

(Intercept) x I(x^2)

3.139202e-01 3.382987e-03 -4.521997e-05Оказывается, что рассчитанные коэффициенты у моделей различны. Подставим их в уравнение полиномы второй степени и посчитаем результат, например, для значения x = 40:

fit1 y = 0.28061583 + (-0.15108564*x) + (-0.03106045*x^2)

0.28061583 + (-0.15108564*40) + (-0.03106045*(40^2))

[1] -55.45953

fit2 y = 3.139202e-01 + (3.382987e-03*x) + (-4.521997e-05*x^2)

3.139202e-01 + (3.382987e-03*40) + (-4.521997e-05*(40^2))

[1] 0.3768877

Очевидно, что уравнение для fit1 дает неверный результат, в то время как уравнение для fit2 — верный… Или я где-то ошибся? Буду благодарен за разъяснения!

Ядерное сглаживание распределений

Язык и среда R — Thu, 22 Mar 2012 21:23:53 +0000

Если возникает задача оценить распределение переменной в генеральной совокупности, а наблюдений не очень много, привычный инструмент — гистограмма — может давать не вполне удовлетворительный результат: на графике будут видны провалы и нерегулярные пики. Задачу моделирования гладкой кривой плотности распределения можно решить с помощью метода сглаживания ядерной функцией (kernel density estimation). Представьте, что гистограмма вместо отдельных «кубиков» будет строиться из мини-распределений заданной формы: треугольников, нормальных распределений и т.п. Суммируя все составляющие такой «гистограммы», мы и получим сглаженную кривую.
В R имеется функция density(), которая реализует ядерное сглаживание. Рассмотрим самый простой пример для двух наблюдений:
x <- c(3, 9)
d <- density(x)
plot(d)
Используемый по умолчанию способ сглаживания (не самый оптимальный, но оставленный по историческим причинам) даст бимодальное распределение. Функции можно передавать множество параметров, влияющих на характер и степень сглаживания. Один из параметров (bw) задает величину рассеивания в ядерной функции. Чем больше значение параметра, тем сильнее будет сглажена кривая (соответственно, детали теряются). Так, density(x, bw = 5) даст уже одномодальное нормальное распределение. Параметру можно передать и название метода определения оптимального интервала (скажем, метода Сниффера и Джонса, SJ).
Второй параметр, kernel, задает ядерную сглаживающую функцию: «gaussian», «epanechnikov», «rectangular», «triangular», «biweight», «cosine», «optcosine». Вот такой вызов построит распределение, составленное из двух треуголников: density(x, kernel = «triangular», bw=»SJ»)

Книги: Джон Маэда — Законы простоты

Infoanalyze — Wed, 15 Feb 2012 15:00:42 +0000

Книга о дизайне, юзабилити и восприятии в целом. Рамками инфографики не ограничивается. Читайте и развивайте чувство минимализма.

10 законов для бизнеса, дизайна и жизни

1. Сокращайте

Самый легкий способ достичь простоты — разумно сократить то, что уже есть. Если сомневаетесь, убирайте. Уменьшите все, что можно; скройте второстепенное; сохраните при этом ценность продукта.

2. Организация

При правильной организации громоздкое может стать компактным. Хороший дизайнер смотрит на мир прищурившись. Он прищуривается, чтобы увидеть лес за деревьями. Прищурьтесь и вы, чтобы увидеть больше, видя меньше.

3. Время

Просто берегите время. Когда мы экономим время — или нам кажется, что экономим, сложное кажется простым.

4. Учись

Знания упрощают жизнь. Трудные задачи кажутся легче, если их «нужно знать», а не «хорошо бы знать».

5. Различия

Простота и сложность неразлучны. Я отчетливо слышу чередование простого и сложного во всех событиях своей жизни. А вы слышите его?

6. Контекст

Находящееся в отдалении не значит второстепенное. Сложность подразумевает чувство потерянности, простота — понимание того, где ты находишься.

7. Эмоции

Чем больше эмоций, тем лучше. Наше общество, системы и вещи требуют активной любви, внимания и чувств — деловая ценность которых не очевидна прямо сейчас.

8. Доверие

Веруем в простоту. Чтобы научиться плавать, нужно научиться доверять воде.

9. Неудача

Не все поддается упрощению. Неудачный эксперимент по упрощению, проведенный одним человеком, может оказаться успешным для другого, создающего прекрасную, сложную форму. Чтобы перейти от простого к сложному, нужно лишь слегка изменить точку зрения.

10. Самое главное

Простота заключается в том, чтобы убрать очевидное и добавить необходимое.

Почему стоит прочесть книгу Джона Маэды «Законы простоты»?

Джон Маэда

Главным образом для того, чтобы перестать каждый день усложнять свою жизнь! Читая такого рода книги, я каждый раз делал один и тот же вывод: Все истины можно перенести на события собственной жизни! Эта книга — не исключение.

Для того, чтобы понять: Не все старые вещи годятся только для того, чтобы пылиться в шкафу или на валяться на балконе. Любая вещь — предполагаемое творение искусства. Дайте ей новую жизнь: облеките ее в новую форму, добавьте эмоции и она будет стоит миллионы!

Для того, чтобы понять: Жизнь станет хоть немного идеальней, если вы перестанете все усложнять…

Надеюсь я вас убедил! Ну а выбирать — читать или не читать, уже вам…

Приобрести книгу Джона Маэды «Законы простоты» вы можете в интернет-магазине Ozon!

Инфографика в примерах

Про объём выборки

SPSS в психологии и социальных науках — Wed, 15 Feb 2012 09:14:25 +0000

Впал в некоторое затруднение - есть ли какие-то внятные математические (или иные) основания для определения размера выборки в случае применения ранжирования в целях многомерного шкалирования индивидуальных предпочтений?

Ну то есть я понимаю, что субъектов оценивания должно быть больше, чем объектов. Но вот сколько? Чтобы это отражало что-то, существующее в генеральной совокупности, допустим, "жители Санкт-Петербурга"?

Нутром чую, что это число явно меньше, чем в ситуации ответа на вопрос - "какой коньяк вы предпочитаете с утра" или "за Путина вы бы проголосовали в это воскресенье или в следующее?". Но вот почему оно меньше...

Видимо, всё-таки, проблема в том, что я не вполне понимаю, интервалы для чего могли бы быть критериями точности. Я же не вычисляю средние ранги...

UPD:
Для стандартной ситуации вроде бы есть некоторая принятая формула:

Допустим, я хочу получить средние ранги с точностью 0,5 при 5% уровне значимости. И ранжирую 10 объектов.

Правильно ли я понимаю, что за стандартное отклонение в этой ситуации можно будет принять что-то около 2,87 - т.е., стандартное отклонение множества множеств [1:10]?

И тогда в этой задаче получается

1,96^2 * 2,87^2 / 0,5^2, т.е. 127 человек?

Дэшборд — красота или понятность?

Infographer.ru — Tue, 14 Feb 2012 06:57:04 +0000

В последнее время мы тратим достаточно много времени на отчётные дэшборды. Поделюсь с вами темии мыслями об эффективности выбора внешнего вида показателя, которые занимают мой мозг в последнее время.

Материалы по теме:

Работать c infographer? Ищем: аналитик-проектменеджер, иллюстратор, php/js-программист, SEO-специалист.

Хотите помогать нам? Ищем волонтёров в общественный infoпроект.

Хотите узнать больше? Посмотреть все записи по темам cognos, выбор показателя, дэшборды, когнос, правила визуализации, софт для визуализации, спидометр, столбиковая диаграмма, термометр, элементарные визуализации.

R для серверного программирования

Язык и среда R — Mon, 13 Feb 2012 09:59:26 +0000

Похоже, этого тут еще не было.
Наткнулся на интерфейс SSSR (former RWeb), позволяющий использовать R для server side scripting.

Если кто пользовался или соберется попробовать, делитесь впечатлениями.

регрессионный анализ

SPSS в психологии и социальных науках — Sun, 12 Feb 2012 17:30:17 +0000

Здравствуйте!

Подскажите, пожалуйста, в регрессонном анализе нужно выбирать метода "Исключение" или "Шаговый отбор"?
Спасибо заранее

Интересное за неделю

Jarens — Sun, 12 Feb 2012 01:07:00 +0000

Прощу прощения у всех, на чьи письма ответил с таким запозданием — никак не разберусь с редиректом почты через c-panel =( # И почему я не наткнулся на этот пост вчера во время подготовки к выступлению в ФОМе? =( http://t.co/DCMeC72h # Визуализация твитов с Международного Экономического форума в Давосе, выполненная в Gephi: http://t.co/64unm2bM Скоро сделаю [...]