Eye Tracking Research

Desviación típica para interpretar mejor los promedios

2015-06-10T07:33:00.002-07:00

En los talleres que imparto con estudiantes para aprender a utilizar un eye tracker suele surgir una duda en el momento de analizar los datos. Yo les pido que además de calcular el promedio obtengan la desviación típica. Se ve que es un concepto que no han visto antes y siempre improviso ejemplos para tratar de que lo entiendan.

Este es el último que se me ha ocurrido, no tiene nada que ver con el eye tacking, la verdad, pero creo que lo usaré más veces mientras se me ocurre un ejemplo mejor.

Es este:

Nos piden que decidamos cuánto tiempo debe estar el semáforo de los peatones en verde en un determinado cruce; para llegar a la respuesta vamos al cruce en cuestión e instalamos un cronómetro que pueda contar el tiempo que tardan las personas en cruzar; y recogemos los datos en dos momentos distintos del día:
- a las 8:15 de la mañana
- a las 5:15 de la tarde

Obtenemos estos datos de 10 personas en cada sesión, expresados en segundos, y los ordenamos de menor a mayor:
Por la mañana (8; 9; 9; 9; 9; 9; 10; 10; 10; 11)
Por la tarde (4; 5; 5; 6; 8; 10; 11; 12; 15;18)

Si nos quedamos con el dato del tiempo que tardan en promedio tenemos que:

Por la mañana: 9,4 segundos

Por la tarde: 9,4 segundos

Ahora bien, si aplicamos la fórmula de la desviación estándar (disponible en Excel, sin ir más lejos) tenemos que en el caso de las mañanas los datos son muy homogéneos, es decir, la desviación de los datos del promedio es pequeña (0,84), mientras que la desviación que hay en el grupo de datos tomados por la tarde es mucho mayor (4,67).

A la hora de describir qué datos tenemos, saber la desviación estándar nos permite ver si los datos recogidos con muy homogéneos entre sí o si no lo son, y podemos buscar una explicación para entenderlos ¿por qué en este ejemplo del semáforo existe una diferencia tan grande en la desviación estándar de los datos de la mañana y de la tarde? Vamos al cruce y observamos a las personas, entonces descubrimos que:

- A las 8:15 de la mañana el perfil de las personas que cruzan es muy homogéneo: tienen entre 20 y 50 años y se dirigen, sin entrenerse, a sus puestos de trabajo
- A las 5:15 de la tarde el perfil de personas que cruzan es mucho más variado: niños y adolescentes que salen del colegio en grupos o con sus madres/padres, personas mayores, personas paseando perros, personas que se detienen a saludarse unos segundos... pero también personas haciendo deporte.

En este ejemplo se puede ver cómo el promedio de tiempo que tardan las personas en cruzar por la mañana y por la tarde es el mismo, en cambio los datos de por la mañana son muy parejos y por la tarde están más dispersos.

"He hecho un test con un eye tracker y ahora no sé qué hacer con los mapas y datos para tener resultados"

2015-03-20T02:10:00.002-07:00

Y a quien no le haya pasado que tire la primera piedra.

El entusiasmo que nos genera contar con un dispositivo de eye tracking y la facilidad con la que podemos preparar un test -cuestión de minutos- hace que nos precipitemos a testear sin tener clara la base de cualquier investigación: el objetivo.

Antes de remangarse frente al eye tracker debemos respondernos a la siguientes preguntas:

- ¿Por qué? Por qué queremos testear determinados estímulos (páginas web, imágenes...). Si vamos a hacer un test es porque hemos detectado un problema o al menos lo intuimos, o porque queremos saber cuál de las opciones será mejor para un determinado objetivo

- ¿Para qué? Para qué vamos a usar los resultados. Saber qué consecuencias tendrá nuestro test nos ayuda a plantearlo

Una vez fijado el objetivo tenemos que pensar cuidadosamente:
- Los estímulos. Según qué estímulos pongamos variará la forma de ser mirados. Si comparamos fotografías, los planos, si hay personas o no, los colores... todo influirá, y podemos llegar a conclusiones erróneas si no tenemos en cuenta las diferencias que hay entre los estímulos.
- La muestra de usuarios. Debe ser representativa de la población a la que queremos estudiar, deben ser target, y no sólo en cuanto a género y edad, sino a su actitud, comportamiento, gustos, expectativas... con respecto a lo que estamos testeando.

Y algo importante que es fácil que en el entusiasmo de preparar los estículos y contactar con usuarios se nos olvide: planificar las métricas que se van a necesitar. Los equipos actuales cuentan con software que facilita la obtención de métricas, pero es nuestro criterio el que debe escoger qué métricas son las adecuadas para los fines que perseguimos, así como lo que significan para nuestro proyecto en particular. Para ver las métricas que nos ofrecen los eye trackers os remito a estas entradas previas del blog:

En mi opinión, es un error tomar los mapas que da el eye tracker como resultado de un estudio. Yo recomiendo usar los mapas como primera toma de contacto una vez realizadas las grabaciones. Me sirven para hacerme una idea de cómo han mirado las personas, y a partir de ahí busco datos numéricos (métricas) para hacer un estudio estadístico. Una vez que tengo resultados estadísticos voy de nuevo a ver los mapas para dar con aquellos que mejor ilustran los resultados, y acompaño la estadística de esos mapas para que los números sean más fáciles de entender.

Y por supuesto, antes de lanzarnos a hacer un estudio con eye tracking, conviene buscar bibliografía para ver qué métricas han usado otros investigadores antes que nosotros. Eso nos permite validar nuestro planteamiento, tomar ideas que no se nos había ocurrido y a veces hasta comparar nuestro resutado con el de otros colegas.

Ahora sí que estamos preparados para grabar!

Eye tracking aplicado al estudio de las imágenes que usa la prensa en Facebook

2015-03-16T03:05:00.002-07:00

Se publican casi al mismo tiempo estos dos estudios en los que he tenido el gusto de participar. Ambos tienen 3 elementos en común:
- el dispositivo de eye tracking
- la fotografía de prensa
- las redes sociales, concretamente en Facebook.

Uno de ellos hace un recorrido por lo que se ha publicado, el otro hace un estudio con usuarios. Comparto aquí el resumen y la referencia:

Arrazola, Víctor; Marcos, Mari-Carmen (2014). Fotografía de prensa y redes sociales: la técnica de eye tracking. Ámbitos. Revista Internacional de Comunicación, 27.

El artículo presenta la técnica del seguimiento de la mirada (eye tracking) y analizalos estudios previos que, basándose en esta técnica, se han realizado sobre la prensa en las redes sociales, con especial detenimiento en Facebook. El artículo también hace un recorrido por el papel de la imagen en la prensadesde los inicios del fotoperiodismo hasta la aparición del periodismo digital.Dela revisión bibliográfica realizada se desprende que existe un claro vacío de investigaciones que aborden un análisis conjunto de las imágenes y las redes socialeshaciendo uso de la técnica del seguimiento de la mirada.

Cárcamo, Luis; Marcos, Mari-Carmen; Cladellas, Ramon; Castelló, Antoni (2015). News photography for Facebook: effects of images on the visual behaviour of readers in three simulated newspaper formats. Information Research, vol. 20, n.1.

Introduction. The social networks have changed the news media scene and the media are striving to adapt to this new space by posting news that is attractive to their users. On Facebook in particular, the inclusion of images in news posts is very important, as they compete with the images depicting the users’ personal interests and those of their social circle.
Method. An empirical study was applied in which twenty-four users (Spanish university students) were shown three Facebook walls with news presented in three different formats according to the presence or absence of images and the size of these images. The experiment was recorded with an eye tracking device that tracked the movement of the users’ eyes.
Results. As the size of the images in the news posts varied, we found significant differences in the amount of time people took to start looking at each post, as well as the length of time their eyes remained on these posts. The post formats designed with larger images were looked at for a longer time and were clicked more often in order to read the news text. Generalization of these results must be restricted to the specific cultural context.
Conclusions. The size of the image in a news post presented on Facebook is extremely important in order to attract and retain readers. The scientific value of the study lies in researching visual behaviour in the consumption of news on Facebook.

Measuring UX with eye tracking

2014-02-14T04:23:00.002-08:00

Until now, I used the book of Holmqvist et al (2011) as the guide for eye tracking measures.
The Aga Bojko's book "Eye tracking the User Experience" brings me now a more accurate group of measures specifically though for UX. Here you are:

1) Measures of attraction for an area
- Noticeability measures:
   - % of users who fixated an area
   - Fixations done before looking to that area
   - Time to first fixation since the stimuli is presented until they fixated into that area
- Interest measures:
   - Number of fixations done in that area
   - Total fixation duration of the gaze in that area
   - % of time that that area is fixated
- Emocional arousal measures:
   - Pupil diameter

2) Measures of performance for an area
- Mental work measures:
   - pupil diameter
- Cognitive processing measures:
   - Duration of the fixations on that area
- Target findabiblity measures:
   - % of users who fixated in that area
   - Fixations done before looking to that area
   - Time to first fixation since the stimuli is presented until they fixated into that area
- Target recognizability measures:
   - Number of ocular visits until clicking that area
   - Time from the first fixation in that area until it is clicked

References:
Kenneth Holmqvist, Marcus Nyström, Richard Andersson, Richard Dewhurst, Halszka Jarodzka, and Joost van de Weijer, Eye Tracking: A Comprehensive Guide to Methods and Measures. London: Oxford University Press, 2011.

Bojko, Aga. Eye tracking the user experience. Rosenfeld Media, 2013.

Recopilación de artículos realizada por Tobii

2013-12-11T06:53:00.001-08:00

Tobii, una de las empresas que frabrica y vende eye tackers, ha creado un perfil en Zotero donde recoge publicaciones de estudios que han usado esta tecnología.

La base de datos es bibliográfica, es decir, no contine los documentos a texto completo, pero no es difícil conseguir la mayoría de ellos si estás en la universidad, o incluso contactando por email con los propios autores.

Aquí está:
https://www.zotero.org/groups/tobii_eye_tracking_references/items

Métricas de Tobii Studio

2013-12-09T02:19:00.003-08:00

Todas las métricas que da Tobii Studio pueden ser útiles, depende del estudio se escogen unas u otras, tanto desde el módulo de estadísticas como más en bruto de los logs de Tobii.

Algunas métricas dan la opción de “include zeros” o no incluirlos. Si un usuario no registra valores en una AOI, Tobii puede hacer dos cosas: dejar en blanco la celda o poner un cero. Si la pone en blanco, no la considerará para hacer promedios y otras medidas descriptivas; si pone un cero, sí lo considerará para estos promedios. Según el estudio nos interesará considerar o no estos casos en los que no se registran miradas de un usuario en un AOI.

En estudios de usabilidad se suelen usar más estas:

1. Medidas relacionadas con la capacidad de atracción de un elemento

Time to first fixation (TFF) en un AOI, nos dice el tiempo que tarda cada persona en fijar su atención por primera vez en el AOI objeto de estudio. Se puede saber también cuántas fijaciones ha habido antes de llegar a esa AOI (Fixations Before, BFB), así como la duración de esa primera fijación (First Fixation Duration, FFD)

2. Medidas relacionadas con la intensidad de la mirada en un elemento

Fixation duration (FD) indica la duración promedio de cada una de las fijaciones de cada participante; para interpretar este dato hay que tener en cuenta que las fijaciones largas implican más atención (más esfuerzo cognitivo), por ejemplo si no se entiende una palabra se mira más tiempo; pero también puede significar que hay un mayor interés (si algo gusta se mira más). En cada experimento debe estudiarse bien el significado de FD.

También el Fixation count (FC) es un indicador de la intensidad, nos dice el número de fijaciones en un área por parte de una persona o de un grupo de personas. Mayor número de fijaciones implican mayor dificultad o mayor interés, según el tipo de elemento del que se trate y del estudio que se esté llevando a cabo.

Fruto de la multiplicación del número de fijación por la duración de cada una de ellas se obtiene la métrica Total fixation duration (TFD), que indica el tiempo total que los participantes han dedicado a mirar un AOI. Como ya se ha dicho, más tiempo mirando implica mayor dificultad o mayor interés.

3. Medidas relacionadas con las veces que la mirada regresa a un elemento

Visit count (VC) cuenta cuántas veces la mirada ha entrado en un AOI. Se puede saber también cuánto duran esas visitas (Visit Duration, VD) y obtener la multiplicación del número de visitas por su duración para saber el tiempo total, dado por la métrica Total Visit Duration (TVD).

4. Medidas relacionadas con el clic sobre un elemento (para páginas web)

Time to first mouse click (TFC): tiempo que pasa una persona en la página web hasta que hace el primer clic.

Time from first fixation to next mouse click (TFFC): tiempo que pasa una persona desde que se registra la primera fijación en un AOI hasta que clica en ella.

5. Medidas relacionadas con el porcentaje de usuarios

- Percentage fixated (%fix): porcentaje de usuarios que han mirado un AOI

- Percentage clicked (%click): porcentaje de usuarios que han clicado un AOI

Pantalla de selección de métricas de Tobii Studio 2.8

Pictures, screen-shots and videos about our reseach with eye tracking

2013-12-02T03:46:00.006-08:00

Here you are some videos:
http://www.youtube.com/playlist?list=PL0882DD12B0553E0D

And some pics and screen-shots:
http://www.flickr.com/photos/2viajando/sets/72157638277106476/

5 años de eye tracker en el DigiDoc y el Web Research Group

2013-11-28T05:16:00.003-08:00

Pareciera que fue ayer cuando tuve por primera vez un eye tracker frente a mi y el reto de hacer un estudio sobre comportamiento de las personas ante los resultados de búsqueda. Nos habían prestado un Tobii de la serie 50 como premio a la mejor propuesta de investigación con eye tracker, era un premio que daba Alt64 en el congreso Interacción, creo que en el año 2009. Parece que se presentaron pocas propuestas... el hecho es que lo ganamos! Recuerdo que no fue fácil, y que gracias a dos investigadores de Barcelona Media supimos preparar el experimento. Ganar ese premio no fue cualquier cosa, al menos para mi supuso un antes y un después en mi línea de trabajo en HCI (Human-Computer Interaction).

Un tiempo después (en 2011 si no recuerdo mal), pudimos tener nuestro propio eye tracker, de nuevo un Tobii de la serie 50. Y desde entonces lo hemos usado en la UPF tanto investigadores del grupo DigiDoc como del Web Research Group. Hoy hago un recuento de los trabajos que hemos publicado en estos años:

En principio nos interesaba sobre todo estudiar cómo se comportan ante la lista de resultados que da un buscador:

González-Caro, Cristina; Marcos, Mari-Carmen (2011). “Different Users and Intents: An Eye-tracking Analysis of Web Search”. In: King, Irwin; Nejdl, Wolfgang; Li, Hang. WSDM'11 Fourth ACM International Conference on Web Search and Data Mining (Kowloon, Hong Kong, February 09 - 12, 2011). New York: ACM, 2011. (Disponible online en la web de Yahoo! Research)
Marcos, Mari-Carmen; González-Caro, Cristina (2010). El comportamiento de los usuarios en la página de resultados de los buscadores: un estudio basado en la técnica de eye tracking. El Profesional de la Información, 19:4, 348-358. (2.3 Mb). [URL alternativa]

Luego lo ampliamos a cómo se comportan en el proceso de búsqueda completo:

Marcos, Mari-Carmen; Nettleton, David; Sáez, Diego (2012). Evaluation of User Search Behaviour using a Web Search Log and Eye Tracking data. Proceedings of the BCS HCI 2012, People & Computers XXVI (Birmingham, UK), 262-267.

Después probamos a aplicado a un estudio de interacción con TV conectada:

Marcos, Mari-Carmen; Mansilla, Verónica (2013). Video on Demand: Usability Challenges for Connected TV. Workshop Living Room Experience: Exploring and Enhancing the User Experience for Television. CHI'13, April 27-May 2, 2013, Paris, France.
Mansilla, Verónica; Marcos, Mari-Carmen (2013). User experience en Televisión Conectada: un estudio con usuarios. El Profesional de la Información, 22:2, marzo-abril, 122-127.

Ultimamente estamos estudiando factores culturales:

Marcos, Mari-Carmen; García-Gavilanes, Ruth; Bataineh, Emad; Pasarín, Lara (2013). Cultural Differences on Seeking Information: An Eye Tracking Study. Repositorio-e de la UPF.
Marcos, Mari-Carmen; García-Gavilanes, Ruth; Bataineh, Emad; Pasarin, Lara (2013). Using Eye Tracking to Identify Cultural Differences in Information Seeking Behavior. Workshop Many People, Many Eyes. CHI'13, April 27-May 2, 2013, Paris, France.

Y hemos hecho algun estudio más metodológico sobre diseño de experimentos con eye tracker:

Marcos, Mari-Carmen; Rello, Luz. Order effect y presencia de erratas en estudios de usuarios con eye tracking. Interacción 2013 (Madrid, 17-30 septiembre 2013).

Además hemos hecho varios estudios sobre lectura en pantalla, varios de ellos con grupos de usuarios con dislexia, en lo que Luz es la investigadora experta y en su web hay más trabajos sobre el tema:

Rello, Luz; Marcos, Mari-Carmen (2012). An Eye Tracking Study on Text Customization for User Performance and Preference. LA-Web 2012 (Cartagena, Colombia, 25-27 October 2012), 64-70.

Rello, Luz; Pielot, Martin; Marcos, Mari-Carmen; Carlini, Roberto (2013). Size Matters (Spacing not): 18 Points for a Dyslexic-friendly Wikipedia. W4A2013 Technical May 13-15, 2013, Rio de Janeiro, Brazil. Co-Located with the 22st International World Wide Web Conference.

Y también hemos hecho alguna investigación sobre lectura de noticias online:

Arapakis, Ioannis; Lalmas, Mounia; Cambazoglu, B. Barla; Marcos, Mari-Carmen; Jose, Joemon M. "User Engagement in Online News: Under the Scope of Sentiment, Interest, Affect, and Gaze". JASIST (aceptado).
Rovira, Cristòfol; Capdevila, Jofre; Marcos, Mari-Carmen. “La importancia de las fuentes en la selección de artículos de prensa online: estudio de Google Noticias mediante eye-tracking”. Investigación Bibliotecológica, 62 (aceptado).

En este momento (enero de 2015) tenemos entre manos 4 cosas:

un estudio con eye tracking orientado al marketing digital usando técnicas de neuromarketing (con Edgar Sánchez)
un estudio sobre el comportamiento visual de las personas en la lectura de mapas conceptuales (con Cristòfol Rovira).
un estudio sobre diferencias culturales que afectan a cómo las personas nos comportamos frente a un estudio de laboratorio, para lo que colaboramos de nuevo con una universidad de Dubai y enfocamos el estudio a un grupo de mujeres universitarias (con Ruth García y Pilar Medina)
y además tenemos pendiente publicar el estudio de rich snippets (con Ferran Gavín y Ioannis Arapakis), que lo habíamos enviado a un par de congresos internacionales pero lamentablemente no ha sido aceptado... así que seguiremos trabajando en él, como decía en mi artículo de ThinkEPI sobre "rejected papers"

Cómo funciona un eye tracker

2013-11-28T05:15:00.002-08:00

Los seres vivos prestamos atención a aquello que está al alcance de nuestros sentidos. En este línea, existe abundante bibliografía que pone de manifestó la relación existente entre la atención que ponemos las personas y la mirada.

En función del registro de imágenes que hace la cornea, el sistema visual humano cuenta con tres niveles de percepción visual::
- la visión foveal es aquella que se registra de forma más nítida, y la que llega de los elementos a los que hemos prestado atención de forma más consciente, es la que usamos para la lectura, la conducción, y todas aquellas actividades en las que precisamos gran nitidez;
- la visión parafoveal es la que se registra en la zona que hay alrededor de la fóvea, y tiene menor nitidez que la anterior;
- en tercer lugar, la visión periférica es la que registra las imágenes que llegan a la zona más alejada de la fóvea, esta visión tiene menos resolución.

Cuando interactuamos con una interfaz realizamos continuamente movimientos con los ojos, se trata de movimientos muy rápidos (hasta 500 movimientos por segundo) que se dan cuando cambiamos el foco de atención y se denominan “sacadas” (saccades en inglés), por otra parte cuando mantenemos la mirada fija en un lugar durante varios milisegundos se produce una “fijación”. Es así como en términos mecánicos podemos describir el proceso fisiológico de la observación visual como una alternancia contínua entre fijaciones y sacadas.

En la actualidad existe tecnología que permite registrar las fijaciones y sacadas del ojo humano, se trata del eye tracker. Este dispositivo detecta, sigue y graba los movimientos que realizamos con los ojos, la duración de la mirada y la dilatación de la pupila, medidas que podemos relacionar con la atención, por lo que lo hace una herramienta de gran utilidad para estudios de lectura, de comportamiento y de interacción entre las personas y las interfaces, entre otras cosas.

Para realizar este seguimiento ocular, los eye tracker actuales funcionan de forma remota, es decir, sin intervenir de forma intensiva en los ojos de las personas. La técnica más común hoy en día se conoce como Pupil Centre Corneal Reflection (PCCR); para aplicarla, el eye tracker incorpora un luz infrarroja y una cámara de vídeo. Cuando está activado, el dispositivo ilumina al usuario con dos proyecciones de rayos infrarrojos que generan un reflejo en las córneas de los ojos, concretamente en la fóvea, que es una pequeña zona de la retina donde registramos la visión más nítida. Una cámara de vídeo integrada en el equipo de eye tracker recoge esos reflejos junto con la posición del usuario y, mediante procesamiento digital de la imagen, se extrae la ubicación de las pupilas en un ratio de 50 Hz o superior. Hecho esto, la posición de las pupilas se mapea con la ubicación de la mirada en la pantalla, y de esta forma se puede saber dónde tiene la persona puesta su atención en cada momento de la grabación.

¿Influyen los factores culturales en el comportamiento de búsqueda de las personas en la web?

2013-06-13T00:22:00.001-07:00

Para dar respuesta a la pregunta, un grupo de investigadores han llevado a cabo un estudio. En el proyecto han participado la Dra. Mari-Carmen Marcos (profesora del Departamento de Comunicación de la UPF), Ruth García-Gavilanes (miembro del grupo DTIC y con una internship en Yahoo! Research, donde realiza su tesis doctoral), el Dr. Emad Batained (Zayed University en Emiratos Árabes) y Lara Pasarín (estudiante del Máster en Gestión de Contenidos Digitales, UB-UPF).

El estudio consistió en observar a un grupo de 60 usuarios (estudiantes, profesores y personal de administración) en la Universitat Pompeu Fabra (Barcelona) y otros 60 en la Zayed University (Dubai) mientras realizaban diversas búsquedas en Google. Todos los usuarios hicieron las mismas tareas: a partir de una consulta realizada en Google, debían escoger el resultado que a su criterio respondía mejor a la pregunta, por ejemplo “Qué nacionalidad tiene el arquitecto …..?”. A todos se les presentaron las mismas páginas de resultados que ofrecía Google, y por medio de un dispositivo de seguimiento de la mirada (eye tracker) se grabó el movimiento de sus ojos.

Al analizar los datos descubrieron que los usuarios de Dubai permanecían más tiempo en la página de resultados de Google, leían más resultados antes de escoger uno, y revisaban cada resultado con mayor detenimiento. Los usuarios de Barcelona, por el contrario, escaneaban la página de resultados de forma rápida, no miraban los resultados de la parte inferior de la página y escogían un resultado sin leer mucho la información que se daba sobre él. Un análisis de las respuestas que daban los usuarios a cada pregunta planteada reveló también que si bien en ambos países el nivel de acierto era similar, la tasa de error era mayor en los usuarios de Barcelona y en cambio en Dubai era mayor el número de respuestas del tipo “no lo sé” o “no lo he encontrado”.

Según apuntan los autores, los motivos que puede haber detrás de estas diferencias de comportamiento pueden ser varios, y en próximos estudios se profundizará en ellos:

Las culturas orientales son más holísticas que las occidentales, éstas últimas son más analíticas. Está demostrada esta diferencia al comparar usuarios de China con usuarios de Estados Unidos, pero no hay trabajos que lo demuestren para comprar países árabes y europeos.
En la cultura árabe se da una mayor “power distance” (concepto de las teorías de Hofstede), esto es, una mayor distancia entre personas con distinto rango, en este caso moderador y usuario. Este motivo puede llevar a que las personas que participan en un test se esfuercen más por realizar bien las tareas. A este factor se suma que en la muestra de Dubai había más mujeres que hombres, lo que puede estar reforzando más aun esta "power distance”.
En Dubai hacían el test en inglés y en Barcelona en castellano. Inglés es el idioma en el que se imparten las clases en la Zayed University, en cambio no es su idioma nativo, lo que puede estar influyendo en que su atención sea mayor.

Publicado en:

Marcos, Mari-Carmen; García-Gavilanes, Ruth; Bataineh, Emad; Pasarin, Lara. Using Eye Tracking to Identify CulturalDifferences in Information Seeking Behavior. Workshop Many People, Many Eyes. CHI'13, April 27-May 2, 2013, Paris, France.

Eye tracking y usabilidad en TV conectada (making off)

2013-04-25T04:20:00.001-07:00

Por Mari-Carmen Marcos y Verónica Mansilla

La televisión conectada utiliza la señal de televisión digital terrestre (TDT o DVB-t, digital video broadcasting-terrestrial) y al mismo tiempo está conectada a Internet, de manera que a los contenidos televisivos se les añaden servicios de la red como la televisión a la carta (video on demand, VOD), aplicaciones de redes sociales, acceso a Youtube y a navegador web, etc. Al tratarse de una tecnología reciente, no existe aún un consenso en el diseño de las interfaces de sus menús, así que cada fabricante y cada cadena llegan a una solución, y por lo que se ha visto con poca coincidencia entre sí.

En 2011, un convenio de la Universitat Pompeu Fabra con las empresas Lavinia Interactiva, Televisió de Catalunya y Havas Media hizo posible el estudio que ahora presentamos. Cada partner se ocupaba de una parte del trabajo, concretamente en la UPF teníamos el objetivo de detectar problemas de usabilidad en televisiones conectadas comercializadas en ese momento. Se trataba de un estudio pionero por el objeto de estudio en sí, pero sobre todo por la posibilidad de aplicar la técnica de eye tracking sobre estas televisiones tan recientes.

Los dispositivos que se decidió testear fueron un televisor Sony Bravia, una caja TDT Engel que utiliza el sistema HBB-TV, futuro estándar de TV conectada en Europa, una caja TDT Blu:sens, y una consola de juegos PlayStation3; los cuatro tienen en común el acceso a contenidos de televisión a la carta, y todos salvo la consola tienen también señal de televisión.

Se contó con 70 participantes: 50 para un primer test de usabilidad (sin eye tracker), con la técnica de think aloud, que permitió detectar errores de usabilidad en las interfaces de esos televisores; y 20 más para completar el estudio con un test que utilizó eye tracking y que hizo posible responder algunas cuestiones que el test previo no podía resolver.

Los usuarios realizaron varias tareas en cada dispositivo. Tras unos minutos de navegación libre por los menús para familiarizarse con el equipo y con el mando a distancia, se les presentaban las tareas. Una persona moderaba el test, mientras otra tomaba notas de lo que ocurría.

La sala de testeo iba a ser en origen un plató de televisión de la universidad. Allí dispondríamos de un escenario que ambientaría un salón de casa, con su mobiliario, para que el usuario tuviera una experiencia más parecida a la que puede tener en su casa, aun siendo un laboratorio. El problema que se detectó –y por suerte se detectó antes de tener el escenario montado- es que el campus no cuenta con antena aérea de TV, sino que usa televisión por IP, por tanto teníamos que instalar una antena en la zona donde se fuera a testear. Dado que el plató está en un sótano y no puede llegar la señal de la antena, ese laboratorio no era viable. Un asunto que en principio era trivial nos llevó varias sesiones hasta resolver dónde instalar la sala de testeo.

Después de muchas pruebas, una evaluación heurística y varios pilotos, comenzamos los tests con los usuarios. En el primer test, sin eye tracker, cada usuario usó sólo un modelo de televisión. Las tareas consistían en localizar la programación de una cadena, encontrar un programa en la TV a la carta, hacer una búsqueda en la web y ver un vídeo en Youtube, en caso de que el sistema dispusiera de esas funcionalidades. En este test se detectaron bastantes problemas, sobre todo relacionados con falta de comprensión de las opciones de los menús de navegación y con la complejidad de los iconos de los mandos a distancia, pero también con la frustración al encontrar que estos televisores no cumplen sus expectativas: la carga es lenta, no están todas las aplicaciones que les gustaría, la navegación es críptica, etc.

La tarea que presentó con diferencia más dificultades y ratios de éxito más bajas fue el uso de la TV a la carta. El motivo principal es que la forma de identificar este servicio no era intuitiva: en unos casos estos canales estaban en el menú “TV” en el mismo grupo que las radios y Youtube, en otros bajo el menú “videos” y en otros bajo “internet”. El caso más llamativo fue el de la caja Engel, que no disponía de una opción de acceso a la TV a la carta por navegación, sino que para acceder a este servicio es necesario que el usuario entre al canal correspondiente por TDT, y una vez ahí aparece un mensaje en pantalla indicando qué tecla del mando a distancia tiene que pulsar para entrar en contenidos bajo demanda. La mayoría de los usuarios no conseguían realizar esta tarea, por lo que se planteó repetirla y grabarla en un test con eye tracker para determinar el motivo de que no lograran acceder al servicio.

Figura 1. Proceso de calibración de Tobii Glasses

Este segundo test, realizado con 20 usuarios distintos a los anteriores, se realizo con Tobii Glasses (Figura 1). Se centró en la tarea de TV a la carta y cada usuario realizó la tarea en los cuatro dispositivos. Se quería saber cuántos usuarios veían el mensaje en pantalla, y de éstos cuántos lo entendían. La muestra se redujo a 14 usuarios por diversos problemas técnicos de la propia grabación, el más importante fue que los rayos infrarrojos de los mandos a distancia interferían con los rayos infrarrojos del eye tracker.

El análisis de los datos presentó varias dificultades. Por un lado, no se habían previsto algunas necesidades para trabajar con ficheros de vídeo tan pesados, como la compra de un disco externo de gran capacidad, mas memoria RAM para el ordenador que computaba los datos, o una tarjeta gráfica dedicada. Por otro lado, el marcado de los vídeos se tenía que realizar manualmente: detectar en qué momento se cargaba el mensaje de aviso en pantalla y en qué momento desaparecía; considerando que un mismo usuario podía llegar varias veces a esa pantalla (¡un usuario llegó a verla 7 veces!), el marcado fue un trabajo minucioso que se hizo para las 45 veces en que apareció el mensaje.

Los resultados que se obtuvieron fueron muy interesantes: sólo 4 usuarios fijaron su mirada en el mensaje que daba la interfaz para acceder a la TV a la carta, y de estos 4 sólo uno lo comprendió y pulsó la tecla del mando que este mensaje indicaba (Figura 2).

Figura 2. Mapa de calor realizado a partir de las fijaciones de los 14 usuarios que vieron esta interfaz. Este mapa muestra el promedio de tiempo que los usuarios fijan su mirada en cada zona de la pantalla en relación al tiempo total que permanecen en ella. El mensaje (esquina inferior derecha) apenas registra fijaciones

De este estudio sacamos varios aprendizajes, por un lado relativos a los problemas de usabilidad presentes en las interfaces de las TV conectadas que se testearon, y por otro lado relacionados con el uso de eye tracking para testeo de vídeo.

El estudio se puede leer con más detalle en:

Marcos, M.C.; Mansilla, V. “Video on Demand: Usability challenges for Connected TV”. Workshop “Exploring and Enhancing the User Experience for TV”, CHI 2013 (París), 2013.
Mansilla, V.; Marcos, M.C. "User experience en Televisión Conectada: un estudio con usuarios". El Profesional de la Información, Vol 22 (2), Marzo-Abril 2013, pp. 122-127.
Marcos, M.C.; Mansilla, V. "User Experience in Connected TV : A usability and eye tracking research", Presentación en la Taula de Nova Recerca del Departament de Comunicació de la UPF, mayo 2012 (PPT).

Agradecimientos

Esta investigación no hubiera sido posible sin Javier Díaz, David Hernández y Jaume Ponsa, que ayudaron en las sesiones de testeo y en la evaluación heurística. Y por supuesto, nuestro agradecimiento a los usuarios que participaron en el estudio.

Reading on paper and reading on the screen

2012-09-03T00:48:00.001-07:00

Although we don't wonder nowadays so much about differences between reading on paper or on screen, it is still interesting to see back to some studies to have a global view of visual user behavior.

The paper "An Eye Tracking Study on Text Customization for User Performance and Preference" by Luz Rello and myself (Mari-Carmen Marcos), that will be presented at LA-Web 2012 Conference, presents a user study which compares reading performance versus user preference in customization of the text. We study the following parameters: grey scales for the font and the background, colors combinations, font size, column width and spacing of characters, lines and paragraphs. We used eye tracking to measure the reading performance of 92 participants, and questionnaires to collect their preferences. The study shows correlations on larger contrast and sizes, but there is no concluding evidence for the other parameters. Based on our results, we propose a set of text customization guidelines for reading text on screen combining the results of both kind of data.

In the paper we collect some interesting previous work with empiric studies about readability on screen and printed format. They are mainly focused on layout and typography. The first studies (from 1929 to 1955) on printed format took in consideration the following variables: font size,, column width, font color, space between lines and font style. According to these studies, font type does not affect readability. These results were later confirmed using eye tracking.

We found that font size, font type and paragraph length were the most frequently studied variables concerning readability, but there is not a full agreement between the findings. Font sizes (12 or 14 points depending on the experiment) showed better performances in relation to smaller font sizes (8 and 10 points). Moreover, the largest sizes were also preferred in the surveys. Serif types performed better than sans serif types, however the users revealed to prefer sans serif types.
The performance on reading seems to be better for short lines -around 55, but it depends on the user goal, if they only
need to scan a document, long lines show more efficiency. There is less amount of related work taking into consideration specifically font and background colors and space between lines. Users prefer strong contrasts as well as moderate italics, regular fonts and just one color instead of four or six on a website.
For more information about eye tracking studies on reading for UX practitioners I recommend Jacob Nielsen's blog, and his book with Kara Pernice, Eyetracking web usability.

You might have listen about the F-shaped pattern (J. Nielsen 2006) and the golden triangle (G. Hotchkiss 2005). Both apply mostly in search engine results pages, but not so much in other websites because of the display and layout.

Also some interesting studies have been done in journalism, like those of Poynter Institute for websites and tablets (2011).

(This post will be updated with more papers in the future)

Social annotation in web search: inattentional blindness

2012-06-25T09:24:00.006-07:00

---------------------------------------------------
Aditi Muralidharan; Zoltan Gyongyi; Ed Chi. Social Annotation in Web Search. CHI '12 Proceedings of the 2012 ACM annual conference on Human Factors in Computing Systems, pages 1085-1094
Full paper Extended abstract
---------------------------------------------------

Knowing that other researchers are looking for answers to similar questions to ours is a good signal of the interest of the topic. In this case, Aditi Muralidharan, Zoltan Gyongyi, and Ed Chi have done two studies on social annotation in web search using eye tracking technology. Here, in Barcelona, we have been running related experiments in the last months and arrived to similar conclusions not published so far.

Their study (CHI 2012)

1) 11 users perform several personalized tasks. Half of the results have snippets with social annotations, the other half have not this kind of results. Test is recorded with an eye tracker and the users watch the recording in a retrospective think-aloud (RTA). The conclusion is that most of people did not notice the social annotations, and those who saw them, don't pay too much attention. Why people don't see them? (see the second test)

2) 12 users (all of them know each other) perform several tasks in mock-ups of search engines. Again, half of the results have snippets with social annotations, the other half have not this kind of results. The pages are mock-ups because they have been modified in order to present social annotation with variations: big/small profile picture, above/below snippet, first/second position, long/short snippets. The test were recorded with eye tracker. The conclusion is that when the picture is big and when the social annotation is above the snippet, people notice it. The reason is that users have a pattern of reading in page results and they don't see further than the elements they recognize as useful in a first scan: title and url. So, new elements like social annotations prompt "inattentional blindness" (as Mack, Rock name it). This phenomenon is widely known, you might have seen the video with the gorilla dancing while other people is playing... and nobody notice it.
In a future paper, the authors could do more experiments to know if changing the style of this snippets would make them more visible.

Our study (We wish CHI 2013 :-) )

Our study have not been published, so I will not write many results here so far. We studied 5 kind of snippets: Google Places, Google +, Google Author, multimedia and reviews. We duplicated each page of results removing in one version this rich snippets. We prepared 10 SERPs (with their 10 duplicated plain snippets pages). 60 users performed the 10 search and they saw 5 pages with rich snippets and 5 pages without the rich version of the snippet. The sessions were recorded with an eye tracker.
The preliminary results show that, in general, it does not exist significant difference (t-test) between the user visual behavior when looking to pages with rich snippets and the similar pages without them.
The metrics that we considered were mainly the fixation duration in the rich snippet (and his equivalent as a plain snippet) and the time to first fixation in the rich snippet (and his equivalent as a plain snippet), as well as the click count.
We hope to share soon the study with the scientific community and with SEO practitioners.
These heat maps show the fixation duration in the SERP with plain snippets and "Google +" snippets in 6th and 2nd position. No differences

And here you are some statistical results for the fixation duration average on the studied snippets on a top position (position 2) and in a bottom position (position 6). No significant differences:

Thinking on buying an eye tracker?

2012-06-21T02:37:00.001-07:00

Sometimes other colleagues around the world ask me about which eye tracker could they buy or rent.
My answer is "it depends on the kind of study you plan to run".

There are several firms in the market selling eye tracking devices based on infrared (for serious research I don't trust yet in other technologies based on recording the users' ayes with a webcam). As an infrared-based technology I know Tobii. I have a Tobii T1750, a second-hand one in fact from 2007, that it is not anymore in the market, so I cannot be sure about the newer models to recommend, but here you are some models and the uses that I (and Tobii) recommend for each one:

Tobii T60 hz and T120. Useful for research that aim to study the users' behavior on websites, images, and anything that can be showed on the screen. This device brings the infrared on the screen. Useful for usability studies
Tobii X60 and X120. Useful for research on screen (external screen) or other devices as mobile phones or tablets if you incorporates a special device for them. It is a great option because is lighter and flexible. If I could buy another one now, this would be my first option.
Tobii T60 XL. Similar to T60 but wider. Useful for studies that need a big screen. I don't see the point for usability studies.
Tobii Glasses. Necessary if the research is about physical objects (supermarket products, museums, etc.). I used it in a study on Connected TV and video games. It works properly but the resolution is lower than in screen-based eye trackers, and the complexity for the analysis is bigger due to the kind of information: video. It is not convenient for web studies.

About to make your decision? Don't be on a hurry, it is an expensive device with an expensive software. Take it easy, check Tobii website, compare, and let me know if we can plan a joint research!

Lecturas "must" sobre Eye tracking aplicado a estudios de usabilidad

2012-01-04T01:07:00.000-08:00

Los más teóricos (libros, artículos y tesis doctorales):

Jacob, R.; Karn, K. “Eye Tracking in Human-Computer Interaction and Usability Research: Ready to Deliver the Promises (Section Commentary)”. En: Hyona,J.; Radach, R.; Deubel, H. (eds.)The Mind's Eye: Cognitive and Applied Aspects of Eye Movement Research, pp. 573-605, Elsevier Science, http://www.cs.tufts.edu/~jacob/papers/ecem.pdf (2003)
Goldberg, J.H.; Wichansky, A.M. Eye tracking in usability evaluation: A Practitioner's Guide. En: Hyona, J., Radach, R., Duebel, H (Eds.). The mind's eye: cognitive and applied aspects of eye movement research. Boston, North-Holland / Elesevier, 2003, 573-605.
Hassan, Y.; Herrero, V. “Eye Tracking en Interacción Persona-Ordenador”. No solo usabilidad http://www.nosolousabilidad.com/articulos/eye-tracking.htm (2007).
Nielsen, J.; Pernice, K. Eyetracking Web Usability. New Riders Press (2009).
Duchowski, A. Eye Tracking Methodology. Springer (2009).
Nielsen, J.; Pernice, K. Técnicas de Eyetracking para Usabilidad Web. Anaya Multimedia (2010).
Drewes, H. (2010). Eye Gaze Tracking for Human Computer Interaction, http://edoc.ub.uni-muenchen.de/11591/1/Drewes_Heiko.pdf

Estudios de caso:

Duchowski, A. T. (2002). A Breadth-First Survey of Eye Tracking Applications, 'Behavior Research Methods, Instruments, & Computers (BRMIC), 34:4, 455–470.
Bojko, Aga. Using Eye Tracking to Compare Web Page Designs: A Case Study. Journal of Usability Studies, 1:3, 2006, http://www.upassoc.org/upa_publications/jus/2006_may/bojko_eye_tracking.pdf
Estudio: GEA-IPC Eyetracking Search Marketing, http://www.geaipc.com/blog/wp-content/uploads/gea-ipc-eyetracking-search-marketing.pdf (2009)

Reflexiones:

Bojko, A. Eye tracking the user experience http://rosenfeldmedia.com/books/eye-tracking/ (blog 2010-12)
Spool, J. Eyetracking: Worth The Expense?. UIE Brain Sparks Blog, 2006, http://www.uie.com/brainsparks/2006/06/13/eyetracking-worth-the-expense
Usolab (2007). La aportación del eyetracking en el sector de usabilidad, 2007, http://www.usolab.com/articulos/eyetracking-usabilidad-comunicacion.php

Pautas:

Bojko, A.; Stephenson, A. (2005). It's All in the Eye of the User: How eye tracking can help answer usability questions. User Experience, 4:1, http://www.usercentric.com/publications/2005/03/18/its-all-eye-user-how-eye-tracking-can-help-answer-usability-questions
Pernice, K.; Nielsen, J. Eyetracking Methodology: 65 Guidelines for How to Conduct and Evaluate Usability Studies Using Eyetracking, http://www.useit.com/eyetracking/methodology/ (2009)

Métricas:

Poole, A.; Ball, L.J. “Eye Tracking in Human-Computer Interaction and Usability Research: Current Status and Future Prospects”. En Ghaoui, C (Ed.). Encyclopedia of Human Computer Interaction. Idea Group. http://www.alexpoole.info/academic/Poole&Ball%20EyeTracking.pdf (2004)

Tullis, T.; Albert, B. (2008). Measuring the user experience. Morgan Kaufmann, http://www.measuringux.com
Sauro, J, Measuring Usability, http://www.measuringusability.com (blog 200?-2012).

ETRA: Eye Tracking research & Applications (Conference)

2011-09-07T07:13:00.000-07:00

Looking for interesting conferences where to submit the next papers I have found an ACM Conference named ETRA. It is not focused on HCI or IR or other topics about which I usually write, but on all the research concerned to the eye tracking technique, applied to any science.

ETRA will be held in March 2012 in Santa Barbara (CA):
http://www.etra2012.org/

The program of the last year conference, that was held in Austin are available at:
http://etra.cs.uta.fi/program.html

Thanks to this last page I have had news of Yvonne Kammerer, a researcher who is working on search. Her publications can be seen at:
http://www.iwm-kmrc.de/www/en/mitarbeiter/ma.html?dispname=Yvonne+Kammerer&uid=ykammerer

This is a list of those which are related to web search:

Kammerer, Y., & Gerjets, P. (2011). Searching and evaluating information on the WWW: Cognitive processes and user support. In K.-P. L. Vu & R. W. Proctor (Eds.), Handbook of human factors in Web design (2nd ed., pp. 283-302). Boca Raton, FL: CRC Press.

Gerjets, P., Kammerer, Y., & Werner, B. (2011). Measuring spontaneous and instructed evaluation processes during web search: Integrating concurrent thinking-aloud protocols and eye-tracking data. Learning and Instruction, 21, 220-231.

Kammerer, Y., & Beinhauer, W. (2010). Gaze-based Web search: The impact of interface design on search result selection. In C. Morimoto & H. Instance (Eds.), Proceedings of the 2010 Symposium on Eye Tracking Research & Applications ETRA ’10 (pp. 191-194). New York, NY: ACM. [pdf at ACM DL]

Kammerer, Y., & Gerjets, P. (2010). How the interface design influences users’ spontaneous trustworthiness evaluations of Web search results: Comparing a list and a grid interface. In C. Morimoto & H. Instance (Eds.), Proceedings of the 2010 Symposium on Eye Tracking Research & Applications ETRA ’10 (pp. 299-306). New York, NY: ACM. [pdf at ACM DL]

Kammerer, Y., Wollny, E., Gerjets, P., & Scheiter, K. (2009). How authority-related epistemological beliefs and salience of source information influence the evaluation of web search results – An eye tracking study. In N. A. Taatgen, & H. van Rijn (Eds.), Proceedings of the 31st Annual Conference of the Cognitive Science Society (pp. 2158-2163). Austin, TX: Cognitive Science Society.

Kammerer, Y., & Gerjets, P. (2010, May). Objective, subjective, and commercial information: The impact of presentation format on the visual inspection and selection of Web search results. The Scandinavian Workshop on Applied Eye-Tracking (SWAET). Lund, Sweden.

Kammerer, Y., Werner, B., & Gerjets, P. (2008). What evaluation processes are performed during web search? An eye-tracking study. XXIX International Congress of Psychology (ICP). Berlin.

Métricas de usabilidad y UX

2011-07-28T03:22:00.000-07:00

Althoug these readings are not exactly for measuring with eye tracking, all of them are focused on measuring usability and user experience:

Evaluating UX by Measuring Task Efficiency, by Cathleen Zapata, article 686, 13 June 2011,
Jeff Sauro's blog, http://www.measuringusability.com/blog.php
Jeff Sauro, A practical guide to measuring usability. (2010)
Jeff Sauro and James R. Lewis, Quantifying the user experience: Practical statistics for user research (2012) (In Amazon, available for Kindle)
Jeff Sauro, Excel and R Companion to Quantifying the User Experience: Rapid Answers to over 100 Examples and Exercises (2012) (in Amazon "look inside" option available)

Here you are a list of reading about SUS:

Jeff Sauro, post about SUS (2011)
Jeff Sauro, A Practical Guide to the System Usability Scale: Background, Benchmarks & Best Practices (2011) (in Amazon "look inside" option available)
Jeff Sauro, SUS Guide and Calculator Package (Excel calculator, 150 euros)

Five second tests:

Jeff Sauro, 5 seconds usability tests (2010)
Christine Perfetti, 5-Second Tests: Measuring Your Site's Content Pages (2005)

(To be continued...)

Papers en los que se ha usado el eyetracker de Tobii

2011-06-30T04:04:00.000-07:00

La empresa Tobii va recogiendo periódicamente los papers académicos que se publican y para los que se ha utilizado su dispositivo.

La lista contiene casi 300 documentos, algunos en PDF, está en esta dirección:
http://www.diigo.com/list/tobiieyetracking/hci-usability

Some readings about Western and Eastern cognitive styles

2011-06-20T00:51:00.001-07:00

Today I have resumed contact with a professor in Zayed University, Dr. Emad Bataineh, who I knew in the EyeTracking UX Conference in London (June 2011). We planned to do a research together and compare users's behavior in SERPs in two countries: Spain and UAE.

Looking for a start point I have found the PhD Thesis of Jolin Adeeb Qutub (director Frederick J. Brigham) who assess that "[...] Recent studies have concluded that Western learners tend to have more analytical perceptual learning style whereas East Asians tend to have more holistic or contextual perceptual learning style (Nisbett & Norenzayan, 2002). Only a limited number of studies have examined cognitive perceptual differences between Middle Eastern and Western learners. This study aimed to help close this research gap by exploring cognitive perceptual differences among three groups who come from different cultural backgrounds: Saudi Arabians, immigrants living in the United States, and Americans [...] ".

I have collected some references from the thesis:

Chua, H., Boland, J. and Nisbett, R. (2005). Cultural variation in eye movements during scene perception. Proceedings of the National Academy of Sciences, 102, 12629-12633
Masuda, T., & Nisbett. R. (2001). Attending holistically versus analytically: Comparing the context sensitivity of Japanese and Americans. Journal of Personality and Social Psychology, 81, 922–934.
Nisbett, R. (2004). The Geography of Thought: How Asians and Westerners Think Differently…and Why. New York: Free Press.
Nisbett, R., & Miyamoto, Y. (2005). The influence of culture: Holistic versus analytic perception. Trends in Cognitive Science, 9, 467-473
Nisbett, R.E., & Norenzayan, A. (2002). Culture and cognition. In H. Pashler & D. L. Medin (Eds.), Stevens Handbook of Experimental Psychology : Cognition (3d Ed., Vol. 2) (pp. 561-597). New York: John Wiley & Sons. [PDF]
Nisbett, R.E., Peng, K., Choi, I., & Norenzayan, A. (2001). Culture and systems of thought: Holistic versus analytic cognition. Psychological Review, 108, 291-310. [PDF]
Stevens, Handbook of Experimental Psychology, Vol 2. (3rd ed., pp. 561-597), New York: John Wiley and Sons, Inc.
Norenzayan, E., Smith, E., Beom, J., & Nisbett, R. (2002). Cultural preferences for formal versus intuitive reasoning. Cognitive Science, 26, 653–684.

And one more that I might need for this and other studies:

Hink, D. E., Wiersma, W., & Jurs, S. G., (1988). Applied Statistics For The Behavioral Sciences (2nd ed). Boston: Houghton Mifflin

If this study becomes a reality, I think the results can be very interesting. Let's see!

Are you starting to read about Eyetracking in UX?

2011-06-16T10:46:00.000-07:00

Basic readings:

Bojko, Aga, http://www.rosenfeldmedia.com/books/eye-tracking/blog/ Blog]

Bojko, Aga. & Stephenson, A. It's All in the Eye of the User: How eye tracking can help answer usability questions. User Experience, 4:1, 2005, http://www.usercentric.com/publications/2005/03/18/its-all-eye-user-how-eye-tracking-can-help-answer-usability-questions

Bojko, Aga. Using Eye Tracking to Compare Web Page Designs: A Case Study. Journal of Usability Studies, 1:3, 2006, http://www.upassoc.org/upa_publications/jus/2006_may/bojko_eye_tracking.pdf

Duchowski, A. T. A Breadth-First Survey of Eye Tracking Applications, 'Behavior Research Methods, Instruments, & Computers (BRMIC), 34:4, 2002, 455–470.

Duchowsky, Andrew. Eye Tracking Methodology: Theory and Practice (2nd ed). Springer, 2007. Part 3 “Eye Tracking Methodology", http://andrewd.ces.clemson.edu/book/toc.pdf

Goldberg, J.H.; Wichansky, A.M. Eye tracking in usability evaluation: A Practitioner's Guide. En: Hyona, J., Radach, R., Duebel, H (Eds.). The mind's eye: cognitive and applied aspects of eye movement research. Boston, North-Holland / Elesevier, 2003, 573-605.

Hassan Montero, Yusef; Herrero Solana, Víctor. Eye-Tracking en Interacción Persona-Ordenador, No Solo Usabilidad, 2007, http://www.nosolousabilidad.com/articulos/eye-tracking.htm

Nielsen, Jakob; Pernice, Kara. Eyetracking web usability. New Riders, 2010, http://www.useit.com/eyetracking/

Pernice, Kara; Nielsen, Jakob. Eyetracking Methodology: 65 Guidelines for How to Conduct and Evaluate Usability Studies Using Eyetracking, http://www.useit.com/eyetracking/methodology/eyetracking-methodology.pdf (16 Mb)

Poole, A.; Ball, L.J. (2004). Eye Tracking in Human-Computer Interaction and Usability Research: Current Status and Future Prospects. In Ghaoui, Claude (Ed.). Encyclopedia of Human Computer Interaction. Idea Group, http://www.alexpoole.info/academic/Poole&Ball%20EyeTracking.pdf

Spool, J. Eyetracking: Worth The Expense?. UIE Brain Sparks Blog, 2006, http://www.uie.com/brainsparks/2006/06/13/eyetracking-worth-the-expense

Tullis, Tom; Albert, Bill. Measuring the user experience. Morgan Kaufmann, 2008, http://www.measuringux.com/

Usolab (2007). La aportación del eyetracking en el sector de usabilidad, 2007, http://www.usolab.com/articulos/eyetracking-usabilidad-comunicacion.php

What accuracy and precision means for eye trackers

2011-06-16T07:21:00.000-07:00

Brilliant explanation from Aga -she again, sorry I admire her.

Accuracy and precision are not synonyms words. She explains both at http://www.rosenfeldmedia.com/books/eye-tracking/blog/the_most_precise_or_most_accur/:

"The accuracy of an eye tracker is the average difference between what the eye tracker recorded as the gaze position and what the gaze position actually was. We want this offset to be as small as possible but it is obviously unrealistic to expect it to be equal to zero. Accuracy is measured in degrees of visual angle. Typical accuracy values fall in a range between 0.5 and 1 degree."

"Precision (aka "spatial resolution") is a measure of how well the eye tracker is able to reliably reproduce a measurement. Ideally, if the eye is in the same exact location in two successive measurements, the eye tracker should report the two locations as identical. That would be perfect precision. In reality, precision values of currently available eye trackers range from 0.01 to 1 degree. These values are calculated as the root mean square of the distance (in degrees of visual angle) between successive samples.

Eyetracker simulation: EyeQuant, Feng-GUI, and Attention Wizard

2011-06-16T07:16:00.000-07:00

These three software try to emulate the ocular behavior considering the elements showed on the screen.

Despite promising good results, some tests show that they are very far away from the reality. Aga shares their own results testing Ebay:
http://www.rosenfeldmedia.com/books/eye-tracking/blog/participant-free_eye_tracking/

A main error would be that "For example, the simulations predict a lot of attention on images (including advertising), whereas the study participants barely even looked at many of those elements"

Behavioral and Physiological Metrics

2011-06-16T06:52:00.000-07:00

This Chapter 7. of Tullis and Albert, Measuring the user experience, it worth reading although it will not easy to apply in UX tests. A list of the metrics:

1. Just observing and coding behaviors taking notes in a form or in a open format, verbal and non-verbal ones (see form on page 170)
1.1. Verbal comments: positive/negative comments, doubts, questions...
1.2. Non-verbal behaviors to analyze: facial expressions and body language

2. Using specific devices
2.1. Facial expressions
- Video recording analysis (time consuming), and classify them, ex. FACSAID 2002
- Electromyogram sensors (EMG), specially for forehead and cheeks
2.2. Body language to measure stress-frustration and engagement
- Mouse gripping
- Chair pressure
- Skin conductance
- Heart rate
- Pupil dilation
2.3. Eye tracking
- Proportion of users looking at a specific element or region (AOI*)
- Time spent looking at a specific element or region (AOI)
- Time to notice a specific element or region
- Scan-paths and length of eye movements

*Tips about AOIs:
- do not leave any space undefined
- analyze the time as a percentage of total time spent on the page, not as an absolute amount of time, since it can vary widely between participants

Ventajas e inconvenientes de usar ET en usabilidad

2011-05-11T07:40:00.000-07:00

Leo a Ania Rodríguez en el blog de Aga:

Pros:
• Augment usability findings
• Understand key performance indicators for visual elements on page such as photography which is not available with web analytic data
• Understand what elements users gaze/ dwell on during tasks
• Provides visual representations for hard to express behaviors
• Providing additional insights to Moderator so that they can ask more probing questing
• Observers can see what participants are fixating/dwelling on real time while users are performing the task
• Allows for compelling visualizations of usability problems for executive presentations
• Client teams and executive membership perceive this method to be cutting-edge

Cons:
• Just because a user fixates on an area does not mean they saw it
• Higher severity issues can be found without the use of eye tracking
• Misinterpretations of data likely if not adequately contextualized (e.g., heat maps)
• Interaction between moderator and participant changes
• Eye tracking equipment can be difficult to learn and use
• Eye tracking equipment is costly
• Dynamic sites are difficult to analyze (for Ajax and Flash heavy sites)
• Eye tracking is subject to technical problems

Ventajas del thinking aloud regresivo frente al concurrente

2011-05-11T07:27:00.000-07:00

Las técnicas de thinking aloud combinadas con un test con ET pueden ser:

CTA (Concurrent Think-Aloud): el usuario habla mientras se le graba con el ET
RTA (Regresive Think-Aloud): el usuario, una vez grabada la sesión, ve el vídeo con las fijaciones marcadas (gaze-cued RTA) o sin ellas marcadas (video-cued RTA) y lo comenta

Leo en el blog de Aga Bojko:

Studies have shown that gaze-cued RTA provides more feedback than Concurrent Think-Aloud protocol (CTA) in terms of the number of words spoken and comments made by participants [source (pdf)]. Researchers have also noted that gaze-cued RTA feedback tends to be of a higher quality than feedback obtained through CTA, resulting in the discovery of more usability issues. However, when gaze-cued RTA is compared to video-cued RTA (with no gaze overlay), the differences in user feedback are minimal. [source (pdf: pp 15 - 19)].