La consulta de mapas conceptuales: estudio mediante eye-tracker

1 Introducción

Los mapas conceptuales han sido objeto de numerosos estudios centrados en el ámbito de la educación y el aprendizaje (Novak; Cañas, 2006a; Novak, 2010; Moon [et al.], 2011). Al integrarse en la web también han sido estudiados como instrumentos de navegación hipertextual (McDonald; Stevenson, 1999), como sistemas de visualización de la información (Cañas [et al.], 2005), para la recuperación de la información (Leake [et al.] , 2004; Eskridge [et al.], 2006) o como instrumentos para la formación no presencial (Novak, 2002; Cañas [et al.] , 2004; Rovira, 2002). En cambio no hay antecedentes del estudio de usuarios de los mapas conceptuales con metodologías cuantitativas, como el eye-tracker.

Esta investigación tiene como objetivo identificar las pautas de comportamiento de los usuarios cuando consultan mapas conceptuales, en especial se intenta identificar las partes de los mapas donde se presta mayor atención y el orden en que el mapa es revisado. Se trata de una investigación más descriptiva que analítica que pretende poner los cimientos de una línea de investigación que tiene como meta final obtener evidencias que permitan mejorar el diseño y la creación de mapas conceptuales. Se ha aplicado la metodología de investigación de eye-tracker (seguimiento de la mirada), que permite saber cuándo y dónde los usuarios miran al consultar una pantalla de ordenador.

Para realizar este estudio se ha llevado a cabo un test con usuarios en laboratorio utilizando un dispositivo de seguimiento de la mirada (eye-tracker). Esta tecnología ha sido usada previamente de forma habitual en estudios de marketing o para el análisis de la usabilidad de interfaces de usuarios, como pantallas de ordenador o páginas web (Nielsen, 2009). También existen numerosos trabajos sobre el comportamiento visual de las personas en la revisión de páginas de resultados de buscadores (Granka [et al.], 2004; Rele; Duchowski, 2005; González-Caro; Marcos, 2011; Nielsen, 2009), hay algún antecedente sobre el estudio de gráficos (Toker [et al.], 2013; Goldberg; Helfman, 2010; Goldberg, 2011), pero por ahora no se ha publicado ninguna investigación sobre la consulta de mapas conceptuales.

La estructura del artículo es la siguiente: en el apartado 2 se presentan los trabajos previos que han servido como punto de partida a este estudio; a continuación se detalla el diseño experimental llevado a cabo; luego se ofrecen los resultados del análisis de los tests y, finalmente, en el último apartado, se presentan las conclusiones de este estudio.

2 Trabajos previos

El origen de los mapas conceptuales hay que situarlo en los trabajos de Joseph D. Novak a mediados de la década de los sesenta en el contexto de un proyecto de investigación en psicología del aprendizaje. Novak (Novak; Gowin, 1984) investigaba el aprendizaje basándose en las teorías de Ausubel y otros (1989) y creó los mapas conceptuales como instrumento para hacer visible el tipo de aprendizaje adquirido. En aquel momento Novak no pensó en Internet, entre otras razones porque no existía. Después se ha visto la gran utilidad de este instrumento para el acceso a la información y de ayuda a la navegación en entornos digitales al añadir enlaces hipertextuales a mapas conceptuales.

El uso de los mapas conceptuales en el entorno de Internet ha recibido un gran impulso gracias a los trabajos del IHMC (Florida Institute for Human & Machine Cognition), en especial por el desarrollo del editor CmapTools, bajo la supervisión del propio Novak (Novak; Cañas, 2004, 2006b). CmapTools es uno de los mejores editores de mapas conceptuales de libre acceso (Rovira; Mesa Lao, 2006). Permite crear mapas conceptuales para Internet, en formato HTML, con enlaces hipertextuales y compatibles con las bases teóricas de Novak.

El seguimiento de la mirada (más conocido por su forma en inglés eye-tracking) es una técnica que permite conocer la posición de los ojos y sus movimientos cuando se está realizando una acción determinada, mediante una tecnología de rayos infrarrojos capaz de detectar las pupilas. Ha sido utilizada principalmente en investigación sobre el sistema visual, en psicología cognitiva y en el diseño de productos. El sector del marketing lo ha usado para mejorar la colocación de productos en estanterías de supermercados, para escoger espacios publicitarios en páginas web, para aumentar las ratios de conversión en las compras en línea o para hacer benchmarking (comparar las acciones de los usuarios en su web con las que hace en las de la competencia). En los últimos años se ha aplicado de forma bastante habitual a la evaluación de sitios web y en especial a estudios de usabilidad de interfaces digitales, la mayoría de ellos motivados por intereses comerciales. El libro de Jakob Nielsen y Kara Pernice (2009) presenta numerosos ejemplos de aplicación del eye-tracking a la usabilidad. En sus capítulos se encuentran estudios que han sentado las bases para la evaluación de menús de navegación, enlaces, imágenes, publicidad en el diseño web y las interfaces de búsqueda de información. También se ha aplicado el eye-tracker al estudio de distintos tipos de gráficos, como de barras o circulares (Toker [et al.], 2013; Goldberg; Helfman, 2010 i 2011), pero no hay antecedentes de su aplicación para el estudio de mapas conceptuales.

Este estudio tiene como finalidad principal confirmar la utilidad de la metodología del eye-tracker para el estudio del comportamiento de los usuarios durante la consulta de mapas conceptuales y comprobar si se pueden obtener conclusiones que permitan mejorar el diseño y la creación de estos mapas.

3 Mapas conceptuales

De acuerdo con la teoría de Novak (Novak; Cañas, 2006a; Novak, 2010), un mapa conceptual es la representación gráfica de un conjunto de conceptos relacionados. Se trata de un esquema gráfico que muestra un conjunto de ideas (conceptos) y las relaciones que se establecen entre ellas. El objetivo final es plasmar gráficamente la estructura conceptual que el autor del mapa posee sobre el tema representado.

Según Novak, un mapa conceptual está formado por conceptos y por frases de enlace. Los conceptos se representan dentro de un rectángulo y las frases de enlace etiquetan la línea que une un concepto con otro mostrando la relación que mantienen entre sí. Las frases de enlace no están enmarcadas en un rectángulo para diferenciarlas de los conceptos. Normalmente, los conceptos se expresan con un sustantivo o sintagma nominal. Las frases de enlace suelen ser preposiciones, adverbios, conjunciones y sintagmas verbales.

Los mapas conceptuales se organizan en torno a un concepto principal, llamado raíz, que expresa la idea central del mapa. A partir del concepto raíz se establecen relaciones con nuevos conceptos mediante frases de enlace. Estos nuevos conceptos, a su vez, establecen nuevas relaciones formando una estructura arbórea. Desde un concepto pueden trazarse diversas frases de enlace y una misma frase de enlace puede conectar con diversos conceptos.

La ordenación de los conceptos en un mapa sigue el siguiente esquema general: los conceptos más generales y abstractos aparecen en la parte superior. A medida que el mapa se ramifica, incorporando nuevas frases de enlace, los conceptos enlazados van concretando el tema expuesto. De este modo los conceptos situados en la parte inferior del mapa serán los más específicos y concretos.

 

Imagen 1. Ejemplo de mapa conceptual realizado de acuerdo con las teorías de Novak

4 Metodología

4.1 Participantes

La selección de los usuarios para realizar el test es un proceso complejo si se intentan cumplir los requisitos que permitan generalizar los resultados de la muestra a una población determinada. Normalmente los estudios de usabilidad con eye-tracking son de tipo más cualitativo y no buscan una generalización, sino tan solo detectar anomalías que deben mejorarse en el diseño de algún elemento de una página web y, por tanto, las muestras de usuarios suelen ser pequeñas, entre 10 y 15 usuarios. En cambio, esta investigación tiene una orientación más cuantitativa porque se pretenden identificar evidencias sólidas sobre la forma en la que se consultan los mapas conceptuales. Por tanto, se ha sido más exigente en la selección de la muestra de individuos, a pesar de las limitaciones inherentes de todo proceso de reclutamiento, especialmente con presupuestos ajustados.

Dadas las características de la investigación se decidió reclutar un grupo de usuarios lo más homogéneo posible y que tuviera conocimientos previos sobre mapas conceptuales. Por este motivo, se seleccionaron solo los individuos que declararon conocer las características básicas de los mapas conceptuales y que además hubieran creado al menos un mapa conceptual antes de la realización del test.

En general se aconseja que el número de usuarios para un estudio cuantitativo tiene que ser superior a 30 participantes (Marcos; González-Caro, 2010). De acuerdo con las previsiones de tiempos, medios y recursos para desarrollar el proyecto, se decidió que participarían 50 usuarios en el estudio. Posteriormente, se descartaron los usuarios que no cumplían con los requisitos de conocimientos previos o aquellos de los que el eye-tracker había grabado menos del 80 % de sus fijaciones. Este porcentaje es igualmente muy exigente. Al final la muestra quedó formada por 33 individuos y distribuida de la siguiente forma:

Tabla 1. Distribución por edades de los usuarios del experimento

Tabla 2. Distribución por conocimientos previos de los usuarios del experimento

4.2 Dispositivo del eye-tracking

Los tests se realizaron con un dispositivo de eye-tracker modelo Tobii 1750. Se trata de un monitor que integra un sistema de luz infrarroja que capta el movimiento ocular. Esta tecnología detecta con gran precisión la posición de la mirada en pantalla, así como el tiempo de permanencia de la mirada en un punto concreto del monitor. Estos datos objetivos precisan de una interpretación a nivel cognitivo (Hassan; Herrero, 2007) y, tradicionalmente, se ha hecho asumiendo que cuando la persona fija la mirada en un elemento está pensando en ese elemento. A pesar de que esta relación no es siempre cierta, es lo suficientemente consistente como para obtener resultados sólidos, especialmente si el número de usuarios que participan en el estudio es relativamente alto.

4.3 Diseño del experimento

El objetivo de este estudio es conocer el comportamiento visual del usuario ante la consulta de mapas conceptuales. El núcleo del test de usuario se ha basado en la visualización de 3 mapas conceptuales con distintas temáticas. Para que el estudio sea sistemático y comparable entre los diferentes usuarios, el test se realizó en iguales condiciones para cada usuario mostrando a todos ellos los 3 mismos mapas.

La consulta de un mapa conceptual sin un objetivo concreto puede llevar al desinterés o a su consulta parcial. Para evitar en lo posible este tipo de sesgo, se incluyeron algunos errores conceptuales en cada mapa y se les pidió que consultaran los mapas con el objetivo de detectar estos posibles errores. De esta forma evitábamos una consulta superficial, sin prestar atención. Entendemos que el comportamiento de los usuarios cuando consultan un mapa para detectar errores no difiere en lo sustancial de una consulta estándar con el objetivo de entender el contenido del mapa. Los contenidos de los mapas eran de los temas siguientes:

• Mapa B, bosón de Higgs
• Mapa I, Internet
• Mapa D, dieta mediterránea

 

Imagen 2. Mapa B sobre el bosón de Higgs

 

Imagen 3. Mapa I sobre el tema de Internet  

Imagen 4. Mapa D sobre la dieta mediterránea  

4.4 Hipótesis

Esta investigación partió de las siguientes hipótesis de trabajo cuya función ha sido conducir y orientar el análisis de datos. Son hipótesis de tipo descriptivo que expresan nuestra previsión sobre la forma de comportarse de los usuarios.

1. Los usuarios prestarán una mayor atención en el primer nivel del mapa (concepto raíz) y de forma proporcional esta atención irá disminuyendo en los niveles 2, 3 y 4. El motivo de esperar este comportamiento está en que los mapas están construidos de manera que los conceptos más generales y abstractos están en la parte superior. Son los conceptos más importantes que definen el contenido del mapa. Al avanzar hacia abajo en el mapa se presentan aspectos mucho más de detalle que no son esenciales para la comprensión global del mapa y que deberían requerir menor atención. Es una distribución parecida al triángulo invertido en la redacción de noticias de prensa.


2. Los usuarios prestarán una mayor atención a la zona izquierda y superior del mapa y de forma proporcional esta atención irá disminuyendo hacia la zona central, derecha e inferior. Se espera este comportamiento porque los estudios de usabilidad muestran que los usuarios de páginas web tienden a prestar una mayor atención a la parte superior izquierda, zona llamada el triángulo de oro (Enquiro, 2003).


3. Los usuarios prestarán una mayor atención a los conceptos que a las frases de enlace ya que los conceptos son la parte sustancial del mapa y las frases de enlace actúan de complemento.


4. El recorrido inicial de los usuarios será de arriba abajo y de izquierda a derecha, empezando por el concepto raíz y terminando por el concepto situado en el último nivel y más a la derecha. Esperamos este comportamiento ya que este es el recorrido de lectura en las lenguas indoeuropeas.

No se han definido variables independientes y variables dependientes ya que no se han postulado hipótesis de causa y efecto puesto que se trata de una investigación más descriptiva que analítica.

Estas 4 hipótesis definen los 2 objetivos concretos del estudio:

1. Identificar cuáles son las zonas de los mapas que reciben una mayor atención.
2. Identificar cuál es el recorrido de la mirada del usuario en la primera visualización de los mapas.

En los próximos apartados se presentan resultados específicos para cada uno de estos objetivos.

4.5 Métricas

Los mapas usados en el estudio tienen una estructura muy similar. La temática y el número de conceptos de cada mapa conceptual es distinto, pero la estructura general es homogénea y está formada por un árbol distribuido en 4 niveles horizontales y 3 ramas verticales. Para el estudio se definieron hasta 10 áreas de interés (AOI: area of interest), que fueron delimitadas con el software Tobii Studio para obtener métricas para cada una de ellas.

Una de las decisiones importantes en cualquier estudio con eye-tracker es decidir que métricas se usarán para alcanzar los objetivos planteados. En el contexto de los estudios de usabilidad (Marcos; González-Caro, 2010; Marcos, 2013; Rovira [et al.], 2014) se suelen usar métricas relacionadas con el nivel de efectividad y eficiencia de las tareas que hay que realizar, como por ejemplo:

• El porcentaje de usuarios que han fijado su mirada en una AOI.
• El tiempo transcurrido desde el inicio de la tarea hasta finalizarla.
• El número de fijaciones que los usuarios hacen en cada AOI.
• Tiempo de duración de las fijaciones en cada AOI.

En este estudio se han usado las métricas del "tiempo de duración de las fijaciones" y el "número de fijaciones" para identificar la importancia que los usuarios otorgan a cada zona del mapa y para saber cuál fue el recorrido del usuario por el mapa.

4.6 Normalización de los datos

Los datos brutos obtenidos del eye-tracker han sido normalizados para poder comparar distintos mapas y distintos usuarios. El objetivo de usar datos normalizados en lugar de datos directos es eliminar los sesgos generados por las diferencias entre los tres mapas y también por las diferencias en el comportamiento de los usuarios. Por ejemplo hay usuarios que están 20 segundos revisando los mapas y otros 60 segundos. En cada métrica se ha aplicado un método de normalización distinto.

1. En el caso de la métrica del "número de fijaciones antes de la primera fijación" se ha normalizado en función del número máximo de fijaciones que ha empleado cada usuario para revisar todas las zonas del mapa. Habitualmente, cada usuario hace una primera revisión de todo el mapa con un número distinto de fijaciones ya que se repiten fijaciones en zonas intermedias antes de revisarlas todas.
   Se ha aplicado una normalización específica para cada usuario. Para ello, se ha dividido el número de fijaciones de cada zona por el máximo número de fijaciones de ese usuario pasando de un número absoluto a uno relativo del "tanto por uno" o porcentaje. Al trabajar con datos relativos todos los datos del número de fijaciones están entre 0 y 1 y se han evitado los sesgos derivados de la distinta cantidad de fijaciones usadas para revisar todo el mapa.


2. En la métrica del "número total de fijaciones" se ha normalizado en función del número total de fijaciones que cada usuario ha realizado en todas las zonas analizadas. Al dividir los datos de cada usuario por el número total de fijaciones de ese usuario se ha obtenido igualmente un dato relativo entre 0 y 1 que evita sesgos derivados de que un usuario haya realizado más fijaciones que otro o que un mapa tenga más conceptos que revisar.


3. Finalmente, en la métrica del "tiempo total que se ha fijado la vista en una zona determinada" se ha normalizado, como en casos anteriores, en función del tiempo total que ha empleado cada usuario para revisar todas las zonas del mapa. Se ha obtenido igualmente un valor relativo entre 0 y 1 para evitar los sesgos derivados de que un usuario sea más lento que otro al revisar los mapas o que un mapa sea más grande que otro.

5 Resultados

Se ha trabajado con un total de 516 variables, de las cuales un 60,9 % seguía una distribución normal. Gran parte del estudio estadístico ha consistido en emparejar algunas de estas variables para identificar si las medias tenían diferencias significativas. Cuando ambas variables de la comparación tenían una distribución normal se ha aplicado la prueba t de Student; en cambio, cuando alguna de las variables (o las dos) no eran normales se ha aplicado la prueba de los signos de Wilcoxon. A continuación se presentan dos apartados de resultados, uno para cada objetivo de la investigación: áreas de mayor atención y recorrido inicial.

5.1 Áreas de mayor atención

Tal como se ha indicado, los 3 mapas utilizados en los tests tienen esta estructura general de 4 niveles horizontales y 3 ramas verticales. Para el estudio de las áreas que han recibido una mayor atención se han definido 7 AOI, 4 de ellas corresponden a los niveles horizontales del mapa: el primer nivel es el concepto raíz y el cuarto incluye los conceptos situados en la parte más inferior del mapa. Las otras 3 AOI están definidas en función de las zonas verticales (derecha, centro e izquierda) y corresponden a las 3 ramas principales del árbol invertido que forma los mapas (véase la imagen 1).

 

Imagen 5. Definición de las áreas de interés en el mapa B

Hemos trabajado de forma paralela en dos métricas para determinar el grado de atención que otorgan los usuarios a cada área del mapa. Estas métricas son: "tiempo de duración de las fijaciones" y "número de fijaciones". Con valores significativos en uno de los indicadores ya podríamos confirmar o rechazar las hipótesis planteadas. No obstante, hemos realizado los cálculos de forma paralela en los dos indicadores para ver hasta qué punto lo que se obtiene con un indicador se confirma con el otro y de este modo tener un mayor respaldo en nuestras conclusiones. Hay que señalar que los promedios de ambas métricas no siguen una distribución normal y tienen un coeficiente de correlación de Spearman del 0,78. Por tanto, son variables altamente correlacionadas que estarían mostrando dos formas complementarias y coherentes de ver el grado de atención prestado por los usuarios en las distintas zonas de los mapas conceptuales.

En el estudio estadístico se han emparejado las variables correspondientes a distintas áreas para identificar diferencias significativas en las medias de las dos métricas indicadas (tablas 3, 4 y 5). Los datos están basados en los promedios de todos los usuarios en cifras normalizadas. Hay que resaltar que en ningún caso se han obtenido resultados significativos contradictorios entre las dos métricas, en el sentido que en uno de los indicadores se obtengan diferencias positivas y en el otro negativas.

Tabla 3. Diferencias entre los promedios de las zonas en los 3 mapas para identificar la atención

En las tablas 3 y 5 se comparan distintas áreas de interés con relación a las medias de la duración de las fijaciones y el número de fijaciones para cada mapa. Se indica si la comparación es estadísticamente significativa de acuerdo con la prueba t de Student (ST) con variables normales o la de Wilcoxon (WK) con variables no normales. El porcentaje corresponde a la diferencia entre las medias de las dos áreas.

Finalmente, hemos ordenado los niveles/zonas de mayor a menor interés y en función de las diferencias estadísticamente significativas entre ellas (tablas 4 y 5). Cuando entre dos niveles no había una diferencia significativa se ha asignado el mismo número de orden. En las últimas columnas de estas tablas se pueden consultar las medianas con los datos de las 6 variables correspondientes a los 3 mapas. Es interesante resaltar que se obtiene exactamente el mismo resultado con las dos métricas utilizadas, tanto en los niveles horizontales como en las zonas verticales.

Tabla 4. Orden en el grado de atención de los usuarios en los 4 niveles horizontales y las 3 zonas verticales de los 3 mapas estudiados

De forma sorprendente, en todos los casos, el segundo nivel recibe la mayor atención de los usuarios. Recordamos que se está trabajando con valores promedios, por tanto un mayor número de conceptos no implica un mayor tiempo de atención. Igualmente en todos los mapas y en todos los indicadores el nivel 4 es el que recibe una menor atención. Por tanto no hemos obtenido evidencias en la primera parte de la hipótesis 1 cuando afirmábamos que el concepto raíz (nivel 1) obtendría una mayor atención. Sí que constatamos la segunda parte de esta hipótesis donde indicábamos que el último nivel recibiría la menor atención.

Probablemente, el concepto raíz es menos complejo que los conceptos situados inmediatamente debajo de él y exigiría una menor atención. En cambio, el nivel 2 contiene los conceptos importantes del mapa y es en este nivel donde realmente se muestra toda su complejidad.

En el estudio de las zonas verticales, podemos constatar que la zona central recibe una mayor atención sin que haya diferencias significativas entre las zonas izquierda y derecha. Estos resultados son contradictorios con la hipótesis 2, en la que esperábamos una mayor atención en la zona izquierda. No parece que el hecho de que la zona central sea un "lugar de paso" para acceder de derecha a izquierda o de arriba abajo justifique estos resultados.

Todo parece indicar que el segundo nivel, y en especial la zona central, sería la zona clave de los mapas conceptuales, donde los usuarios prestan una mayor atención ya que le dedican más tiempo de lectura o revisión y también realizan un mayor número de fijaciones de la mirada.

Con relación a la comparación entre conceptos y frases de enlace, los resultados no son concluyentes. Nuestras previsiones (hipótesis 3) eran que los conceptos recibieran una mayor atención que las frases de enlace ya que la parte importante de los mapas está en los conceptos. No obstante, solo en 2 de las 6 métricas aplicadas (tabla 8) se obtienen resultados estadísticamente significativos. Por tanto, no hemos obtenido evidencias que puedan confirmar (o refutar) la hipótesis 3. Una de las razones podría ser la longitud del texto de las frases de enlace, que en algunos casos es mucho mayor que en los conceptos. Los datos altos en las métricas de las frases de enlace serían causados por el mayor tiempo que necesita el usuario para leer el texto y no porque tuviera un mayor interés en esas zonas.

Tabla 5. Comparación entre conceptos y frases de enlace

5.2 Recorrido inicial por el mapa

El segundo objetivo de este estudio consiste en identificar el orden de consulta cuando los usuarios dan una primera revisión general del mapa. Hemos analizado solo el comportamiento en los primeros momentos, que corresponde a la primera visualización en todos los conceptos del mapa, ya que intentamos determinar cuál es el recorrido visual por el mapa antes de profundizar en sus contenidos. Luego, probablemente, el orden de lectura se verá influenciado por el contenido del mapa en función de aquellos conceptos que hayan tenido una mayor dificultad de comprensión y que, por tanto, requieran una segunda revisión.

En este caso, se ha usado la métrica del "número de fijaciones antes de la primera fijación" en cada zona de interés. Se han usado 10 áreas de interés correspondientes a la intersección de los 4 niveles horizontales y las 3 zonas verticales (imagen 5):

• Nivel 1 y zona central (1Ce). Las zonas del nivel 1 correspondientes a la izquierda y a la derecha no se han utilizado ya que no contienen conceptos. En el nivel 1 solo está el concepto raíz en la parte central.
• Nivel 2 y zona izquierda (2Iz); nivel 2 y zona central (2Ce); nivel 2 y zona derecha (2De).
• Nivel 3 y zona izquierda (3Iz); nivel 3 y zona central (3Ce); nivel 3 y zona derecha (3De).
• Nivel 4 y zona izquierda (4Iz); nivel 4 y zona central (4Ce); nivel 4 y zona derecha (4De).

En el tratamiento estadístico se han identificado aquellas parejas de zonas con valores con diferencias significativas en los promedios de todos los usuarios (tabla 6) en la métrica del "número de fijaciones antes de la primera fijación". Tal como hicimos en el punto anterior, a partir de estos datos hemos calculado el número de orden (tablas 7, 8 y 9) que en este caso hace referencia al itinerario de la consulta.

Tabla 6. Diferencias entre los promedios de las diversas zonas de los mapas en la métrica del "número de fijaciones antes de la primera fijación"

En la tabla 6 se comparan distintas áreas de interés en relación con las medias del "número de fijaciones antes de la primera fijación". Se indica si la comparación es estadísticamente significativa de acuerdo con la prueba t de Student (ST) con variables normales o la de Wilcoxon (WK) con variables no normales. El porcentaje corresponde a la diferencia entre las medias de las dos áreas. En la última columna aparecen 3 comparaciones sin datos porque esas áreas no existen en el mapa I.

El orden de las 10 áreas se ha construido teniendo en cuenta las diferencias de promedios entre las zonas estadísticamente significativas. En caso de no encontrar estas diferencias se ha indicado el mismo número de orden en las dos áreas analizadas. Para realizar este apartado se han tenido en cuenta los datos de los conceptos y no las frases de enlace por considerarlos más importantes puesto que los conceptos contienen la parte sustancial del mapa.

Tabla 7. Orden de consulta de las zonas del mapa B

Tabla 8. Orden de consulta de las zonas del mapa D

Tabla 9. Orden de consulta de las zonas del mapa I

Podemos constatar que en los 3 mapas se ha producido una lectura combinando la estrategia en anchura y la estrategia en profundidad avanzando del punto superior izquierda al punto inferior derecha.

Los usuarios tienden a realizar una revisión del mapa siguiendo un recorrido en forma de zigzag partiendo del concepto raíz situado en la parte superior central y acabando en el concepto situado más a la derecha en el nivel más inferior. Estos resultados confirmarían la hipótesis 4.

 

Imagen 6. Recorrido estándar de la mirada sobre los mapas conceptuales

6 Discusión sobre los resultados

Los resultados obtenidos en el apartado del grado de atención han sido obtenidos trabajando en forma paralela con dos métricas distintas. La coincidencia y coherencia de los datos obtenidos dan un mayor respaldo a estos resultados: en ningún caso se han obtenido resultados significativos de diferencias entre zonas con signos contrarios y el orden final obtenido coincide exactamente en las dos métricas.

Por otro lado, el orden del recorrido inicial de los usuarios en la consulta de los 3 mapas sigue en todos los casos una pauta muy similar: se parte del concepto raíz y se avanza con movimientos de zigzag hasta el concepto situado en la parte inferior derecha.

Entendemos que estas circunstancias otorgan solidez a los resultados obtenidos. No obstante, para generalizarlos a la población de que proviene la muestra (usuarios con conocimientos sobre mapas conceptuales) sería necesario realizar estudios complementarios con nuevos grupos de usuarios.

Además, en el desarrollo de la investigación se han detectado algunas mejoras que en caso de realizar estudios adicionales deberían incorporarse:

• La longitud del texto en frases y conceptos debería ser todavía más similar en todos los mapas para evitar que el tiempo de fijación o el número de fijaciones sea debido a la cantidad de texto y no al interés del usuario por esa parte del mapa.
• La complejidad de los distintos conceptos dentro de un mismo mapa no debería ser muy distinta para evitar igualmente que un mayor grado de atención no sea por el interés sino por incomprensión.
• La estructura general de los 3 mapas debería ser todavía más parecida intentando que el número de conceptos y su disposición en las 3 ramas sea prácticamente igual.
• La complejidad en los 3 mapas debería ser igualmente parecida para no incorporar una nueva variable no controlada.
• Debería añadirse un grupo de control con un test con mapas sin errores para confirmar que la consulta en la que se pide la detección de errores no difiera de la consulta abierta con el simple objetivo de comprender el mapa.

Con relación a las hipótesis, cabe señalar que su función primordial ha sido orientar la investigación desempeñando un rol de hipótesis de trabajo. Tal como se ha indicado, algunas de ellas han sido corroboradas, otras se han confirmado solo parcialmente y otras han sido rechazadas. Probablemente las hipótesis que en el futuro van a resultar más interesantes son precisamente aquellas que han sido rechazadas ya que contradicen las previsiones planteadas al iniciar este estudio basadas en apreciaciones de "sentido común".

7 Conclusiones

En este estudio se ha analizado el comportamiento de un grupo de usuarios ante la consulta de mapas conceptuales. Nuestro propósito era conocer la importancia que le dan los usuarios a cada zona del mapa así como conocer cuál es el recorrido inicial por el mapa. Para ello se ha usado un sistema eye-tracker que ha registrado el tiempo y el número de fijaciones de la mirada de los usuarios en las distintas zonas de 3 mapas conceptuales. Para evitar el sesgo que pudiera generarse por las diferencias entre los mapas y entre los usuarios, se han usado datos relativos.

De acuerdo con los datos obtenidos, los usuarios prestan una mayor atención al segundo nivel horizontal del mapa y a la zona central. No se han encontrado diferencias significativas en el grado de atención prestada a los conceptos con relación a las frases de enlace. Por otro lado hemos identificado que los usuarios hacen un recorrido inicial por el mapa en forma de zigzag partiendo del concepto raíz situado en la parte superior central y acabando en el concepto situado más a la derecha y en el nivel más inferior.

Estos resultados son estadísticamente significativos y coherentes por las coincidencias encontradas en varias métricas y en diversos mapas. Son indicios sólidos sobre cómo se comportan los usuarios en la consulta de mapas conceptuales; no obstante, para generalizarlos serían necesarios estudios adicionales que confirmen los mismos resultados incorporando las mejoras indicadas en el apartado de discusión de los resultados.

Finalmente, hay que indicar que estos resultados confirman la adecuación de la metodología del eye-tracker (seguimiento de la mirada) para el estudio del comportamiento de los usuarios durante la consulta de mapas conceptuales. A medio plazo se prevé que a partir de la identificación del comportamiento habitual de los usuarios se podrán proponer recomendaciones más concretas para mejorar la creación de mapas conceptuales y facilitar su consulta.

Bibliografía

Ausubel, D. P.; Novak, J. D.; Hanesian, H. (1989). Psicología educativa. México: Trillas.

Cañas, A. J.; Carff, R.; Hill, G.; Carvalho, M.; Arguedas, M.; Eskridge, T. C.; Lott, J.; Carvajal, V. (2005). "Concept maps: integrating knowledge and information visualization". En: Tergan, S. O.; Keller, T. (ed.). Knowledge and information visualization: searching for synergies. Heidelberg; New York: Springer Lecture Notes in Computer Science. <http://cmap.ihmc.us/publications/researchpapers/conceptmapsintegratingknowinfvisual.pdf>. [Consulta: 04/12/2013].

Cañas, A. J.; Novak, J. D.;  González, F. M.; Ricardo, A.; Cabral, Y.; Mário, C.; Nicolao, M.; Suzana, M.; Amoretti, M. (2004). "Use of conceptual maps in distance learning courses". Concept maps: theory, methodology technology. Proceedings of the 1st International Conference on Concept Mapping. Cañas, A. J.; Novak, J. D.; González, F. M. (ed.). Pamplona: Universidad Pública de Navarra.

Enquiro/Eyetools Google Report, 2003. <http://eyetools.com/research_google_eyetracking_heatmap.html>. [Consulta: 03/08/2013].

Eskridge, T. C.; Granados, A.; Cañas, A. J. (2006). "Ranking concept map retrieval in the CmapTools network". Concept maps: theory, methodology, technology. Proceedings of the Second International Conference on Concept Mapping. Cañas, A. J.; Novak, J. D. (ed.). Vol. 1. San José: Universidad de Costa Rica, p. 477-484. <http://cmc.ihmc.us/cmc2006Papers/cmc2006-p205.pdf>. [Consulta: 04/12/2013].

Goldberg, J. H.; Helfman, J. I. (2010). "Comparing information graphics: a critical look at eye tracking". Proceedings of the 3rd BELIV'10 Workshop. Beyond time and errors: novel evaluation methods for information visualization, p. 71-78. <http://dl.acm.org/citation.cfm?id=2110203>. [Consulta: 04/12/2013].

— (2011). "Eye tracking for visualization evaluation: reading values on linear versus radial graphs". Information visualitzation, vol. 10, no. 3, p. 182-195. <http://ivi.sagepub.com/content/10/3/182.full.pdf+html>. [Consulta: 04/12/2013].

González-Caro, C.; Marcos, M. C. (2011). "Different users and intents: an eye-tracking analysis of web search". WSDM'1.1 Fourth ACM International Conference on Web Search and Data Mining. Kowloon, Hong Kong, 9-12 February, 2011. King, I.; Nejdl, W.; Li, H. (ed.). New York: ACM. <http://ciio.unab.edu.co/gti/images/documentos/umwa-8.pdf>. [Consulta: 04/12/2013].

Granka, L.; Joachims, T.; Gay, G. (2004). "Eye-tracking analysis of user behavior in WWW search". Proceedings of the 27th Annual international ACM SIGIR Conference on Research and Development in information Retrieval. Sheffield, United Kingdom, 25-29 July, 2004. New York: ACM, p. 478-479. <http://www.cs.cornell.edu/People/tj/publications/granka_etal_04a.pdf>. [Consulta: 03/08/2013].

Hassan Montero, Y.; Herrero Solana, V. (2007). "Eye-tracking en interacción persona-ordenador". No solo usabilidad, 28 de octubre de 2007. <http://www.nosolousabilidad.com/articulos/eye-tracking.htm>. [Consulta: 03/08/2013].

Leake, D. B.; Maguitman, A.; Reichherzer, T.; Cañas, A. J.; Carvalho, M.; Arguedas, M.; Eskridge, T. C. (2004). "Googling from a concept map: towards automatic concept-map-based query formation". Concept maps: theory, methodology technology. Proceedings of the 1st International Conference on Concept Mapping. Cañas, A. J.; Novak, J. D.; González, F. M. (ed.). Pamplona: Universidad Pública de Navarra, p. 409-416.

Marcos, M. C.; González-Caro, C. (2010). "Comportamiento de los usuarios en la página de resultados de los buscadores. Un estudio basado en eye tracking". El profesional de la información (jul.-ago.), vol. 19, n.º 4, p. 348-358. <http://grupoweb.upf.es/WRG/dctos/marcos__gonzalez_2010.pdf>. [Consulta: 04/12/2013].

Marcos, M. C. (2013). "Diseño de experimentos con usuarios: lecciones aprendidas". Anuario Hipertext.net, n.º 11. <http://www.upf.edu/hipertextnet/numero-11/Diseno_experimentos_usuarios.html>. [Consulta: 03/08/2013].

McDonald, S.; Stevenson, R. J. (1999). "Spatial versus conceptual maps as learning tools in hypertext". Journal of educational multimedia and hypermedia, vol. 8, no. 1, p. 43-64.

Moon, B. M.; Hoffman, R. R.; Novak, J. D.; Cañas, J. J. (2011). Applied concept mapping: capturing, analyzing, and organizing knowledge. New York: CRC Press.

Nielsen, J.; Pernice, K. (2009). Eyetracking web usability. Berkeley: New Riders Press.

Novak, J. D. (2002). "Using concept maps to facilitate classroom and distance learning". Scuola & citta, no. 2, p. 112-114.

— (2010). Learning, creating, and using knowledge: concept maps as facilitative tools in schools and corporations. 2^nd ed. New York: Routledge.

Novak, J. D.; Cañas, A. J. (2004). "Building on new constructivist ideas and CmapTools to create a new model for education". Concept maps: Theory, methodology technology. Proceedings of the 1st International Conference on Concept Mapping. Cañas, A. J.; Novak, J. D.; González, F. M. (ed.). Pamplona: Universidad Pública de Navarra. <http://www.ihmc.us/users/acanas/Publications/NewModelEducation/NewModelforEducation.pdf. [Consulta: 04/12/2013].

—  (2006a). "Theoretical origins of concept maps, how to construct them and uses in education". Reflecting education, vol. 3 (Nov.), no. 1, p. 29-42. <http://www.reflectingeducation.net/index.php/reflecting/article/view/41/43>. [Consulta: 04/12/2013]. 

— (2006b). "The origins of the concept mapping tool and the continuing evolution of the tool". Information visualization journal, vol. 5 (Jan.), p. 175-184. <http://cmap.ihmc.us/publications/researchpapers/originsofconceptmappingtool.pdf>. [Consulta: 04/12/2013].

Novak, J. D.; Gowin, D. B. (1984). Learning how to learn. Cambridge; New York: Cambridge University Press.

Rele, R. S.; Duchowski, A. T. (2005). "Using eye tracking to evaluate alternative search results interfaces". Proceedings of the 49th Annual Meeting. HFES Human Factors and Ergonomics Society. Orlando, Florida, 26-30 September, 2005. <http://andrewd.ces.clemson.edu/research/vislab/docs/Final_HFES_Search.pdf>. [Consulta: 03/08/2013].

Rovira, C. (2002). "Estructuras de navegación para e-learning". El profesional de la información, vol. 11 (nov.-dic.), n.º 6, p. 457-466. <http://www.elprofesionaldelainformacion.com/contenidos/2002/noviembre/6.pdf>. [Consulta: 04/12/2013].

Rovira, C.; Mesa Lao, B. (2006). "Análisis comparativo de editores de mapas conceptuales de uso libre". BiD: textos universitaris de biblioteconomia i documentació (juny), núm. 16. <https://bid.ub.edu/16rovir2.htm>. [Consulta: 04/12/2013]. 

Rovira, C.; Capdevila, J.; Marcos, M. C. (2014). "La importancia de las fuentes en la selección de artículos de prensa online: estudio de Google Noticias mediante eye-tracking". Investigación bibliotecológica, n.º 62. [En prensa].

Toker, D.; Conati,C.; Steichen, B.; Carenini, G. (2013). "Individual user characteristics and information visualization: connecting the dots through eye tracking". CHI 2013. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, Paris, France, 27 April - 2 May, 2013. <http://www.cs.ubc.ca/~conati/my-papers/CHI2013CameraReady.pdf>. [Consulta: 04/12/2013].  

Agradecimientos

Esta investigación forma parte del proyecto de investigación "CSO2011-22691 - Nuevas estrategias de publicidad y promoción de las marcas turísticas españolas en la Web. Ministerio de Ciencia e Innovación, 2012-2014".

Fecha de recepción: 09/09/2013. Fecha de aceptación: 22/10/2013.