Número 31 (desembre 2013)

La consulta de mapes conceptuals: estudi mitjançant el seguiment de la mirada

 

[Versión castellana]


Cristòfol Rovira

Professor
Universitat Pompeu Fabra

Resum

Objectius: estudiar les pautes de comportament dels usuaris quan consulten mapes conceptuals. Especialment s'identifiquen les parts dels mapes en què se centra més atenció i l'ordre en què el mapa es revisa.

Metodologia: s'ha aplicat la metodologia de recerca del seguiment de la mirada (eye-tracker).

Resultats: indiquen que els usuaris dediquen més atenció al segon nivell horitzontal del mapa i a la zona central. No s'han trobat diferències significatives en el grau d'atenció entre els conceptes i les frases d'enllaç. Els usuaris inicialment recorren el mapa en forma de ziga-zaga partint del concepte arrel situat en la part superior central i acabant en el concepte situat més a la dreta i en el nivell més inferior.

Abstract

Objectives: This paper examines how users read concept maps and seeks to identify those parts of concept maps that users focus on most and the order in which maps are reviewed.

Methodology: The study used eye-tracking methodology.

Results: It was observed that when reading concept maps users paid most attention to second horizontal entry levels and to the central area of the map. There was no significant difference of degree in the attention they paid to nodes or connecting sentences, and users initially read down the map, from one side to the other, from the root concept positioned at the top and in the middle of the map to the concept positioned at the bottom right-hand corner.

 

1 Introducció

Els mapes conceptuals han estat objecte de nombrosos estudis centrats en l'àmbit de l'educació i l'aprenentatge (Novak; Cañas, 2006a; Novak, 2010; Moon [et al.], 2011). En integrar-se en el web també s'han estudiat com a instruments de navegació hipertextual (McDonald; Stevenson, 1999), com a sistemes de visualització de la informació (Cañas [et al.], 2005), per a la recuperació de la informació (Leake [et al.], 2004; Eskridge [et al.], 2006) o com a instruments per a la formació no presencial (Novak, 2002; Cañas [et al.], 2004; Rovira, 2002). En canvi, no hi ha antecedents de l'estudi d'usuaris dels mapes conceptuals amb metodologies quantitatives, com ara el seguiment de la mirada (eye-tracker).

Aquesta investigació té com a objectiu identificar les pautes de comportament dels usuaris quan consulten mapes conceptuals. S'intenta especialment identificar les parts dels mapes a les quals es dedica més atenció i l'ordre en què el mapa es revisa. Es tracta d'una investigació més descriptiva que analítica que pretén posar els fonaments d'una línia de recerca que té com a meta final obtenir mostres que permetin millorar el disseny i la creació de mapes conceptuals. S'ha aplicat la metodologia de recerca de seguiment de la mirada, que permet saber quan i on els usuaris miren en consultar una pantalla d'ordinador.

Per a aquest estudi s'ha dut a terme un test amb usuaris en laboratori utilitzant un dispositiu de seguiment de la mirada. Aquesta tecnologia s'ha usat prèviament de forma habitual en estudis de màrqueting o per analitzar la usabilitat d'interfícies d'usuaris, com ara pantalles d'ordinador o pàgines web (Nielsen, 2009). També hi ha nombrosos treballs sobre el comportament visual de les persones en la revisió de pàgines de resultats de cercadors (Granka [et al.], 2004; Rele; Duchowski, 2005; González-Caro; Marcos, 2011; Nielsen, 2009), hi ha algun antecedent sobre l'estudi de gràfics (Toker [et al.], 2013; Goldberg; Helfman, 2010; Goldberg, 2011), però ara com ara no s'ha publicat cap recerca sobre la consulta de mapes conceptuals.

L'estructura de l'article és la següent: en la secció 2 es presenten els treballs previs que han servit com a punt de partida a aquest estudi; a continuació es detalla el disseny experimental dut a terme; després s'ofereixen els resultats de l'anàlisi dels tests, i finalment, en l'últim apartat, es presenten les conclusions d'aquest estudi.

 

2 Treballs previs

L'origen dels mapes conceptuals cal situar-lo en els treballs de Joseph D. Novak en la dècada dels seixanta i en el context d'un projecte de recerca en psicologia de l'aprenentatge. Novak (Novak; Gowin, 1984) investigava l'aprenentatge basant-se en les teories d'Ausubel [et al.] (1989) i va crear els mapes conceptuals com a instrument per fer visible el tipus d'aprenentatge adquirit. En aquell moment Novak no va pensar en Internet, entre altres raons perquè no existia. Després s'ha vist la gran utilitat d'aquest instrument per accedir a la informació i per ajudar a la navegació en entorns digitals quan s'afegeixen enllaços hipertextuals als mapes conceptuals.

L'ús dels mapes conceptuals a l'entorn d'Internet ha rebut un gran impuls gràcies als treballs de l'IHMC (el Florida Institute for Human & Machine Cognition), especialment pel desenvolupament de l'editor CmapTools, sota la supervisió de Novak (Novak; Cañas, 2004, 2006b). El CmapTools és un dels millors editors de mapes conceptuals d'accés lliure (Rovira; Mesa Lao, 2006). Permet crear mapes conceptuals per a Internet, en format HTML, amb enllaços hipertextuals i compatibles amb les bases teòriques de Novak.

El seguiment de la mirada (eye-tracking) és una tècnica que permet conèixer la posició dels ulls i els seus moviments quan s'està fent una acció determinada, a través d'una tecnologia de rajos infrarojos capaç de detectar les pupil·les. S'ha utilitzat principalment en recerca sobre el sistema visual, en psicologia cognitiva, i en el disseny de productes. En el sector del màrqueting, s'ha aplicat per millorar la col·locació de productes en prestatgeries de supermercats, per escollir espais publicitaris en pàgines web, augmentar les ràtios de conversió en les compres en línia o per fer benchmarking (comparar les accions dels usuaris en el propi web amb les accions que fa en els webs de la competència). Els últims anys el seguiment de la mirada s'ha aplicat de forma bastant habitual en l'avaluació de llocs web i especialment en estudis d'usabilitat d'interfícies digitals, per a interessos comercials. El llibre de Jakob Nielsen i Kara Pernice (2009) presenta nombrosos exemples d'aplicació del seguiment de la mirada a la usabilitat. En els seus capítols es troben estudis que han fonamentat les bases per avaluar menús de navegació, enllaços, imatges, publicitat en el disseny web i les interfícies de cerca d'informació. Aquesta tècnica també s'ha aplicat per analitzar diferents tipus de gràfics, com ara de barres o circulars (Toker [et al.], 2013; Goldberg; Helfman, 2010 i 2011), però no hi ha antecedents que s'hagi aplicat per estudiar mapes conceptuals.

Aquest estudi té com a finalitat principal confirmar la utilitat de la metodologia del seguiment de la mirada per estudiar el comportament dels usuaris durant la consulta de mapes conceptuals i comprovar si es poden obtenir conclusions que permetin millorar el disseny i la creació dels propis mapes conceptuals.

 

3 Mapes conceptuals

D'acord amb la teoria de Novak (Novak; Cañas, 2006a; Novak, 2010), un mapa conceptual és la representació gràfica d'un conjunt de conceptes relacionats. Es tracta d'un esquema gràfic que mostra un conjunt d'idees (conceptes) i les relacions que s'estableixen entre elles. L'objectiu final és plasmar gràficament l'estructura conceptual que l'autor del mapa posseeix sobre el tema representat.

Segons Novak, un mapa conceptual està format per conceptes i per frases d'enllaç. Els conceptes es representen dins d'un rectangle i les frases d'enllaç etiqueten la línia que uneix un concepte amb un altre i mostra la relació que mantenen entre si. Les frases d'enllaç no estan emmarcades en un rectangle per diferenciar-les dels conceptes. Normalment, els conceptes s'expressen amb un substantiu o sintagma nominal. Les frases d'enllaç solen ser preposicions, adverbis, conjuncions i sintagmes verbals.

Els mapes conceptuals s'organitzen al voltant d'un concepte principal, anomenat arrel, que expressa la idea central del mapa. A partir del concepte arrel, s'estableixen relacions amb nous conceptes mitjançant frases d'enllaç. Aquests nous conceptes, al seu torn, estableixen noves relacions i formen una estructura arbòria. Des d'un concepte poden traçar-se diverses frases d'enllaç i una mateixa frase d'enllaç pot connectar amb diversos conceptes.

L'ordenació dels conceptes en un mapa segueix l'esquema general següent: els conceptes més generals i abstractes apareixen en la part superior. A mesura que el mapa es ramifica, incorporant noves frases d'enllaç, els conceptes enllaçats van concretant el tema exposat. D'aquesta manera els conceptes situats en la part inferior del mapa són els més específics i concrets.

 
Exemple de mapa conceptual elaborat d'acord amb les teories de Novak

Imatge 1. Exemple de mapa conceptual elaborat d'acord amb les teories de Novak

 

4 Metodologia

4.1 Participants

La selecció dels usuaris per fer el test és un procés complex si es volen complir els requisits que permetin generalitzar els resultats de la mostra a una població determinada. Normalment els estudis d'usabilitat amb el seguiment de la mirada són de tipus més qualitatiu i no busquen una generalització, sinó tan sols detectar anomalies que s'han de millorar en el disseny d'algun element d'una pàgina web i, per tant, les mostres d'usuaris solen ser petites, entre 10 i 15. En canvi, aquesta recerca té una orientació més quantitativa perquè es pretenen identificar mostres sòlides sobre la forma en què es consulten els mapes conceptuals. Per tant, s'ha estat més exigent en la selecció de la mostra d'individus, malgrat les limitacions inherents de tot procés de reclutament, especialment amb pressupostos ajustats.

Ateses les característiques de la recerca es va decidir treballar amb un grup d'usuaris al més homogeni possible i que tinguessin coneixements previs sobre mapes conceptuals. Per aquest motiu, es van seleccionar solament els individus que van declarar conèixer les característiques bàsiques dels mapes conceptuals i que a més haguessin creat almenys un mapa conceptual abans de fer del test.

En general s'aconsella que el nombre d'usuaris per a un estudi quantitatiu ha de ser superior a 30 participants (Marcos; González-Caro, 2010). D'acord amb les previsions de temps, mitjans i recursos per desenvolupar el projecte, es va decidir que en el nostre hi participarien 50 usuaris. Posteriorment, es van descartar els usuaris que no complien els requisits de coneixements previs o dels quals s'havia gravat menys del 80 % de les fixacions, a través del seguiment de la mirada. Aquest percentatge és igualment molt exigent. La mostra va quedar finalment formada per 33 individus distribuïda de la forma següent:

 
Edats
Usuaris
%
18-20 anys
13
39,4
21-25 anys
10
30,3
26-30 anys
6
18,2
31-35 anys
4
12,1
Total
33
100,0

Taula 1. Distribució per edats dels usuaris de l'experiment

 
Mapes creats abans de l'estudi
Usuaris
%
Entre 1 i 5
12
36,4
Més de 5
21
63,6
Total
33
100,0

Taula 2. Distribució per coneixements previs dels usuaris de l'experiment

 

4.2 Dispositiu de seguiment de la mirada

Els tests es van dur a terme amb un dispositiu de seguiment de la mirada, el model Tobii 1750. Es tracta d'un monitor que integra un sistema de llum infraroja que capta el moviment ocular. Aquesta tecnologia detecta amb gran precisió la posició de la mirada en pantalla, així com el temps de permanència de la mirada en un punt concret del monitor. Aquestes dades objectives requereixen una interpretació a escala cognitiva (Hassan; Herrero, 2007) i, tradicionalment, s'ha fet assumint que quan la persona fixa la mirada en un element està pensant en aquest element. Malgrat que aquesta relació no és sempre certa, és prou consistent per obtenir resultats sòlids, especialment si el nombre d'usuaris que participen en l'estudi és relativament alt.

 

4.3 Disseny de l'experiment

L'objectiu d'aquest estudi és conèixer el comportament visual de l'usuari davant la consulta de mapes conceptuals. El nucli del test d'usuari s'ha basat en la visualització de 3 mapes conceptuals amb diferents temàtiques. Perquè l'estudi sigui sistemàtic i comparable entre els diferents usuaris, el test es va fer en les mateixes condicions per a cada usuari als quals es van mostrar els 3 mateixos mapes.

La consulta d'un mapa conceptual sense un objectiu concret pot portar al desinterès o a la consulta parcial. Per evitar tant com fos possible aquest tipus de biaix, es van incloure alguns errors conceptuals en cada mapa i es va demanar als usuaris que consultessin els mapes amb l'objectiu de detectar-los. D'aquesta forma evitàvem una consulta superficial, sense parar-hi atenció. Entenem que el comportament dels usuaris quan consulten un mapa per detectar errors no difereix substancialment d'una consulta estàndard amb l'objectiu d'entendre el contingut del mapa. Els continguts dels mapes eren dels temes següents:

  • Mapa B, bosó de Higgs
  • Mapa I, Internet
  • Mapa D, dieta mediterrània
 
Mapa B sobre el bosó de Higgs

Imatge 2. Mapa B sobre el bosó de Higgs

 
Mapa I sobre Internet

Imatge 3. Mapa I sobre Internet

 
Mapa D sobre la dieta mediterrània

Imatge 4. Mapa D sobre la dieta mediterrània

 

4.4 Hipòtesi

Aquesta investigació va partir de les hipòtesis de treball següents, la funció de les quals ha estat conduir i orientar l'anàlisi de dades. Són hipòtesis de tipus descriptiu que expressen la nostra previsió sobre la forma de comportar-se dels usuaris.

  1. Els usuaris centraran més l'atenció en el primer nivell del mapa (concepte arrel) i de forma proporcional aquesta atenció anirà disminuint en els nivells 2, 3 i 4. El motiu d'esperar aquest comportament és que els mapes estan construïts de manera que els conceptes més generals i abstractes estan en la part superior, ja que són els conceptes més importants que defineixen el contingut del mapa. En avançar cap avall es presenten aspectes molt més de detall que no són essencials per comprendre'l globalment i que haurien de requerir menys atenció. És una distribució semblant al triangle invertit en la redacció de notícies de premsa.

  2. Els usuaris prestaran més atenció a la zona esquerra i superior del mapa i de forma proporcional aquesta atenció anirà disminuint cap a la zona central, dreta i inferior. S'espera aquest comportament perquè els estudis d'usabilitat mostren que els usuaris de pàgines web tendeixen a parar més atenció a la part superior esquerra, zona anomenada el triangle d'or (Enquiro, 2003).

  3. Els usuaris pararan més atenció als conceptes que a les frases d'enllaç, perquè els conceptes són la part substancial del mapa i les frases d'enllaç actuen de complement.

  4. El recorregut inicial dels usuaris serà de dalt a baix i d'esquerra a dreta, començant pel concepte arrel i acabant pel concepte situat en l'últim nivell i més a la dreta. Esperem aquest comportament ja que és el recorregut de lectura en les llengües indoeuropees.

No s'han definit variables independents ni variables dependents ja que no s'han postulat hipòtesis de causa i efecte en tractar-se d'una recerca més descriptiva que analítica.

Aquestes 4 hipòtesis defineixen els 2 objectius concrets de l'estudi:

  1. Identificar quines són les zones dels mapes que reben més atenció.
  2. Identificar com és el recorregut de la mirada de l'usuari en la primera visualització dels mapes.

En els propers apartats es presenten resultats específics per a cadascun d'aquests objectius.

 

4.5 Mètriques

Tots els mapes usats en l'estudi tenen una estructura molt similar. La temàtica i el nombre de conceptes de cada mapa conceptual és diferent, però l'estructura general és homogènia i està formada per un arbre distribuït en 4 nivells horitzontals i 3 branques verticals. Per a l'estudi es van definir fins a 10 àrees d'interès (AOI, area of interest) que es van delimitar amb el programari Tobii Studio per obtenir mètriques per a cadascuna.

Una de les decisions importants en qualsevol estudi del seguiment de la mirada és decidir quines mètriques s'usaran per aconseguir els objectius plantejats. En el context dels estudis d'usabilitat (Marcos; González-Caro, 2010; Marcos, 2013; Rovira [et al.], 2014) se solen usar mètriques relacionades amb el nivell d'efectivitat i eficiència de les tasques a realitzar com, per exemple:

  • El percentatge d'usuaris que ha fixat la mirada en una AOI.
  • El temps transcorregut des de l'inici de la tasca fins a finalitzar-la.
  • El nombre de fixacions que els usuaris fan en cada AOI.
  • El temps de durada de les fixacions en cada AOI.
En aquest estudi s'han usat les mètriques del "temps de durada de les fixacions" i del "nombre de fixacions" per identificar la importància que els usuaris atorguen a cada zona del mapa i per saber quin va ser el recorregut de l'usuari pel mapa.
 

4.6 Normalització de les dades

Les dades brutes obtingudes del seguiment de la mirada s'han normalitzat per poder comparar diferents mapes i diferents usuaris. L'objectiu d'usar dades normalitzades en lloc de dades directes és eliminar els biaixos generats per les diferències entre els tres mapes i també per les diferències en el comportament dels usuaris. Per exemple hi ha usuaris que estan 20 segons revisant els mapes i d'altres 60. En cada mètrica s'ha aplicat un mètode de normalització diferent.

  1. En el cas de la mètrica del "nombre de fixacions abans de la primera fixació" s'ha normalitzat en funció del nombre màxim de fixacions que ha emprat cada usuari per revisar totes les zones del mapa. Habitualment, cada usuari fa una primera revisió de tot el mapa amb un nombre diferent de fixacions ja que es repeteixen fixacions en zones intermèdies abans de revisar-les totes.

    S'ha aplicat una normalització específica per a cada usuari. Per a això s'ha dividit el nombre de fixacions de cada zona pel màxim nombre de fixacions d'aquest usuari passant d'un nombre absolut a un de relatiu del "tant per un" o percentatge. En treballar amb dades relatives, totes les dades del nombre de fixacions estan entre 0 i 1 i s'han evitat els biaixos derivats de la diferent quantitat de fixacions usades per revisar tot el mapa.

  2. En la mètrica del "nombre total de fixacions" s'ha normalitzat en funció del nombre total de fixacions que cada usuari ha fet en totes les zones analitzades. En dividir les dades de cada usuari pel nombre total de fixacions d'aquest usuari s'ha obtingut igualment una dada relativa entre 0 i 1 que evita biaixos derivats que un usuari hagi fet més fixacions que un altre o que un mapa tingui més conceptes per revisar.

  3. Finalment, en la mètrica del "temps total que s'ha fixat la vista en una zona determinada" s'ha normalitzat, com en casos anteriors, en funció del temps total que ha emprat cada usuari per revisar totes les zones del mapa. S'ha obtingut igualment un valor relatiu entre 0 i 1 i s'han evitat els biaixos derivats que un usuari sigui més lent que un altre en revisar els mapes o que un mapa sigui més gran que un altre.
 

5 Resultats

S'ha treballat amb un total de 516 variables de les quals un 60,9 % seguien una distribució normal. Gran part de l'estudi estadístic ha consistit a aparellar algunes d'aquestes variables per identificar si les mitjanes tenien diferències significatives. Quan les dues variables de la comparació tenien una distribució normal s'ha aplicat la prova t de Student; en canvi, quan alguna de les variables (o les dues) no eren normals s'ha aplicat la prova dels signes de Wilcoxon. A continuació es presenten dos apartats de resultats, un per a cada objectiu de la recerca: àrees de més atenció i recorregut inicial.

 

5.1 Àrees de més atenció

Tal com s'ha indicat, els 3 mapes utilitzats en els tests tenen aquesta estructura general de 4 nivells horitzontals i 3 branques verticals. Per estudiar les àrees que han rebut més atenció s'han definit 7 AOI, 4 de les quals corresponen als nivells horitzontals del mapa: el primer nivell és el concepte arrel i el quart inclou els conceptes situats en la part més inferior del mapa. Les altres 3 AOI estan definides en funció de les zones verticals (dreta, centre i esquerra) i corresponen a les 3 branques principals de l'arbre invertit que formen els mapes (vegeu la imatge 1).
 

Definició de les àrees d'interès en el mapa B

Imatge 5. Definició de les àrees d'interès en el mapa B

 

Hem treballat de forma paral·lela en dues mètriques per determinar el grau d'atenció que atorguen els usuaris a cada àrea del mapa. Aquestes mètriques són: "temps de durada de les fixacions" i "nombre de fixacions". Amb valors significatius en un dels indicadors ja podríem confirmar o rebutjar les hipòtesis plantejades. No obstant això, hem calculat de forma paral·lela els dos indicadors per veure fins a quin punt els resultats que s'obtenen amb un indicador es confirmen amb l'altre i d'aquesta manera justificar millor les nostres conclusions. Cal assenyalar que les mitjanes de les mètriques no segueixen una distribució normal i tenen un coeficient de correlació de Spearman del 0,78. Per tant, són variables altament correlacionades que mostrarien dues formes complementàries i coherents de veure el grau d'atenció prestat pels usuaris a les diferents zones dels mapes conceptuals.

En l'estudi estadístic s'han aparellat les variables corresponents a diferents àrees per identificar diferències significatives en les mitjanes de les dues mètriques indicades (taules 3, 4 i 5). Les dades estan basades en les mitjanes de tots els usuaris en xifres normalitzades. Cal ressaltar que en cap cas s'han obtingut resultats significatius contradictoris entre les dues mètriques, en el sentit que en un dels indicadors s'obtinguin diferències positives i en l'altre negatives.

 
Àrees
Mapa B
Mapa D
Mapa I
Zona 1 Zona 2
Durada de les fixacions
Nombre de fixacions
Durada de les fixacions
Nombre de fixacions
Durada de les fixacions
Nombre de fixacions
Nivell 1 Nivell 2
Sig. (WK) -24,79 %
Sig. (WK) -20,59 %
Sig. (WK) -56,22 %
Sig. (ST) -28,48 %
No sig. (ST)
No sig. (ST)
Nivell 2 Nivell 3
No sig. (WK)
Sig. (WK) 23,36 %
Sig. (ST) 22,60 %
No sig. (ST)
Sig. (ST) 29,86 %
Sig. (ST) 30,77 %
Nivell 3 Nivell 4
Sig. (WK) 36,94 %
Sig. (ST) 17,63 %
Sig. (ST) 36,26 %
Sig. (ST) 36,74 %
Sig. (ST) 23,06 %
Sig. (ST) 17,26 %
Esq. Centre
Sig. (WK) -67,95 %
Sig. (ST) -29,67 %
Sig. (ST) -27,38 %
Sig. (ST) -31,88 %
Sig. (ST) 49,21 %
Sig. (ST) 31,70 %
Centre Dreta
Sig. (WK) 30,63 %
Sig. (ST) 23,73 %
Sig. (ST) 27,08 %
Sig. (ST) 31,96 %
Sig. (ST) -25,74 %
Sig. (ST) 12,32 %
Esq. Dreta
Sig. (S) -16,51 %
No sig. (ST)
No sig. (ST)
No sig. (ST)
No sig. (ST)
Sig. (ST) 40,12 %

Taula 3. Diferències entre les mitjanes de les zones en els 3 mapes per identificar l'atenció

 

En les taula 3 i 5 es comparen diferents àrees d'interès amb relació a les mitjanes de la durada de les fixacions i el nombre de fixacions per a cada mapa. S'indica si la comparació és estadísticament significativa d'acord amb la prova t de Student (ST) amb variables normals o la de Wilcoxon (WK) amb variables no normals. El percentatge correspon a la diferència entre les mitjanes de les dues àrees.

Finalment, hem ordenat els nivells o zones de més interès a menys i en funció de les diferències estadísticament significatives (taules 4 i 5). Quan entre dos nivells no hi ha una diferència significativa s'ha assignat el mateix nombre d'ordre. En les últimes columnes d'aquestes taules es poden consultar les mitjanes amb les dades de les 6 variables corresponents als 3 mapes. És interessant ressaltar que s'obté exactament el mateix resultat amb les dues mètriques utilitzades, tant en els nivells horitzontals, com en les zones verticals.

 
 
Mapa B
Mapa D
Mapa I
Mitjana dels 3 mapes
Àrees
Duració de les fixacions
Nombre de fixacions
Duració de les fixacions
Nombre de fixacions
Duració de les fixacions
Nombre de fixacions
Duració de les fixacions
Nombre de fixacions
Nivell 1
2
2
3
2
2
1
2
2
Nivell 2
1
1
1
1
1
1
1
1
Nivell 3
1
2
2
1
2
2
2
2
Nivell 4
3
3
3
2
3
3
3
3
Esq.
3
2
2
2
1
1
2
2
Centre
1
1
1
1
3
2
1
1
Dreta
2
2
2
2
2
3
2
2

Taula 4. Ordre en el grau d'atenció dels usuaris en els 4 nivells horitzontals i les 3 zones verticals dels 3 mapes estudiats

 

De forma sorprenent, en tots els casos el segon nivell rep més atenció dels usuaris. Recordem que s'està treballant amb valors relatius i que, per tant, un nombre més gran de conceptes no implica més temps d'atenció. Igualment en tots els mapes i en tots els indicadors el nivell 4 és el que rep menys atenció. Així doncs, no hem obtingut mostres que confirmin la primera part de la hipòtesi 1 quan afirmàvem que el concepte arrel (nivell 1) obtindria més atenció. Sí que constatem la segona part d'aquesta hipòtesi on indicàvem que l'últim nivell rebria menys atenció.

Probablement, el concepte arrel és menys complex que els conceptes situats immediatament a sota i exigiria menys atenció. En canvi, el nivell 2 conté els conceptes importants del mapa i és en aquest nivell on realment es mostra tota la complexitat dels mapes.

En l'estudi de les zones verticals, podem constatar que la zona central rep més atenció sense que hi hagi diferències significatives entre les zones esquerra i dreta. Aquests resultats no confirmen la hipòtesi 2 en la qual esperàvem més atenció a la zona esquerra. No sembla que el fet que la zona central sigui un "lloc de pas" per accedir de dreta a esquerra o de dalt a baix justifiqui aquests resultats.

Tot sembla indicar que el segon nivell, i especialment la zona central, seria la zona clau dels mapes conceptuals, on els usuaris paren més atenció ja que li dediquen més temps de lectura o revisió i també on fixen més la mirada.

Amb relació a la comparació entre conceptes i frases d'enllaç, els resultats no són concloents. Les nostres previsions (hipòtesi 3) eren que els conceptes rebrien més atenció que les frases d'enllaç ja que la part important dels mapes està en els conceptes. No obstant això, solament en 2 de les 6 mètriques aplicades (taula 8) s'obtenen resultats estadísticament significatius. Per tant, no hem obtingut dades que puguin confirmar (o refutar) la hipòtesi 3. Una de les raons podria ser la longitud del text de les frases d'enllaç que en alguns casos és molt més gran que en els conceptes. Les altes dades en les mètriques de les frases d'enllaç es deurien al temps més gran que necessita l'usuari per llegir el text i no perquè tenia més interès en aquestes zones.

 
Àrees
Mapa B
Mapa D
Mapa I
Àrea 1 Àrea 2
Duració de
les fixacions
Nombre de fixacions
Duració de les fixacions
Nombre de fixacions
Duració de les fixacions
Nombre de fixacions
Conceptes Frases
Sig. (WK) 28,7 %
Sig. (ST) 9,6 %
No sig. (ST)
No sig. (ST)
No sig. (ST)
No sig. (ST)

Taula 5. Comparació entre conceptes i frases d'enllaç

 

5.2 Recorregut inicial pel mapa

El segon objectiu d'aquest estudi consisteix a identificar l'ordre de consulta quan els usuaris fan una primera revisió general del mapa. Hem analitzat solament el comportament en els primers moments que correspon a la primera visualització en tots els conceptes del mapa ja que intentem determinar quin és el recorregut visual pel mapa abans d'aprofundir en els continguts. Probablement, després l'ordre de lectura es veurà influenciat pel contingut del mapa en funció dels conceptes que hagin tingut més dificultat de comprensió i que, per tant, requereixin una segona revisió.

En aquest cas, s'ha usat la mètrica del "nombre de fixacions abans de la primera fixació" a cada zona d'interès. S'han usat 10 àrees d'interès corresponents a la intersecció dels 4 nivells horitzontals i les 3 zones verticals (imatge 5):

  • Nivell 1 i zona central (1C). Les zones del nivell 1 corresponents a l'esquerra i a la dreta no s'han utilitzat ja que no contenen conceptes. En el nivell 1 solament hi ha el concepte arrel en la part central.
  • Nivell 2 i zona esquerra (2E); nivell 2 i zona central (2C); nivell 2 i zona dreta (2D).
  • Nivell 3 i zona esquerra (3E); nivell 3 i zona central (3C); nivell 3 i zona dreta (3D).
  • Nivell 4 i zona esquerra (4E); nivell 4 i zona central (4D); nivell 4 i zona dreta (4D).

En el tractament estadístic s'han identificat les parelles de zones amb diferències significatives en les mitjanes de tots els usuaris (taula 6) en la mètrica del "nombre de fixacions abans de la primera fixació". Tal com hem fet en el punt anterior, a partir d'aquestes dades hem calculat el nombre d'ordre (taules 7, 8 i 9) que en aquesta cas fa referència a l'itinerari de la consulta.

 
Àrea 1
Àrea 2
Mapa B
Mapa D
Mapa I
1C C2E
No sig. (WK)
Sig. (ST) -84,22 %
Sig. (ST) -115,64 %
1C C2C
Sig. (WK) -174,57 %
Sig. (ST) -287,01 %
Sig. (WK) -1.329,64 %
1C C2D
Sig. (WK) -892,04 %
Sig. (ST) -1.322,42 %
Sig. (ST) -2.477,55 %
2E C2C
Sig. (WK) -234,09 %
Sig. (ST) -110,08 %
Sig. (WK) -562,98 %
2C C2D
Sig. (ST) -261,31 %
Sig. (ST) -267,55 %
Sig. (WK) -80,29 %
3E C3C
Sig. (ST) -219,75 %
Sig. (ST) -13,52 %
Sig. (ST) -208,41 %
3C 3D
Sig. (ST) -76,55 %
Sig. (WK) -67,81 %
Sig. (WK) -68,70 %
4E 4C
Sig. (ST) -120,13 %
Sig. (ST) -39,32 %
Sig. (WK) -175,08 %
4C 4D
Sig. (ST) -48,60 %
Sig. (WK) -36,85 %
Sense dates
2E 3E
Sig. (ST) -149,91 %
Sig. (ST) -289,59 %
Sig. (WK) -147,40 %
3E 4E
Sig. (ST) -67,14 %
Sig. (ST) -65,87 %
Sig. (ST) -19,64 %
2C 3C
Sig. (WK) -139,18 %
Sig. (ST) -110,53 %
Sig. (ST) -15,08 %
3C 4C
Sig. (ST) -15,07 %
Sig. (ST) -103,57 %
Sig. (WK) -6,71 %
2D 3D
Sig. (WK) -16,87 %
No sig. (WK)
Sig. (ST) -7,69 %
3D 4D
No sig. (WK)
Sig. (ST) -66,02 %
Sense dates
2C 3E
Sig. (WK) 25,20 %
Sig. (ST) -85,45 %
Sig. (ST) 62,68 %
2C 3D Sig. (WK) -322,26 % Sig. (WK) -253,28 % Sig. (WK) -94,15 %
3C 4E
Sig. (ST) 47,73 %
Sig. (ST) -46,12 %
Sig. (ST) 61,21 %
3C 4De
Sig. (ST) -71,00 %
Sig. (WK) -178,59 %
Sense dates
3C 2De
Sig. (WK) -51,06 %
Sig. (ST) -74,58 %
Sig. (WK) -56,66 %
3C 2Iz
Sig. (ST) 87,49 %
Sig. (ST) 77,39 %
Sig. (WK) 86,89 %
4C 3Iz
Sig. (ST) 72,82 %
Sig. (ST) 56,73 %
Sig. (WK) 69,61 %
4C 3De
Sig. (ST) -53,43 %
Sig. (WK) 17,57 %
Sig. (ST) -58,09 %

Taula 6. Diferències entre les mitjanes de les diverses zones dels mapes en la mètrica del "nombre de fixacions abans de la primera fixació"

 

En la taula 6 es comparen diferents àrees d'interès amb relació a les mitjanes del "nombre de fixacions abans de la primera fixació". S'indica si la comparació és estadísticament significativa d'acord amb la prova t de Student (ST) amb variables normals o la de Wilcoxon (WK) amb variables no normals. El percentatge correspon a la diferència entre les mitjanes de les dues àrees. En l'última columna apareixen 3 comparacions sense dades perquè aquestes àrees no existeixen en el mapa I.

L'ordre de les 10 àrees s'ha construït tenint en compte les diferències de mitjanes entre les zones estadísticament significatives. En cas de no trobar aquestes diferències s'ha indicat el mateix nombre d'ordre a les dues àrees analitzades. Per redactar aquest apartat s'han tingut en compte les dades dels conceptes i no les de les frases d'enllaç perquè els conceptes es consideren més importants ja que contenen la part substancial del mapa.

 
 
Esquerra
Centre
Dreta
Nivell 1  
1
 
Nivell 2
1
3
7
Nivell 3
2
5
8
Nivell 4
4
6
8

Taula 7. Ordre de consulta de les zones del mapa B

 
 
Esquerra
Centre
Dreta
Nivell 1  
1
 
Nivell 2
2
3
7
Nivell 3
4
5
7
Nivell 4
6
8
9

Taula 8. Ordre de consulta de les zones del mapa D

 
 
Esquerra
Centre
Dreta
Nivell 1  
1
 
Nivell 2
2
5
8
Nivell 3
3
6
8
Nivell 4
4
7
 

Taula 9. Ordre de consulta de les zones del mapa I

 

Podem constatar que en els 3 mapes s'ha produït una lectura combinant l'estratègia en amplada i l'estratègia en profunditat avançant del punt superior esquerre al punt inferior dret.

Els usuaris tendeixen a revisar el mapa seguint un recorregut en forma de ziga-zaga partint del concepte arrel situat en la part superior central i acabant en el concepte situat més a la dreta en el nivell més inferior. Aquests resultats confirmarien la hipòtesi 4.

 
 Recorregut estàndard de la mirada sobre els mapes conceptuals

Imatge 6. Recorregut estàndard de la mirada sobre els mapes conceptuals

 

6 Discussió dels resultats

Els resultats en l'apartat del grau d'atenció s'han obtingut treballant en forma paral·lela amb dues mètriques diferents. La coincidència i coherència de les dades obtingudes confirmen aquests resultats: en cap cas s'han obtingut resultats significatius de diferències entre zones amb signes contraris i l'ordre final obtingut coincideix exactament en les dues mètriques.

D'altra banda, l'ordre del recorregut inicial dels usuaris en la consulta dels 3 mapes segueix en tots els casos una pauta molt similar: es parteix del concepte arrel i s'avança amb moviments de ziga-zaga fins al concepte situat en la part inferior dreta.

Entenem que aquestes circumstàncies atorguen solidesa als resultats obtinguts. No obstant això per generalitzar-los a la població de què prové la mostra (usuaris amb coneixements sobre mapes conceptuals) seria necessari dur a terme estudis complementaris amb nous grups d'usuaris.

A més, en el desenvolupament de la recerca s'han detectat algunes millores que en cas d'estudis addicionals haurien d'incorporar-se, com ara:

  • La longitud del text en frases i conceptes hauria de ser encara més similar en tots els mapes per evitar que el temps de fixació o el nombre de fixacions es degui a la quantitat de text i no a l'interès de l'usuari per aquesta part del mapa.

  • La complexitat dels diferents conceptes dins d'un mateix mapa hauria de ser molt diferent per evitar igualment que una atenció més gran no sigui per l'interès sinó per incomprensió.

  • L'estructura general dels 3 mapes hauria de ser encara més semblant intentant que el nombre de conceptes i la disposició en les tres branques sigui pràcticament igual.

  • La complexitat en els 3 mapes hauria de ser igualment molt similar per no incorporar una nova variable no controlada.

  • Hauria d'afegir-se un grup de control amb un test amb mapes sense errors per confirmar que la consulta que demana la detecció d'errors no difereixi de la consulta oberta amb el simple objectiu d'entendre el mapa.

En relació amb les hipòtesis, cal assenyalar que la funció primordial ha estat orientar la recerca amb un rol d'hipòtesi de treball. Tal com s'ha indicat, algunes s'han corroborat, d'altres s'han confirmat solament parcialment i unes altres s'han refutat. Probablement les hipòtesis que en el futur seran més interessants seran precisament les que s'han refutat, ja que contradiuen les previsions plantejades en iniciar aquest estudi basades en apreciacions de "sentit comú".

 

7 Conclusions

En aquest estudi s'ha analitzat el comportament d'un grup d'usuaris davant la consulta de mapes conceptuals. El nostre propòsit era conèixer la importància que donen els usuaris a cada zona del mapa, així com saber quin és el recorregut inicial pel mapa. Per a això s'ha usat un sistema de seguiment de la mirada que ha registrat el temps i el nombre de fixacions de la mirada dels usuaris a les diferents zones de 3 mapes conceptuals. Per evitar el biaix que pogués generar-se per les diferències entre els mapes i els usuaris s'han usat dades relatives.

D'acord amb les dades obtingudes, els usuaris presten més atenció al segon nivell horitzontal del mapa i a la zona central. No s'han trobat diferències significatives en el grau d'atenció prestada entre els conceptes i les frases d'enllaç. D'altra banda, hem identificat que els usuaris fan un recorregut inicial pel mapa en forma de ziga-zaga partint del concepte arrel situat en la part superior central i acabant en el concepte situat més a la dreta i en el nivell més inferior.

Aquests resultats són estadísticament significatius i coherents per les coincidències trobades en diverses mètriques i en diversos mapes. Són indicis sòlids sobre com es comporten els usuaris en la consulta de mapes conceptuals; no obstant això, per generalitzar-los serien necessaris estudis addicionals que confirmessin els mateixos resultats i que incorporessin les millores indicades en l'apartat de discussió dels resultats.

Finalment, s'ha d'indicar que aquests resultats confirmen l'adequació de la metodologia del seguiment de la mirada per estudiar el comportament dels usuaris durant la consulta de mapes conceptuals. A mitjà termini es preveu que a partir de la identificació del comportament habitual dels usuaris es podran proposar recomanacions més concretes per millorar la creació de mapes conceptuals i facilitar-ne la consulta.

 

Bibliografia

Ausubel, D. P.; Novak, J. D.; Hanesian, H. (1989). Psicología educativa. México: Trillas.

Cañas, A. J.; Carff, R.; Hill, G.; Carvalho, M.; Arguedas, M.; Eskridge, T. C.; Lott, J.; Carvajal, V. (2005). "Concept maps: integrating knowledge and information visualization". A: Tergan, S. O.; Keller, T. (ed.). Knowledge and information visualization: searching for synergies. Heidelberg; New York: Springer Lecture Notes in Computer Science. <http://cmap.ihmc.us/publications/researchpapers/conceptmapsintegratingknowinfvisual.pdf>. [Consulta: 04/12/2013].

Cañas, A. J.; Novak, J. D.;  González, F. M.; Ricardo, A.; Cabral, Y.; Mário, C.; Nicolao, M.; Suzana, M.; Amoretti, M. (2004). "Use of conceptual maps in distance learning courses". Concept maps: theory, methodology technology. Proceedings of the 1st International Conference on Concept Mapping. Cañas, A. J.; Novak, J. D.; González, F. M. (ed.). Pamplona: Universidad Pública de Navarra.

Enquiro/Eyetools Google Report, 2003. <http://eyetools.com/research_google_eyetracking_heatmap.html>. [Consulta: 03/08/2013].

Eskridge, T. C.; Granados, A.; Cañas, A. J. (2006). "Ranking concept map retrieval in the CmapTools network". Concept maps: theory, methodology, technology. Proceedings of the Second International Conference on Concept Mapping. Cañas, A. J.; Novak, J. D. (ed.). Vol. 1. San José: Universidad de Costa Rica, p. 477-484. <http://cmc.ihmc.us/cmc2006Papers/cmc2006-p205.pdf>. [Consulta: 04/12/2013].

Goldberg, J. H.; Helfman, J. I. (2010). "Comparing information graphics: a critical look at eye tracking". Proceedings of the 3rd BELIV'10 Workshop. Beyond time and errors: novel evaluation methods for information visualization, p. 71–78. <http://dl.acm.org/citation.cfm?id=2110203>. [Consulta: 04/12/2013].  

—— (2011). "Eye tracking for visualization evaluation: reading values on linear versus radial graphs". Information visualitzation, vol. 10, no. 3, p. 182–195. <http://ivi.sagepub.com/content/10/3/182.full.pdf+html>. [Consulta: 04/12/2013].

González-Caro, C.; Marcos, M. C. (2011). "Different users and intents: an eye-tracking analysis of web search". WSDM'1.1 Fourth ACM International Conference on Web Search and Data Mining. Kowloon, Hong Kong, 9-12 February, 2011. King, I.; Nejdl, W.; Li, H. (ed.). New York: ACM. <http://ciio.unab.edu.co/gti/images/documentos/umwa-8.pdf>. [Consulta: 04/12/2013].

Granka, L.; Joachims, T.; Gay, G. (2004). "Eye-tracking analysis of user behavior in WWW search". Proceedings of the 27th Annual international ACM SIGIR Conference on Research and Development in information Retrieval. Sheffield, United Kingdom, 25–29 July, 2004. New York: ACM, p. 478–479. <http://www.cs.cornell.edu/People/tj/publications/granka_etal_04a.pdf>. [Consulta: 03/08/2013].

Hassan Montero, Y.; Herrero Solana, V. (2007). "Eye-tracking en interacción persona-ordenador". No solo usabilidad, 28 de octubre de 2007. <http://www.nosolousabilidad.com/articulos/eye-tracking.htm>. [Consulta: 03/08/2013].

Leake, D. B.; Maguitman, A.; Reichherzer, T.; Cañas, A. J.; Carvalho, M.; Arguedas, M.; Eskridge, T. C. (2004). "Googling from a concept map: towards automatic concept-map-based query formation". Concept maps: theory, methodology technology. Proceedings of the 1st International Conference on Concept Mapping. Cañas, A. J.; Novak, J. D.; González, F. M. (ed.). Pamplona: Universidad Pública de Navarra, p. 409-416.

Marcos, M. C.; González-Caro, C. (2010). "Comportamiento de los usuarios en la página de resultados de los buscadores. Un estudio basado en eye tracking". El profesional de la información (jul.–ag.), vol. 19, n.º 4, p. 348–358. <http://grupoweb.upf.es/WRG/dctos/marcos__gonzalez_2010.pdf>. [Consulta: 04/12/2013].

Marcos, M. C. (2013). "Diseño de experimentos con usuarios: lecciones aprendidas". Anuario Hipertext.net, n.º 11. <http://www.upf.edu/hipertextnet/numero-11/Diseno_experimentos_usuarios.html>. [Consulta: 03/08/2013].

McDonald, S.; Stevenson, R. J. (1999). "Spatial versus conceptual maps as learning tools in hypertext". Journal of educational multimedia and hypermedia, vol. 8, no. 1, p. 43–64.

Moon, B. M.; Hoffman, R. R.; Novak, J. D.; Cañas, J. J. (2011). Applied concept mapping: capturing, analyzing, and organizing knowledge. New York: CRC Press.

Nielsen, J.; Pernice, K. (2009). Eyetracking web usability. Berkeley: New Riders Press.

Novak, J. D. (2002). "Using concept maps to facilitate classroom and distance learning". Scuola & citta, no. 2, p. 112–114.

—— (2010). Learning, creating, and using knowledge: concept maps as facilitative tools in schools and corporations. 2nd ed. New York: Routledge.

Novak, J. D.; Cañas, A. J. (2004). "Building on new constructivist ideas and CmapTools to create a new model for education". Concept maps: Theory, methodology technology. Proceedings of the 1st International Conference on Concept Mapping. Cañas, A. J.; Novak, J. D.; González, F. M. (ed.). Pamplona: Universidad Pública de Navarra. <http://www.ihmc.us/users/acanas/Publications/NewModelEducation/NewModelforEducation.pdf. [Consulta: 04/12/2013].

—— (2006a). "Theoretical origins of concept maps, how to construct them and uses in education". Reflecting education, vol. 3 (Nov.), no. 1, p. 29–42. <http://www.reflectingeducation.net/index.php/reflecting/article/view/41/43>. [Consulta: 04/12/2013]. 

—— (2006b). "The origins of the concept mapping tool and the continuing evolution of the tool". Information visualization journal, vol. 5 (Jan.), p. 175–184. <http://cmap.ihmc.us/publications/researchpapers/originsofconceptmappingtool.pdf>. [Consulta: 04/12/2013].

Novak, J. D.; Gowin, D. B. (1984). Learning how to learn. Cambridge; New York: Cambridge University Press.

Rele, R. S.; Duchowski, A. T. (2005). "Using eye tracking to evaluate alternative search results interfaces". Proceedings of the 49th Annual Meeting. HFES Human Factors and Ergonomics Society. Orlando, Florida, 26–30 September, 2005. <http://andrewd.ces.clemson.edu/research/vislab/docs/Final_HFES_Search.pdf>. [Consulta: 03/08/2013].

Rovira, C. (2002). "Estructuras de navegación para e-learning". El profesional de la información, vol. 11 (nov.-dic.), n.º 6, p. 457–466. <http://www.elprofesionaldelainformacion.com/contenidos/2002/noviembre/6.pdf>. [Consulta: 04/12/2013].

Rovira, C.; Mesa Lao, B. (2006). "Análisis comparativo de editores de mapas conceptuales de uso libre". BiD: textos universitaris de biblioteconomia i documentació (juny), núm. 16. <https://bid.ub.edu/16rovir2.htm>. [Consulta: 04/12/2013]. 

Rovira, C.; Capdevila, J.; Marcos, M. C. (2014). "La importancia de las fuentes en la selección de artículos de prensa online: estudio de Google Noticias mediante eye-tracking". Investigación bibliotecológica, n.º 62. [En premsa].

Toker, D.; Conati,C.; Steichen, B.; Carenini, G. (2013). "Individual user characteristics and information visualization: connecting the dots through eye tracking". CHI 2013. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, Paris, France, 27 April – 2 May, 2013. <http://www.cs.ubc.ca/~conati/my-papers/CHI2013CameraReady.pdf>. [Consulta: 04/12/2013].  

 

Agraïments

Aquesta investigació forma part del projecte de recerca "CSO2011-22691-Nuevas estrategias de publicidad y promoción de las marcas turísticas españolas en la Web. Ministerio de Ciencia e Innovación, 2012-2014".

 

Data de recepció: 09/09/2013. Data d’acceptació: 22/10/2013.

 

Similares

Articles similars a BiD

Articles similars a Temària

Articles del mateix autor a Temària

Rovira, Cristòfol

[ més informació ]

llicencia CC BY-NC-ND
Creative Commons
Llicència Creative Commons de tipus Reconeixement-NoComercial-SenseObraDerivada. Aquest article es pot difondre lliurement sempre que se'n citi l'autor i l'editor amb els elements que consten en la secció "Citació recomanada". No se'n pot fer, però, cap obra derivada (traducció, canvi de format, etc.) sense el permís de l'editor. Així, BiD compleix amb la definició d'open access de la Declaració de Budapest a favor de l'accés obert. La revista també permet que els autors mantinguin els drets d'autor i els de publicació sense restriccions.