Resultats dels Test d`usuaris Abril 2003 - UOC
Transcripción
Resultats dels Test d`usuaris Abril 2003 - UOC
PROJECTE MUPA – UOC RESULTATS DEL TEST D’USUARIS Març – Abril 2003 2 Índex: 1- Metodologia utilitzada en aquesta 4a fase: Test amb usuaris a) Definició dels perfils d’usuari b) Disseny de les tasques proposades c) Dissenys dels formularis PRE i POST test d) Laboratori d’usabilitat e) Realització del les tasques f) Realització dels formularis PRE i POST test g) Exploració de les dades obtingudes del test 2- Descripció dels resultats per tasques Anàlisi del Escenari 1: Plana d’inici del Campus Virtual UOC. Tasca 1: Anar a buscar un missatge nou que ha enviat el professor dels teus estudis al tauler. Tasca 2: Has rebut un missatge a la teva bústia de SD amb unes indicacions concretes. Llegeix-lo i segueix les indicacions. Anàlisi del Escena ri 2: Les Aules. Tasca 3: Tenim un dubte o consulta a realitzar a “Suport docència”, on aniries a fer la consulta? Tasca 4: Detectes que un alumne ha lliurat totes les PAC’s menys la darrera, llavors et vols posar en contacte amb el “Tutor” de l’alumne, com ho faries? Tasca 5: On buscaries un avís d’alguna específicament a un consultor 3- Resultats dels formularis PRE i POST test 4- Anàlisi numè ric dels test d’usuaris novetat que afecta 3 1- Metodologia utilitzada en aquesta 4a fase del projecte a) Definició dels perfils d’usuari En aquesta fase del projecte, el primer pas va ser la definició dels perfils dels usuaris que interactuarien amb les maquetes proposades. Van sorgir dos perfils, els quals especifiquem a continuació: PERFIL 1: (Novell) - Que sigui CONSULTOR. Cap experiència amb el nou Campus de la UOC (Primer semestre). Població: Barcelona o rodalies. PERFIL 2: (Expert) - Que sigui CONSULTOR. Tingui experiència amb el nou Campus de la UOC, i també amb el campus vell. Població: Barcelona o rodalies. Com es pot observar, només es van tenir en compte tres variables, com són: - El perfils dins la UOC. L’experiència amb la interfície avaluada. La variable geogràfica de Població. El segon pas, va ser convidar als usuaris a la realització dels test. El procés escollit va ser mitjançant l’email, comunicant als usuaris que el test era voluntari i que no rebrien cap recompensa econòmica al respecte. Cal destacar que aquest procés de reclutació d’usuaris no és un bon procés, ja que ha provocat que la 4a fase del projecte s’hagi retardat més de tres setmanes, i que el nombre d’usuaris avaluats no sigui el percentatge requerit en un inici que era quatre usuaris del perfil 2 i tres del perfil 1, ja que al final s’han avaluat sis usuaris del perfil 2 i una del perfil 1. Es recomana canviar aquest procés per la següent fase de test d’usuaris. 4 b) Disseny de les tasques proposades El disseny de les tasques proposades es va realitzar desprès d’analitzar els resultats dels test Heurístic i en paral·lel amb la implementació de les maquetes utilitzades en el test d’usuaris. Els criteris que es van tenir en compte per redactar les tasques proposades van ser els següents: - Tasques que realitzen habitualment els CONSULTORS. Analitzar les millores (canvis) proposades en les noves maquetes. Possibles millores proposades pels usuaris, un cop ja han interactuat amb la maqueta. El temps possible de cada tasca. D’aquí van sorgir cinc tasques proposades per a la realització dels test d’usua ris, que són les següents: Tasca 1: Anar a buscar un missatge nou, que ha enviat el professor dels teus estudis al tauler. Tasca 2: Has rebut un missatge a la teva bústia de SD amb unes indicacions concretes. Llegeix-lo i segueix les indicacions. Tasca 3: Tenim un dubte o consulta a realitzar a “Suport docència”, on aniries a fer la consulta? Tasca 4: Detectes que un alumne ha lliurat totes les PAC’s menys la darrera, llavors et vols posar en contacte amb el “Tutor” de l’alumne, com ho faries? Tasca 5: On buscaries un avís d’alguna específicament a un consultor? novetat que afecta El temps estimat per a la realització de les tasques era: TASCA/TEMPS TASCA 1 1 minuts TASCA 2 3 minuts TASCA 3 1 minuts TASCA 4 1:30 minuts TASCA 5 1:30 minuts 5 c) Disseny dels formularis PRE i POST test c.1) Formulari PRE test d’usuaris El disseny d’aquest formulari va en relació amb les dades que es volien obtenir, que en aquest cas només eren dades personals i dades tècniques de l’usuari. També es va fer firmar un paper a l’usuari on se li comunicava : LA POLÍTICA DE CONFIDENCIALITAT I PROTECCIÓ DE DADES DE CARÀCTER PERSONAL FACILITADES PELS USUARIS A LA UNIVERSITAT OBERTA DE CATALUNYA (UOC). Degut a que en el test d’usuaris capturem tant vídeo con àudio del usuari. c.2) Formulari POST test d’usuaris El disseny d’aquest formulari va en relació amb les dades que es volien obtenir, que en aquest cas era el grau de satisfacció desprès de la realització del test d’usuaris. Aprofitant que teniem a l’usuari, també se li van fer cinc preguntes al respecte de com li havia semblat el test, i el tracte amb el monitor de test, el resultats d’aquestes preguntes no sortiran reflectits en aquest document, però serveixen per anar millorant l’experiència d’usuari. 6 d) Laboratori d’usabilitat En un inici es va realitzar un document amb les especificacions logístiques i d’infrastructures necessàries per al muntatge d’un laboratori d’usabilitat. Un cop muntat el laboratori d’usabilitat adaptat a les limitacions tècniques de la UOC, es va haver de desmuntar degut a problemes interns de la UOC. Resumint, els test d’usuaris s’han avaluat amb un sol PC on es recullen les dades en local. Concretament es capturen: - La navegació del (www.techsmith.com ). - “Escriptori” amb el programa Camtasia Studio Les representacions facials i la veu de l’usuari amb una WebCam. Les característiques tècniques del PC són les següents: HARDWARE: - Pentium III (450MHZ). HD 6 GB. 256 MB RAM. 1 Monitor de 17’’. 1 targeta gràfica. 2 targeta de so. Altaveus. Mouse + Teclat. Disquetera. Lector de CD. Micròfon de casc. Webcam amb micròfon intern. SOFTWARE: - Windows 98, Windows XP. Connexió Intranet UOC. Drivers Webcam. Camtasia Studio. El navegador utilitzat per a la realització del test d’usuaris ha sigut l’Internet Explorer 6.0. La velocitat de transmissió utilitzada era la xarxa interna UOC. Tots els test es van realitzar en Català. Cal remarcar, que van sorgir problemes amb el PC durant la realització del test, ja que al capturar vídeo i àudio per dos programes diferents consumia masses recursos per un PC tant limitat. Es recomana canviar- lo per a la següent fase de test d’usuaris. 7 e) Realització de les tasques La direcció i monitorització del test la va executar la mateixa persona, el monitor de test. Això va ser degut com ja s’ha comentat en l’apartat anterior a limitacions logístiques i d’infrastructures que van reduir el laboratori d’usabilitat a un sol PC. El monitor de test És l’encarregat de donar la benvinguda a l’usuari, explicar- li una mica com va el laboratori i el perquè de la webcam, comentar a l’usuari els objectius del test. Un cop començat el test, el monitor és l’encarregat d’anar llegint a l’usuari les tasques a realitzar amb les maquetes i recordar a l’usuari que ha d’anar exp licant tots els passos que va fent veu alta. Durant la realització del test, el monitor de test anava apuntat els problemes o comentaris de l’usuari. El monitor de test és l’encarregat de analitzar les dades obtingudes dels test d’usuaris, ajudant-se amb les observacions rebudes de dos o tres observadors. 8 f) Realització dels formularis PRE i POST test f.1) Formulari PRE test d’usuaris Aquest formulari es feia omplir a l’usuari abans de la realització de les tasques amb la maqueta, ja que se li feia firmar “LA POLÍTICA DE CONFIDENCIALITAT I PROTECCIÓ DE DADES DE CARÀCTER PERSONAL FACILITADES PELS USUARIS A LA UNIVERSITAT OBERTA DE CATALUNYA (UOC).” Se li donava aproximadament cinc minuts per omplir- lo, i se li permetia realitzar qualsevol pregunta o suggeriment. f.2) Formulari POST test d’usuaris Aquest formulari es feia omplir a l’usuari un cop finalitzada la realització de les tasques amb la maqueta. Se li dona aproximadament cinc minuts per omplir el formulari, però el temps es pot allargar si es comencen a discutir algun punt del test, al ser preguntes obertes. 9 g) Exploració de les dades obtingudes al test Les dades obtingudes en el test d’usuaris són analitzades en dues fases: 1) El monitor de test avalua tota la informació amb el visionat dels vídeos capturats tant del Escriptori com els vídeos capturats de la webcam amb l’ajuda del programa Usability Logger (http://www.usabletools.com/ ). 2) Es facilita les dades a 2 o 3 observadors , que han de generar un informe segons a les seves observacions. Els observadors encarregats de generar aquests informes han estat: ? Enric Mor Pera : Professor i expert en HCI. Email: [email protected] ? Elisabet Prats Palop: Experta en contingut. Departament: Atenció a l’estudiant. Email: [email protected] 10 2- Descripció dels resultats per tasques Anàlisi del Escenari 1 : Plana d’inici del Campus Virtual UOC. Se’ls hi demana als usuaris que naveguin una mica per la plana d’inici i comentin si troben algun canvi respecte a la seva plana d’inici. Accés directe a la SALA: Tots es donen conta de que s’ha afegit un accés directe a la SALA a la part central de la plana d’inici. Quatre dels sis usuaris del perfil 2(expert) coneixien el concepte de SALA i l’havien fet servir. Els altres dos usuaris del perfil 2 i l’únic de perfil 1(novell) no l’havien vist abans. Personalització de les novetats i notícies pel perfil CONSULTOR: En aquest primer anàlisi, cap dels usuaris s’en dona conte del canvi de les novetats i notícies personalitzades pel perfil CONSULTOR. Tot i que tots fan scroll de la pàgina d’inici. Conclusions de l’anàlisi del Escenari 1: Tots creuen que l’ accés directe a la SALA pot ser una bona eina per posar en contacte el professor (coordinador) amb els seus consultors o entre els propis consultors. Actualment tots realitzen aquesta operació mitjançant la bústia personal o tenen algun grup de treball creat. La causa principal de que cap dels usuaris trobi el canvi a les novetats i notícies és degut a que tots menys un usuari utilitza la resolució de pantalla de 800x600 píxels, això provoca que no tinguin visió o tinguin poca visió de les novetats i notícies a la plana d’inici del Campus. Ho podem observar en la següent imatge: 11 plana d’inici del Campus a 800x600 pí xels. Rutina de treball al Campus: Aprofitant que teniem als usuaris a la plana d’inici, se’ls hi va preguntar quina era la seva rutina de treball dins el Campus. Quatre dels set usuaris, el primer que fan és anar als accessos directes dels Fòrums, Taulers, Debats, etc. que es troben a la plana d’inici. “On veuen alguna cosa de color vermell”, i desprès van a la seva bústia personal a contestar els seus emails. Hi ha un usuari que prefereix entrar a l’aula i un cop dins contestar tot el que es troba en color vermell, necessita la consciència de estar dins l’aula. Hi ha dos usuaris que el primer que fan es contestar la seva bústia personal i desprès els accessos directes dels Fòrums, Taulers, Debats, etc. que es troben a la plana d’inici. 12 Tasca1 : Anar a buscar un missatge nou que ha enviat el professor dels teus estudis al tauler. Dels set usuaris, quatre realitzen amb èxit aquesta tasca, tots van destacar la bandereta vermella com una ajuda per destacar els missatges nous. Tots van comentar que actualment aquesta tasca la realitzen mitjançant la bústia personal. Un usuari va anar a buscar el missatge del professor al tauler de l’aula, però un cop allà, es va donar conte de que allà no podia ser, perquè és un tauler per l’alumne. Va desistir en l’intent. El usuari de perfil 1(novell), va anar a buscar el missatge al grup de treball, perquè és com treballa ell. I l’altre usuari que no acaba correctament la tasca, va a buscar el missatge directament a la seva bústia personal, perquè és com habitualment ho fa. imatge de l’accés directe a la SALA. 13 Tasca 2: Has rebut un missatge a la teva bústia de SD amb unes indicacions concretes. Llegeix-lo i segueix les indicacions. Aquesta tasca consistia en llegir un missatge de Suport Docència a la teva bústia personal, on t’indicava que havies d’utilitzar una aplicació que es trobava dins de l’Aula, l’aplicació en concret era la de revisió d’examen. Amb aquesta tasca es volia avaluar dues coses: a) Si anirien a buscar aquesta aplicació a l’Aula, o per el contrari farien valer la seva experiència al Campus i anirien directament a Suport Docència que és on es trobava actualment. b) Si han aconseguit arribar a l’Aula, a quina pestanya de l’Aula anirien a buscar l’aplicació. a) Aconsegueixen ent rar a l’Aula? Cinc dels set usuaris entenen el missatge de Suport Docència i van directament a l’Aula. Dels altres dos, un llegeix massa ràpid el missatge i acostumat a anar a Consultoria de Suport Docència, va allà sense pensar. L’altre al llegir el missatge, diu que ell és consultor de laboratori i mai ha utilitzat aquesta aplicació. Cal destacar que l’únic usuari de perfil 1 (novell), no va tenir cap problema en identificar el email i anar a l’Aula. b) A quina pestanya de l’Aula van a buscar l’aplicació de revisió d’exàmens? Per poder comparar tots els usuaris en les mateixes condicions, als dos usuaris que no van arribar a les aules se’ls hi va fer anar. Es van provar sis usuaris a l’Aula 2, que és l’aula on es va afegir una nova pestanya de Consultoria on es van introduir totes les aplicacions que un consultor podria necessitar dins l’Aula, es va fer així per mantenir la mateixa visió de l’estudiant en les altres pestanyes. Es va provar un usuari a l’Aula 1, que és l’aula on es va modificar la pestanya Avaluació, en ella es van introduir totes les aplicacions que un consultor podria necessitar dins l’Aula. Aquest percentatge de sis usuaris en l’Aula 2 i un en l’Aula 1 no es va fer per casualitat, ja que veient l’evolució dels usuaris amb aquesta tasca es va decidir insistir més en la segona maqueta. 14 Això queda reflectit en els resultats: Tots els usuaris van a buscar l’aplicació de revisió d’examen a la pestanya Avaluació. Dels sis que proven l’Aula 2, tres usuaris al no trobar l’aplicació a Avaluació, busquen per l’Aula i troben fàcilment la pestanya Consultoria. Els altres tres no la troben i es senten frustrats. El usuari que prova l’Aula 1, no té cap problema per trobar l’aplicació dins d’Avaluació. imatge de l’Aula 2. imatge de l’Aula 1. 15 Remarcar en negreta l’opció activa en el període del semestre: Tots els usuaris que han aconseguit trobar l’aplicació la troben fàcilment ja que està amb un estil negreta enfront de les altres aplicacions, això facilita molt la cerca. Conclus ions de la Tasca 2: Les dificultats trobades pels usuaris de l’Aula 2, són degudes a dos conceptes: a) Els noms i significat de les pestanyes són massa generals, parlem tant de la pestanya Avaluació com de la pestanya Consultoria, totes dues abasten masses conceptes. b) L’experiència i el record dels usuaris és, que tenen quatre pestanyes, i per això la cinquena no la veuen, en aquest cas la pestanya Consultoria. 16 Anàlisi del Escenari 2: Les Aules. Se’ls hi demana als usuaris que naveguin una mica per l’Aula i comentin si troben algun canvi respecte a la seva Aula. Enllaç de “Enviar un missatge al SUCD”: Quatre dels set usuaris troben l’enllaç “Enviar un missatge al SUCD“, que serveix per enviar una consulta a Suport Docència, i entenen perquè serveix. Els altres tres, no tenen cap idea del que pot ser. Entre ells el usuari de perfil 1 (novell). Informació del títol i el número de l’Aula: Cap del usuaris és capaç de diferenciar en quin número d’Aula està dins de l’Aula. Només sap si ha clicat a l’Aula 1 o a l’Aula 2. Cap es dona conte de que la informació del numero de l’Aula es troba en el “Bread Crums”. imatge del “Bread Crums” de l’Aula 1. Això pot provocar que un Consultor amb més d’una Aula de la mateixa assignatura, tingui problemes per diferenciar- les. S’hauria de remarcar o posicionar en un altre lloc més preferència el número de l’Aula. Respecte al títol de l’Aula, tots el troben, però hi ha una queixa general de que no es veu fàcilment, tot i que es troba en una posició preferencial de l’Aula. Aquest problema ja va sorgir en el Test Heurístic, on es va destacar que la cromàtica utilitzada per representar el títol de l’Aula no era l’idoni. imatge del títol de l’Aula 1. 17 Eina de Seguiment de l’Aula: Aprofitant que teniem als usuaris a l’Aula, vam aprofitar per saber quina opinió tenien de l’aplicació “Seguiment de l’Aula”. Dels set usuaris avaluats, sis utilitzen aquesta aplicació amb més o menys regularitat. Només un usuari de perfil 2 (Expert), no la utilitza perquè no la cone ix. Dels usuaris que utilitzen aquesta aplicació, tots creuen que és un bon mètode per poder veure la regularitat dels seus alumnes. Hi ha un cas d’un usuari que comenta que “la ultima connexió al campus” no hi hauria de ser. 18 Tasca 3 : Tenim un dubte o consulta a realitzar a “Suport docència”, on aniries a fer la consulta? Aquesta tasca està relacionada amb el punt anterior. Quatre dels set usuaris utilitzen l’enllaç “Enviar un missatge al SUCD“, per enviar una consulta a Suport Docència, i entene n perquè serveix. Els altres tres, van a Suport Docència, entre ells el usuari de perfil 1 (novell). imatge de l’enllaç Enviar un missatge al SUD. Conclusions de la Tasca 3: Per tenir un radi d’èxit major, s’hauria de buscar un altre expressió per aquest enllaç, ja que no s’entén que és el “SUCD”. Tots els usuaris que han entès el que significava, han valorat molt positivament que s’afegís aquest enllaç dins de l’Aula. Sobretot per als Consultors nous, que són els que poden tenir més problemes. 19 Tasca 4: Detectes que un alumne ha lliurat totes les PAC’s menys la darrera, llavors et vols posar en contacte amb el “Tutor” de l’alumne, com ho faries? Els resultats d’aquesta tasca són força positius, ja que hi ha diferents maneres de trobar aquesta informació dins del Campus. Els set usuaris van trobar la informació sense cap problema. Tres usuaris del perfil 2 (Expert), van trobar la informació utilitzant l’aplicació “Consulta dels estudiants d’un consultor/a i del seu tutor/a”. Dos d’ells la va n anar a buscar a la pestanya Consultoria dins de l’Aula 2 que és la que havien avaluat. I l’altre usuari el va anar a buscar dins de la pestanya Avaluació ja que havia avaluat l’Aula 1. Els altres quatre, entre ells l’únic usuari de perfil 1 (Novell), van seguir el camí d’anar a la “Llista de companys de l’Aula” on allà tenen la informació sota la fotografia. Cal remarcar que aquesta tasca, cinc dels set usuaris ja l’havien fet abans, ja que aquest cas els hi havia passat. Tots ells però, van deixar clar, que primer es posen en contacte amb l’alumne personalment per veure que ha passat, pocs han utilitzat el recurs de parlar amb el tutor de l’alumne. 20 Tasca 5: On buscaries un avís d’alguna novetat que afecta específicament a un consultor? Aquesta és la tasca més problemàtica. Com ja s’ha comentat abans en una primera cerca, ningú troba les notícies situades a la plana d’inici. Tots tendeixen a anar a Suport Docència, però no les troben. Se’ls recorda que la plana d’inici s’ha personalitzat pel perfil consultor. Tres dels usuaris de perfil 2 (Expert) naveguen per la plana d’inici i troben a novetats i notícies els canvis fets, ja que s’han afegit les “Novetats Suport Docència” a novetats i notícies. Els altres quatre no les troben. Dos d’aquest tres que han trobat les “Novetats Suport Docència”, comenten que haurien d’estar a la SALA, ja que ells no veuen les notícies amb la resolució que tenen de 800x600 píxels. imatge de les Novetats Suport Docència. 21 Conclusions de la Tasca 5: Degut a la posició que tenen les novetats i noticies dins de la plana d’inici, actualment seria feina desaprofitada implementar les “Novetats Suport Docència” dins les novetats i noticies, ja que no són visibles per a la majoria de Consultors. S’hauria de buscar una nova localització per situar aquestes “Novetats Suport Docència”, com podria ser dins de la SALA, com ja ha comentat algun usuari. Si s’optimitzés més la part central de la plana d’inici i les novetats i noticies tindrien un paper més rellevant i més visible, llavors podria ser una bona localització. 22 3- Resultats dels formularis PRE i POST test A continuació es mostraran els resultats dels formularis PRE i POST test d’usuaris. Formulari PRE test: • Anys d’experiència a la UOC? USUARI /ANYS USUARI USUARI USUARI 1 2 3 8 anys 7 anys 0 anys USUARI 4 4 anys USUARI USUARI 5 6 1.5 anys 5 anys USUARI 7 2.5 anys • Anys d’experiència amb la interfície avaluada? USUARI /ANYS USUARI 1 1 semestre USUARI USUARI USUARI USUARI USUARI USUARI 2 3 4 5 6 7 1 1 1 1 1 1 semestre semestre semestre semestre semestre semestre • Quantes hores al dia utilitzes el Campus Virtual de la UOC? USUARI /HORES USUARI 1 1h:30 minuts USUARI 2 3-4 hores USUARI USUARI 3 4 2h:30 1h minuts USUARI USUARI 5 6 1h:30 30 minuts minuts USUARI 7 1h:30 minuts • Des d’on et connectes a la UOC (Casa, feina, etc...)? USUARI USUARI USUARI USUARI USUARI USUARI USUARI USUARI /LOCALITZACIÓ 1 2 3 4 5 6 7 Casa, Casa Casa, Casa, Casa Casa, Casa, feina feina feina feina feina 23 • Quin tipus de connexió a Internet utilitzes (mòdem, ADSL, cable, etc...)? USUARI USUARI USUARI USUARI USUARI USUARI USUARI USUARI /CONNEXIÓ 1 2 3 4 5 6 7 Mòdem ADSL Mòdem, Mòdem Cable Mòdem, Cable, ADSL Cable ADSL • Quin sistema operatiu utilitzes (Windows 98, Windows 2000, Windows XP, Linux)? USUARI /S.O. USUARI USUARI USUARI USUARI USUARI USUARI USUARI 1 2 3 4 5 6 7 Windows Windows Windows Windows Windows Windows Windows 2000 2000 98 98 98 98, 98, Windows Windows XP NT • Resolució del monitor utilitzada (800x600, 1024x768, 1152x864, etc...)? USUARI USUARI USUARI USUARI USUARI USUARI USUARI USUARI /RESOLUCIÓ 1 2 3 4 5 6 7 800x600 800x600 800x600 800x600 1024x768 1152x864 800x600 • Navegador utilitzat (Internet Explorer, Netscape, Opera, etc...)? USUARI USUARI USUARI USUARI USUARI USUARI USUARI USUARI /NAVEGADOR 1 2 3 4 5 6 7 Internet Internet Internet Internet Internet Internet Internet Explorer Explorer Explorer, Explorer Explorer Explorer Explorer Netscape 24 Formulari POST test: 1. Que penses de les millores realitzades al nou Campus Virtual de la UOC pel perfil de Consultor? a) Accessos directes a les Aules i Sales amb els seus recursos corresponents (Tauler, Fòrums, Debats, Avaluació Continuada): USUARI 1: Molt adequat. L’accés a sales pot facilitar la comunicació. USUARI 2: Em semblen molt oportunes les millores, com ara la Sala. USUARI 3: Accés directe positiu, molt visual i de fàcil accés. USUARI 4: Crec que l’accés directe a l’aula és molt útil. USUARI 5: Molt útil, el faig servir. USUARI 6: Molt útil, el faig servir. USUARI 7: Molt positives. b) Personalització de les Noticiés i Novetats pel perfil Consultor: USUARI 1: Em sembla bé, pot evitar oblits. USUARI 2: Correcte, tot i que segons sigui la resolució no es veu. USUARI 3: Si canviessin el color serien més visuals, menys text. USUARI 4: És una bona proposta, però a la plana d’inici hi ha massa informació. USUARI 5: No les miro. USUARI 6: Seria útil, però ho desconec. USUARI 7: Ok. 25 c) Integració de les aplicacions necessàries de Suport Docència a l’Aula: USUARI 1: Perfecte. USUARI 2: És una bona proposta. USUARI 3: Més accessibilitat que a Suport Docència. USUARI 4: Molt útil per guanyar temps. USUARI 5: Canvis útils. USUARI 6: Seria útil. USUARI 7: No les utilitzo, sóc de laboratori. d) Millores de la Navegació dins l’Aula (Estils i formats dels enllaços i de les eines de Navegació): USUARI 1: No les he percebut gaire. USUARI 2: Correcte. USUARI 3: No veig moltes diferències. USUARI 4: Correcte. USUARI 5: Important tenir un bon estil. USUARI 6: No les he percebut gaire. USUARI 7: Sempre es bo. 2. Per on entres a l’Aula normalment? a) Accés directe a la plana d’inici. b) Menú vertical esquerra. USUARI USUARI USUARI USUARI USUARI USUARI USUARI USUARI /ENTRADA 1 2 3 4 5 6 7 AULA a a a, b a a, b a a 26 3. Com t’organitzes per saber que has de fer en cada moment del Semestre? a) Agenda personal. b) Calendari de Suport Docència. c) Notícies de suport Docència. d) Altres. Quines? USUARI USUARI USUARI USUARI USUARI USUARI USUARI USUARI /ORGANITZACIÓ 1 2 3 4 5 6 7 c a, b a c a a a, c 4. Quines eines fas servir normalment per fer el seguiment dels estudiants? USUARI 1: El registre d’avaluació continuada i el seguiment de l’aula. USUARI 2: L’eina de seguiment dels estudiants. USUARI 3: El seguiment de l’aula. USUARI 4: El registre d’avaluació continuada i anotacions personals. USUARI 5: Fòrum i aplicació personal. USUARI 6: Puntualment la de seguiment de l’aula. USUARI 7: Excel amb resultat de cada PAC. 27 5. Trobes a faltar alguna eina (aplicació) o informació a les Aules o a Suport docència pel perfil consultors? USUARI 1: No. USUARI 2: No. USUARI 3: No. USUARI 4: No. USUARI 5: No. USUARI 6: No. USUARI 7: Agenda del Consultor. 6. Com valores aquest procés de personalització del Campus pel perfil Consultor? USUARI 1: Molt positivament. USUARI 2: Força positiu. USUARI 3: Bé. USUARI 4: Positivament. USUARI 5: Positiu. USUARI 6: Útil. USUARI 7: Molt bé. 28 4- Anàlisi numèric dels test d’usuaris A continuació es mostraran els resultats del test d’usuaris reflectits numèricament . Els criteris analitzats quantitativament són els següents: 1- Time on tasks (Temps en cada tasca). 2- Task completion (% de la tasca completada). 3- Categories Time On Tasks (in seconds) (Temps en cada tasca) TASCA 1 TASCA 2 (1 min) (3 min) 60seg 180seg TASCA 3 (1min) 60seg TASCA 4 (1:30 min) 90seg TASCA 5 Anàlisi del Escenari Anàlisi del Escenari 2 : (1:30 min) 1 : Plana d'inici del Les Aules 90seg Campus Virtual UOC Total USUARI 1 47 268 22 110 100 213 366 1126 USUARI 2 10 320 7 71 137 180 303 1028 USUARI 3 31 254 58 41 48 381 190 1003 USUARI 4 69 353 8 69 124 161 189 973 USUARI 5 24 260 52 125 45 194 165 865 USUARI 6 80 51 9 26 63 131 246 606 USUARI 7 51 175 17 96 79 149 427 994 Total 312 1681 173 538 596 1409 1886 Nota: Els resultats d’aquesta taula s’han de valorar amb mesura, ja que la variable que s’està calculant (el temps), així ho requereix. Hi ha tasques que poden variar considerablement respecte al temps estimat per ella, això es degut a possibles interrupcions de l’usuari en forma de preguntes cap al monitor de test. 30 Time On Tasks (in seconds) (Temps en cada tasca) 31 Time On Tasks (in seconds) (Temps en cada tasca) MITJA 32 Task Completion (in percentage) (% de la tasca completada) TASCA 1 (1 min) 60seg) TASCA 2 TASCA 3 TASCA (3 min) (1min) 4 (1:30 180seg 60seg min) 90seg TASCA 5 (1:30 Anàlisi del Escenari 1 Anàlisi del Escenari : Plana d'inici del 2 : Les Aules min) 90seg Campus Virtual UOC Total USUARI 1 100 0 100 100 0 100 100 500 USUARI 2 100 0 100 100 0 100 100 500 USUARI 3 0 0 0 100 0 100 100 300 USUARI 4 0 0 0 100 0 100 100 300 USUARI 5 100 0 0 100 0 100 100 400 USUARI 6 100 100 100 100 0 100 100 600 USUARI 7 0 0 100 100 0 100 100 400 Total 400 100 400 700 0 700 700 Nota: Com es pot veure en aquesta taula de resultats, només s’han tingut en compte les tasques aconseguides amb un 100% d’èxit completat. S’ha pres aquesta restricció per poder veure clarament on podíem trobar els problemes d’usabilitat. Els valors d’aquesta taula estan reforçats amb els resultats qualitatius obtinguts i comentats amb anterioritat. 33 Task Completion (in percentage) (% de la tasca completada) 34 Task Completion (in percentage) (% de la tasca completada) MITJA 35 Categories problema general Torna inici usuari parlant saps on estàs? USUARI 1 0 1 5 1 1 20 0 2 30 USUARI 2 0 1 3 2 1 24 0 2 33 USUARI 3 2 2 0 0 1 17 1 0 23 USUARI 4 0 2 3 3 1 24 1 1 35 USUARI 5 0 1 0 0 1 15 1 0 18 USUARI 6 0 1 0 0 1 19 2 0 23 USUARI 7 0 2 1 1 1 26 1 1 33 Total 2 10 12 7 7 145 6 6 Pensant Frustració Llegint scroll finestra Total Nota: Aquestes dades són orientatives, el seu valor dins d’aquest document és informatiu. No podem extreure’n conclusions viables d’elles. 36 Categories FI DEL DOCUMENT Realitzat per : David Rodríguez Gabaldón [email protected]