Curso de tests

Diseño de
pruebas tipo test
enero de 2014 José Miguel Santos Espino
¿Qué son las pruebas
tipo test?
¿Qué son las pruebas
tipo test?
• Desarrolladas en EUA a principios del siglo
XX (Thorndike,Yerkes) ¿Qué son las pruebas
tipo test?
• Pruebas de evaluación educativa
• Pretenden medir conocimientos de forma
objetiva y masiva (a grandes grupos)
• Consisten en una lista de ítems,
normalmente de elección múltiple
¿Qué es la evaluación?
¿para qué evaluamos?
Tipos de evaluación
(objetivos)
• Diagnóstica. Al principio, para conocer a
los estudiantes.
• Formativa. Durante, para seguir el
progreso.
• Sumativa. Al final, para certificar logros.
Diseño de tests:
preguntas claves
• Objeto de la evaluación.
¿Qué pretendemos medir?
• Validez de la prueba.
¿El test mide lo que pretende medir?
• Fiabilidad de la prueba.
¿La puntuación obtenida es reproducible en
casos similares?
Etapas en el desarrollo
de una prueba
1.
2.
3.
4.
5.
6.
7.
8.
Plan general
Definición del contenido
Especificaciones de la prueba
Desarrollo de los ítems
Desarrollo de la prueba
Administración de la prueba
Puntuación de la prueba
Interpretación de los resultados
Contenido de la prueba
¿Cuánto es 3 x 5?
a) 5.
b) 10.
c) 15.
d) 35.
¿Cuánto es 3 x 5?
a) 5.
b) 10.
c) 15.
d) 35.
Cada día que voy al colegio, me compro un bocadillo en la
cantina, que cuesta 3 euros. ¿Cuántos euros me gasto cada
semana, de lunes a viernes?
a) 5.
b) 10.
c) 15.
d) 35.
Contenido de la prueba
• Más allá de los “temas” o “materias”
• Cada “tema” tiene varias dimensiones de
aprendizaje:
- sólo recordar nombres de cosas
- recordar propiedades de las cosas
- saber aplicar conceptos y procesos
- saber relacionar conceptos de varios
“temas”
- etc.
Taxonomía de Bloom
(1956)
• dimensiones del aprendizaje:
- cognitiva
- afectiva
- psicomotriz
• En la Universidad, suele
dominar la dimensión
cognitiva
Taxonomía de Bloom
(para la dimensión cognitiva)
1. Conocimiento - reconocer
2. Comprensión - entender
3. Aplicación - resolver problemas en nuevas
situaciones
4. Análisis - identificar y separar las partes de un
problema
5. Síntesis - crear un todo a partir de partes
6. Evaluación - realizar juicios a partir de datos o
información
Ejemplos de preguntas
según clasificación de Bloom
• Conocimiento: recuerdo/conocimiento de
fechas, valores, nombres, lugares…
• Comprensión: qué sucede cuando, qué
parte no encaja, qué se espera, elija la
mejor definición…
• Aplicación: cuál es el método más
apropiado, usar reglas para obtener
resultados, cambiar un proceso para
adaptarlo a otro…
Ejemplos de preguntas
según clasificación de Bloom
• Análisis: discutir puntos de vista según
autores, conclusiones desde varios
enfoques, aplicabilidad de procesos a
escenarios… • Síntesis: generalizar a partir de datos en
bruto, interrelacionar conocimientos de
varias áreas…
• Evaluación: juzgar el valor de teorías,
distinguir entre objetividad y subjetividad…
¿Qué se entiende por multitarea en un sistema operativo?
a) La capacidad de ejecutar múltiples tipos de tareas.
b) La posibilidad de ejecutar varias instrucciones a la vez.
c) La capacidad para mantener simultáneamente varios
procesos activos.
Apple no incorporaba multitarea en las primeras versiones
de iOS. ¿Cuál de estos motivos para tomar tal decisión
resulta más plausible?
a) La multitarea es demasiado complicada de implementar.
b) Los procesadores de la época no eran suficientemente
potentes para soportar multitarea. c) La multitarea tiende a consumir demasiada memoria y
batería.
Tabla de Especificación
de Objetivos (TEO)
• Herramienta para visualizar los contenidos
que queremos para la prueba.
• Dos dimensiones: contenidos + niveles cognitivos.
Referencias
• Standards for Educational and Psychological
Testing
• Evaluación de los aprendizajes en la
universidad. Amparo Fernández March.
UPV. http://www.sre.urv.es/web/aulafutura/
php/fitxers/496-7.pdf
Estructura de una
prueba tipo test
Elementos de un test
• ítem
• enunciado (stem)
• opciones (options)
• alternativa correcta (key)
• distractores (distractors)
• escenario (scenario)
Un ítem
enunciado
¿Cuál de estos vegetales proviene de América?
a) Aceituna.
b) Canela.
c) Caña de azúcar.
distractores
d) Judía.
e) Naranja.
opciones
Los distractores
• fundamentales para un buen diseño del ítem.
• un buen distractor debe ser:
• plausible.
• atractivo para una persona que no conozca la
respuesta correcta o que tenga un
conocimiento superficial de la materia.
• irrelevante para una persona con
conocimiento.
¿Cuál de los dos ítems
tiene mejores distractores?
5 x 15 = a) 3.
b) 20.
c) 55.
d) 75.
!
5 x 15 = a) 73.
b) 74.
c) 75.
d) 76.
Formatos habituales
• Elección múltiple tradicional
• Elección alternativa
• Verdadero-falso
• Verdadero-falso múltiple
• Emparejamiento
• Elección múltiple complejo
• Dependientes de contexto
Elección múltiple
tradicional
¿Cuál de los siguientes países pertenece a
Oceanía?
1.Yibuti.
2. Kiribati.
3. Maldivas.
4. Bahrein.
Escenarios
Verdadero/falso
• Enunciado en forma de afirmación tajante.
!
¿Verdadero o falso?
El lenguaje máquina es el que es interpretado
por la CPU.
Elección alternativa
• Dos únicas opciones de respuesta.
!
La primera bomba atómica era de:
A. Fisión.
B. Fusión.
V/F múltiple
• Indique si cada una de las siguientes
afirmaciones referidas al número π son
verdaderas (V) o falsas (F):
1. es menor que 3.
V
F
2. es un número irracional.
V
F
3. es un número negativo.
V
F
Emparejamiento
• Conecte los siguientes países con sus
capitales:
1. Tuvalu.
2.Vanuatu.
3.Burundi.
4. Malaui.
a. Lilongwe.
b. Port Vila.
c. Funafuti.
d. Tarawa.
e. Bujumbura.
Múltiple complejo
¿Cuáles de estos elementos químicos son metales? 1. Cromo. 2. Bromo. 3. Cerio. 4. Cesio. !
A. 1 y 2.
B. 2 y 4.
C. 1, 3 y 4.
D. 2, 3 y 4.
Cómo hacer un buen
diseño del test
Directrices para
confeccionar un buen test
• Propuesta clásica de directrices:
Haladyna-Downing, 1989-2002
31 directrices
• Moren, Martínez y Muñiz, 2004:
simplifican modelo inicial a 12 directrices
Las 12 directrices
1. El contenido debe ser una muestra representativa de la tabla de especificaciones.
2. La representatividad debe marcar el diseño del ítem: sencillo/complejo, concreto/
abstracto, memorístico/productivo, cómo se expresa, etc.
3. Idea central en el enunciado. Concordancia gramatical opciones-enunciado.
4. Sintaxis+gramática correcta.
Evitar ítems escuetos, profusos, confusos, dobles negaciones.
5. Semántica ajustada al contenido y las personas.
6. Sólo una opción correcta. Distractores plausibles.
7. El lugar de la opción correcta no debe ser previsible.
8. Preferible TRES opciones.
9. Recomendable presentar opciones en VERTICAL.
10.Conjunto de opciones debe aparecer estructurado.
11.Opciones independientes entre sí. No referencias cruzadas.
No “todas las anteriores” ni “ninguna de las anteriores”.
12.Ninguna opción debe destacar del resto, ni en contenido ni en apariencia.
Las 12 directrices:
contenido y expresión
1. El contenido debe ser una muestra representativa de la
tabla de especificaciones.
2. La representatividad debe marcar el diseño del ítem:
sencillo/complejo, concreto/abstracto, memorístico/
productivo, cómo se expresa, etc.
3. Idea central en el enunciado. Concordancia gramatical
opciones-enunciado.
4. Sintaxis+gramática correcta.
Evitar ítems escuetos, profusos, confusos, dobles
negaciones.
5. Semántica ajustada al contenido y las personas.
Las 12 directrices:
construcción de las opciones
6. Sólo una opción correcta. Distractores plausibles.
7. El lugar de la opción correcta no debe ser previsible.
8. Preferible TRES opciones.
9. Recomendable presentar opciones en VERTICAL.
10. El conjunto de opciones debe aparecer estructurado.
11. Opciones independientes entre sí. No referencias
cruzadas.
No “todas las anteriores” ni “ninguna de las anteriores”.
12. Ninguna opción debe destacar del resto, ni en contenido ni
en apariencia.
Directriz 3
• evitar problemas a las personas que tienen
dificultades de lectura (salvo que eso sea
objeto de evaluación)
• ¿Qué sinfonía de Beethoven también se
conoce como «La heroica»?
a) La sinfonía número 1.
b) La sinfonía número 3.
c) La sinfonía número 5.
Directriz 3
• evitar problemas a las personas que tienen
dificultades de lectura (salvo que eso sea
objeto de evaluación)
• La sinfonía de Beethoven conocida como
«la Heroica» es la número:
a) 1.
b) 3.
c) 5.
Directriz 11
• La esperanza de vida al nacer en España es
superior a:
a) 75 años.
b) 80 años.
c) 82 años.
d) 85 años.
¡ojo con despistes en los
enunciados que pueden dar lugar a
varias respuestas correctas!
Directriz 11
• ¿Qué cifra se aproxima más a la esperanza
de vida al nacer en España?
a) 75 años.
b) 80 años.
c) 82 años.
d) 85 años.
Directriz 11
• una persona sin conocimiento experto puede
contestar correctamente a esta pregunta.
• ¿Cuáles de las siguientes opciones
muestran componentes del ojo humano?
a) Glándula lagrimal superior.
b) Conjuntiva.
c) Glándulas de Meibomio.
d) Todas las anteriores son correctas.
Directriz 11
• ¿Cuál es la capital de Moldavia?
a) Moscú.
b) Oslo.
c) Varsovia.
d) Ninguna de las anteriores.
Directriz 11
pregunta innecesariamente complicada.
El diseñador quería que la correcta fuera la (a). Pero admite como
respuesta la (d), porque en C no hay valores booleanos.
• Si a vale 1 y b vale 2, ¿cuál de estas
expresiones en lenguaje C devuelve un
valor booleano cierto?
a) a>b | b>a
b) a>b & b>a
c) a>b && b>a
d) Todas las anteriores son falsas.
Directriz 11
• ¿Cuáles de estos números son potencias de
2?
a) 1.
b) 2.
c) 3.
d) a) y b) son ciertas.
Directriz 12
al diseñador le ha traicionado la concordancia entre el artículo y el
sustantivo. Da una pista para descartar la (b).
• El hueso más largo de la extremidad
superior que se articula en la cavidad
glenoidea del omóplato es el:
a) Fémur.
b) Clavícula.
c) Húmero.
Directriz 12
una opción mucho más larga que las demás
•
Una muestra aleatoria es aquella en que:
a)Los sujetos se seleccionan por niveles.
b)Se selecciona cada n sujetos.
c)Cada sujeto tiene la misma probabilidad de formar parte de la muestra.
d)Los grupos son unidades de muestreo.
Administración de la
prueba
Administración de la
prueba
• Aspectos formales: maquetación, soporte
para responder, instrucciones…
• Generar confianza, comodidad y
comprensión.
• Atención a la diversidad funcional.
Administración de la
prueba
• Prevención del fraude
(suplantación, copia)
• aleatorizar ordenación o selección de ítems
• controlar la visibilidad/accesibilidad del
entorno
• verificar la identidad de los evaluados
• detección: minería de los resultados
Aspectos formales
• Instrucciones claras
• Número de ítems • Cuidado con la tipografía y formato:
tamaño de papel, interlineado, justificación,
colores...
Análisis del test
Análisis del test
• sobre ítems: índice de dificultad; índice de
discriminación
• sobre opciones: índice de discriminación
• sobre la prueba:
índice de dificultad
de un ítem
• índice de dificultad = aciertos / respuestas no vacías
• índice de dificultad corregido (eliminando
efecto del azar) =
índices de
discriminación
• capacidad del ítem para separar personas
de alto y bajo rendimiento
• varias fórmulas, más o menos sofisticadas:
• Kelley, 1939 (grupos extremos 27%)
• correlación entre ítem y resultado global
índices de
discriminación
• comparación de extremos:
• restar proporciones de aciertos en los
dos grupos extremos: Palto - Pbajo
• rango entre -1 … +1
índices de
discriminación
• hallar la correlación entre el ítem y la
puntuación global.
• usar un indicador de correlación apropiado
para la magnitudes.
• rango entre 0 y 1.
Análisis de los
distractores
• Frecuencia de elección
• índice de discriminación del distractor
(normalmente, un buen distractor debe ser
muy seleccionado por personas con pobre
rendimiento, y poco seleccionado por el
grupo de mejor rendimiento)
Análisis de las
omisiones
• frecuencia de omisiones para un ítem
• opciones no seleccionadas
Alerta si...
• Ítems con un índice de discriminación
negativo.
• Distractores con un índice de
discriminación mayor que la opción
correcta.
• Omisiones con índice de discriminación
negativo.
Fiabilidad del test
• Coeficiente alfa de Cronbach
Sistema de puntuación
• Sistema básico: suma de aciertos
• Penalización del azar
• Premiar omisiones
• Puntuar conocimiento parcial
• Puntos de corte
• Puntuaciones relativas