Validez (parte 1)

Validez
[color=black]Si tenemos una prueba “X” nos equivocaríamos al creer que
su titulo nos dice lo que la prueba mide, pues cualquier persona
puede reunir un conjunto de reactivos y esperar a obtener una
medida, por ejemplo, de razonamiento numérico o de las estrategias
de aprendizaje. La averiguación de lo que la prueba mide no
responde a la pregunta ¿cómo llama el autor a la prueba?, sino más
bien ¿a qué hacen referencia los puntajes obtenidos en esta?, ¿es
válido el uso o la interpretación de las puntuaciones de este test?,
¿qué generalizaciones se pueden hacer apropiadamente a partir de la
puntuación en esta prueba? (Thorndike, 1989). En esencia, el
trasfondo de estas preguntas es determinar cuáles son los procesos
mentales que pone en juego el test. Ahora bien, el responder a las
Jaime Aliaga 95
citadas interrogantes necesita de una indagación larga y compleja
que en psicometría se denomina proceso de validación.
a) Distinción entre la validez y la confiabilidad según el
error. La distinción entre confiabilidad y validez se basa en lo que
consideramos como error. En la validez interesan los errores
constantes o sistemáticos y en la confiabilidad los errores aleatorios
o no sistemáticos. El siguiente ejemplo nos permitirá precisar la
diferencia entre ambos tipos de error: Supongamos que un reloj es
adelantado 20 minutos. Si se trata de un buen cronometro el tiempo
que marca será confiable (es decir consecuente), pero no será valido
en comparación con el tiempo estándar (hora GMT).
b) Definición de validez. En términos estadísticos la validez
se define como la proporción de la varianza verdadera que es
relevante para los fines del examen. Con el término relevante nos
referimos a lo que es atribuible a la variable, características o
dimensión que mide la prueba.
En este sentido, generalmente la validez de un test se define
ya sea por medio de (1) la relación entre sus puntuaciones con alguna
medida de criterio externo, o bien (2) la extensión con la que la
prueba mide un rasgo subyacente específico hipotético o
“constructo”.
En términos psicométricos, la validez es un concepto que ha
pasado por un largo proceso evolutivo, desde aquella posición que
sostenía que “un test es válido para aquello con lo que correlaciona”
(Guilford, 1946, citado en Muñiz, 1996, p. 52), hasta la más reciente
que la entiende como un juicio evaluativo global en que la evidencia
empírica y los supuestos teóricos respaldan la suficiencia y lo
apropiado de las interpretaciones y acciones en base a los puntajes de
las pruebas, que son función no sólo de los ítemes sino también de la
forma de responder de las personas así como del contexto de la
evaluación.
Es decir, lo que se valida no es la prueba sino las inferencias
hechas a partir de la misma, lo que tiene dos importantes
consecuencias: a) el responsable de la validez de una prueba ya no es
solo su constructor sino también el usuario, y b) la validez de una
prueba no se establece de una vez por todas sino que es resultado del
acopio de evidencias y supuestos teóricos que se dan en un proceso
evolutivo y continuo que comprende todas las cuestiones
96 Psicometría
experimentales, estadísticas y filosóficas por medio de las cuales se
evalúan las hipótesis y teorías científicas (Messick, 1995).
En este contexto, el concepto validez refiere a la adecuación,
significado y utilidad de las inferencias específicas hechas con las
puntuaciones del los tests. La validación de un test es el proceso de
acumular evidencia para apoyar tales inferencias. Una variedad de
evidencias pueden obtenerse de las puntuaciones producidas por un
test dado, y hay muchas formas de acumular evidencia para apoyar
una inferencia específica. La validez, sin embargo, es un proceso
unitario. Aunque la evidencia puede ser acumulada de muchas
formas, la validez se refiere siempre al grado en que esa evidencia
apoya las inferencias que se hacen a partir de las puntuaciones”
(APA, AERA, NCME, 1985, citado en Gómez e Hidalgo, 2002, p.
2). La validez no se puede resumir en un solo indicador o índice
numérico, al igual que ocurre con la confiabilidad (p.e., el
coeficiente de confiabilidad), sino que la validez de las puntuaciones
de un test se asegura mediante la acumulación de evidencia teórica,
estadística, empírica y conceptual del uso de las puntuaciones.
c) Tipos de evidencia. En 1954 un comité presidido por L. J.
Cronbach estableció por encargo de la Asociación de Psicología
Americana (APA), que la validez era de cuatro tipos: validez de
contenido, validez predictiva, validez concurrente y validez de
constructo. Actualmente se coincide, desde el punto de vista
científico, que la única validez admisible es la validez de constructo
(Messick, 1995). Validación que ha de hacerse en un marco teórico,
pues se trata en última instancia de confirmar o explicar las
inferencias que se hagan de los puntajes.
La validez de constructo esta referida al grado en que cada
prueba refleja el constructo que dice medir, elaborándose
operativamente cuando el usuario desea hacer inferencias acerca de
conductas o atributos que pueden agruparse bajo la etiqueta de un
constructo particular. Su lógica en muchos aspectos así como en sus
métodos, es esencialmente la del método científico, pudiendo verse
como la elaboración de una “miniteoría” acerca de una prueba
(Kline, 1985) cuyas hipótesis deben someterse a contraste con
evidencias que provengan de diferentes fuentes como la de los tipos
de validez propuestos por Cronbach, entendidas como estrategias de
validación, en vista que cada tipo de inferencia requerirá una
Jaime Aliaga 97
estrategia distinta para la obtención de las evidencias (Vidal, 1996,
en Muñiz, 1996).
En el estudio de la validez de constructo estas evidencias
están relacionadas a cinco aspectos: a) Contenido (relevancia y
representatividad del test); b) Sustantivo (razones teóricas de la
consistencia observada de las respuestas); c) Estructural
(configuración interna del test y dimensionalidad); d)
Generalización (grado en que las inferencias hechas a partir del test
se pueden generalizar a otras poblaciones, situaciones o tareas); e)
Externo (relaciones del test con otros tests y constructos); f)
Consecuencia (consecuencias éticas y sociales del test) (Messick,
1995).
d Categorías de la validez. La validez empieza a
considerarse como el grado en que cada test refleja el constructo que
dice medir y que las relaciones entre tests que miden distintos
constructos reflejan las relaciones hipotetizadas entre ellos. En este
sentido, al estimarse que la validez de un test es la validez de
constructo la que ha de hacerse en un marco teórico, ya no se tiende
a hablar de tipos de validez sino de categorías o estrategias de
validación comprendiendo éstas a los tipos tradicionales de validez:
validez de contenido, validez empírica y validez de constructo. Si
tenemos en cuenta que lo que se valida no es el test sino las
inferencias hechas a partir del mismo, cada tipo de inferencia
requerirá una estrategia distinta. (Vidal, 1996, en Muñiz, 1996).
(1) Validez de Contenido (evidencia del contenido).- ¿Los
ítems que constituyen el test son realmente una muestra
representativa del dominio de contenido o dominio conductual que
nos interesa?
Es conveniente precisar que un dominio o campo conductual
es una agrupación hipotética de todos los reactivos posibles que
cubren un área psicológica particular. Al hablar de este conjunto de
reactivos posibles, se emplean los términos de dominio, universo o
población conductual como sinónimos. Por ejemplo: Un test de
vocabulario debe ser una muestra adecuada del dominio o universo
de ítems posibles en esta área.
La validez de contenido consiste en determinar lo adecuado
del muestreo de reactivos del universo de reactivos posibles; en este
sentido, es una “medida” de lo adecuado del muestreo. Ponemos
“medida” entre comillas debido a que este tipo de validez consiste en
98 Psicometría
una serie de estimaciones u opiniones, que no proporcionan un
índice cuantitativo de validez (para su obtención no se utiliza
procedimientos estadísticos). Este tipo de validez se asocia
fundamentalmente a los tests de aprovechamiento o rendimiento (test
de matemática, historia, etcétera); aunque no existen razones para
que no pueda aplicarse a los otros tipos de pruebas psicológicas
(pruebas de aptitudes, habilidades, etcétera).
Para su determinación se compara sistemáticamente los
reactivos del test con el dominio conductual del contenido postulado.
Por ejemplo: si tenemos una lista de 500 palabras que esperamos que
los estudiantes de un curso sean capaces de escribirlas correctamente
al final de este, su performance o rendimiento respecto a estas
palabras será importante solamente en tanto que proporciona una
prueba de su habilidad para escribir correctamente las 500 palabras.
El test que construyamos tendrá una muestra de las 500 palabras,
pero sólo tendrá validez de contenido en la medida en que
proporcione una muestra adecuada de las 500 palabras que
represente. Si seleccionamos solamente palabras fáciles o difíciles, o
palabras que representen únicamente ciertos tipos de faltas comunes
de ortografía, estaríamos propensos a obtener una validez de
contenido muy baja. En consecuencia, el aspecto clave en la validez
de contenido es el muestreo de los reactivos. En otras palabras, la
validez de contenido es cuestión de determinar si la muestra de sus
reactivos es representativa del universo o dominio conductual de
ítems al que supuestamente representa.
Para hacer esta determinación se recurre a “jueces” (o
expertos, generalmente en número impar).