La revisión inicial en PT es una etapa fundamental antes de calcular valores asignados, desviaciones estándar o puntuaciones de desempeño. ISO 13528:2022 dedica su apartado 6 precisamente a comprobar que los ítems y los resultados obtenidos en una ronda de Proficiency Testing son adecuados antes de aplicar el análisis estadístico definitivo.
Este paso es especialmente importante porque un conjunto de datos puede contener problemas que no proceden del desempeño real de los participantes: ítems inestables, falta de homogeneidad, diferencias entre métodos de ensayo, errores de transcripción, distribuciones inesperadas o resultados extremos.
Analizar directamente esos datos sin una revisión previa puede llevar a conclusiones incorrectas.
Por ello, ISO 13528 plantea una secuencia de comprobaciones que permite entender qué está ocurriendo con los datos antes de utilizarlos para evaluar el desempeño de los participantes. La norma complementa en este ámbito a ISO/IEC 17043, proporcionando orientación estadística más detallada para el diseño, la validación de ítems y la revisión de resultados en esquemas PT.
¿Qué Es La Revisión Inicial En PT?
La revisión inicial es el proceso mediante el cual el proveedor de ensayos de aptitud examina los ítems distribuidos y los resultados recibidos antes de realizar la evaluación estadística definitiva.
No consiste simplemente en comprobar si existen valores muy altos o muy bajos.
La revisión debe responder a varias preguntas:
- ¿Los ítems enviados a los participantes eran suficientemente homogéneos y estables?
- ¿Todos los participantes están midiendo realmente el mismo mensurando?
- ¿Existen diferencias sistemáticas relacionadas con los métodos utilizados?
- ¿Hay errores evidentes de transcripción o unidades?
- ¿La distribución de resultados tiene la forma esperada?
- ¿Existen resultados extremos y, en ese caso, cómo deben tratarse?
Resolver estas cuestiones antes de calcular las estadísticas de desempeño permite evitar que un problema ajeno al participante termine influyendo en su evaluación.
Homogeneidad Y Estabilidad De Los Ítems PT
La primera comprobación establecida por ISO 13528 se refiere al propio material distribuido.
El proveedor debe asegurarse de que los lotes de ítems utilizados en el ensayo de aptitud sean suficientemente homogéneos y estables para el propósito del esquema.
Esto es esencial porque la variabilidad observada entre participantes debería proceder principalmente de sus procesos de medición, no de diferencias significativas entre los propios ítems recibidos.
ISO 13528 contempla diferentes formas de obtener esta evidencia: mediante estudios experimentales, utilizando experiencia previa con materiales suficientemente similares o evaluando los propios resultados de la ronda para identificar comportamientos compatibles con problemas de homogeneidad o estabilidad.
La selección del mensurando también tiene importancia. Cuando sea posible, deberían evaluarse todas las propiedades relevantes. Sin embargo, la norma permite utilizar un subconjunto si puede demostrarse que esas propiedades son suficientemente sensibles para detectar posibles problemas que afectarían al resto.
Por ejemplo, una propiedad susceptible a precipitación, sedimentación o cambios durante el procesamiento puede proporcionar información especialmente útil sobre el comportamiento del lote.
En SHAPYPRO ya hemos tratado en detalle este aspecto en nuestro artículo sobre ISO 13528 y la homogeneidad y estabilidad en ensayos de aptitud.
En el contexto de la cláusula 6, lo importante es entender que esta comprobación funciona como la primera barrera antes de interpretar los resultados de los participantes.
¿Todos Los Métodos De Medida Son Comparables?
Una vez comprobados los ítems, aparece otra cuestión importante: el método utilizado por cada participante.
En algunos esquemas PT todos los participantes emplean procedimientos suficientemente comparables y puede utilizarse un mismo valor asignado para el grupo.
Pero esto no siempre ocurre.
Cuando se permite a los participantes utilizar diferentes métodos de medida, puede suceder que determinados procedimientos proporcionen resultados sistemáticamente diferentes.
En estas situaciones, un único valor asignado podría no ser adecuado para todos los participantes.
ISO 13528 establece que el proveedor debe considerar esta posibilidad tanto durante el diseño del esquema como durante la revisión de los resultados de cada ronda. En determinados casos pueden utilizarse valores asignados diferentes para distintos grupos metodológicos.
Este punto es especialmente importante porque una aparente separación entre resultados no tiene por qué indicar necesariamente un mal desempeño.
Puede estar mostrando que existen dos poblaciones de resultados asociadas a métodos que responden de forma distinta.
Identificarlo antes del análisis evita comparar participantes bajo condiciones que no son realmente equivalentes.
Errores Evidentes No Son Lo Mismo Que Outliers
Uno de los aspectos más importantes de la revisión inicial es distinguir entre un error evidente y un resultado estadísticamente extremo.
ISO 13528 recomienda retirar del conjunto de datos, antes de aplicar procedimientos robustos o pruebas de outliers, aquellos resultados que puedan identificarse claramente como errores.
Un caso típico sería que un participante haya informado el resultado en una unidad incorrecta.
Otro ejemplo podría ser que se hayan intercambiado accidentalmente los resultados correspondientes a dos ítems distintos.
Estos valores no son simplemente resultados alejados del resto: existe una causa identificable que demuestra que el dato comunicado no representa correctamente el resultado previsto.
En algunos casos puede ser posible corregirlos, pero únicamente si existe una política y un procedimiento previamente aprobados que permitan hacerlo.
Y aquí la norma introduce una precaución especialmente importante:
Si existe alguna duda sobre si un resultado es realmente un error evidente, debe mantenerse en el conjunto de datos y continuar con las siguientes etapas de revisión.
Esta diferencia evita eliminar datos simplemente porque parezcan incómodos o demasiado alejados del grupo.
La Revisión Visual Debe Realizarse Antes Del Análisis
Los gráficos no son únicamente una forma de presentar los resultados finales.
Dentro de la revisión inicial en PT, ISO 13528 considera la revisión visual de los datos como una de las primeras etapas del análisis.
Esta revisión debe realizarla una persona con suficiente conocimiento técnico y estadístico y tiene dos objetivos principales:
- Confirmar que la distribución presenta aproximadamente el comportamiento esperado.
- Identificar anomalías o fuentes de variabilidad que no se habían previsto.
Por ejemplo, encontrar dos grupos claramente diferenciados puede ser una señal de que existe una distribución bimodal.
Y esa bimodalidad podría tener diferentes explicaciones:
- Dos métodos de medida que generan resultados diferentes.
- Contaminación de determinados ítems.
- Unas instrucciones que han sido interpretadas de maneras distintas por los participantes.
La norma indica que este tipo de situaciones debe investigarse antes de continuar con la evaluación estadística.
Histogramas Y Gráficos De Densidad
Un histograma puede proporcionar una primera visión de la distribución y ayudar a detectar asimetrías, agrupaciones o resultados extremos.
Sin embargo, su apariencia depende considerablemente de cómo se definan los intervalos.
Por ello, ISO 13528 también señala la utilidad de los kernel density plots, que pueden facilitar la identificación de multimodalidad o falta de simetría.
El objetivo no es elegir el gráfico más atractivo para el informe.
El objetivo es utilizar representaciones capaces de revelar si los supuestos estadísticos previstos para el esquema realmente parecen razonables.
Métodos Estadísticos Robustos: Analizar Sin Eliminar Automáticamente Los Extremos
Dentro de la revisión inicial en PT, después de examinar visualmente los datos aparece uno de los conceptos más importantes de ISO 13528: la estadística robusta.
Los métodos robustos permiten estimar el centro y la dispersión de una distribución reduciendo la influencia de resultados extremos, sin necesidad de identificar y eliminar previamente cada valor considerado outlier.
Esto representa una diferencia importante frente a enfoques clásicos en los que primero se eliminan determinados resultados y después se calcula una media y una desviación estándar convencional.
ISO 13528 indica que, en general, los métodos robustos son preferibles a los procedimientos basados en eliminar resultados clasificados como outliers.
Entre los estimadores y procedimientos que aparecen en la norma se encuentran la mediana, la desviación absoluta mediana escalada, el rango intercuartílico normalizado y diferentes métodos robustos desarrollados en el Anexo C.
Uno de los más conocidos es Algorithm A, que utiliza un procedimiento iterativo para limitar la influencia de los valores extremos y obtener estimaciones robustas de localización y dispersión.
Su aplicación resulta especialmente útil cuando la mayoría de los resultados pertenecen a una población aproximadamente normal y existe una proporción relativamente pequeña de resultados discrepantes.
Para conjuntos de datos donde pueda existir una proporción mayor de valores extremos, la norma contempla otros estimadores robustos.
La elección final del método corresponde al proveedor PT y debe estar alineada con el diseño y los objetivos del esquema.
¿Cuándo Deben Utilizarse Pruebas De Outliers?
ISO 13528 no prohíbe utilizar pruebas específicas para detectar outliers.
Pueden emplearse para apoyar la revisión visual o cuando resulte necesario aplicar estrategias de exclusión.
Sin embargo, existen varias precauciones.
Las pruebas utilizadas deben ser apropiadas para las características de los datos y deben cumplirse suficientemente sus hipótesis estadísticas.
Esto es especialmente importante porque muchas pruebas de outliers se basan en el supuesto de que los datos proceden de una distribución normal.
Si se utiliza una estrategia de rechazo de outliers, el proveedor debe documentar el procedimiento, los niveles de confianza utilizados y los límites establecidos sobre la cantidad de datos que pueden rechazarse.
Además, debe poder demostrar que las estimaciones estadísticas resultantes continúan siendo adecuadas para el objetivo del esquema PT.
La norma menciona procedimientos como el test de Grubbs y, cuando existen resultados replicados, el test de Cochran.
Pero hay un detalle particularmente relevante:
Eliminar un resultado del cálculo estadístico no significa eliminar la evaluación de ese participante.
Si un resultado se retira del conjunto utilizado para obtener determinadas estadísticas por considerarse un outlier, el desempeño del participante debe seguir evaluándose utilizando los mismos criterios aplicados al resto.
Esta distinción es fundamental.
Un resultado puede no ser adecuado para estimar el comportamiento general del grupo y, al mismo tiempo, seguir siendo precisamente el resultado que debe evaluarse para ese participante.
El Orden De La Revisión Importa
La revisión inicial en PT descrita en la cláusula 6 puede entenderse como una secuencia lógica.
Primero se comprueba que los ítems no sean el origen del problema.
Después se analiza si los métodos utilizados por los participantes son suficientemente comparables.
A continuación se identifican únicamente aquellos errores que pueden considerarse evidentes.
Después se observa la distribución de los datos.
Y solo entonces se decide qué procedimiento estadístico es adecuado y cómo deben gestionarse los posibles resultados extremos.
Este orden evita un error relativamente fácil de cometer: empezar directamente buscando outliers.
Un resultado alejado del grupo puede deberse a múltiples causas.
Puede ser un verdadero problema del participante.
Pero también puede revelar una diferencia metodológica, una distribución inesperada, un problema del ítem o incluso un error de comunicación.
La estadística no debería decidir qué ha ocurrido antes de que el proveedor comprenda razonablemente qué está observando.
De La Revisión Inicial Al Valor Asignado
La revisión inicial de la cláusula 6 también prepara el terreno para los apartados posteriores de ISO 13528.
La cláusula 7 aborda la determinación del valor asignado y su incertidumbre.
Cuando este valor se obtiene a partir del consenso de los resultados de los participantes, la propia norma indica que deben aplicarse las técnicas de revisión de los apartados 6.2 a 6.6 para comprobar que existe suficiente concordancia antes de combinar los datos.
Esto demuestra que la revisión inicial no es una fase accesoria.
Determina si el conjunto de resultados es realmente adecuado para calcular posteriormente estadísticas que tendrán un impacto directo sobre la evaluación de los participantes.
Por Qué Esta Revisión Es Importante Para Un Proveedor PT
Un programa de Proficiency Testing debe ser capaz de diferenciar entre variabilidad atribuible al desempeño del participante y variabilidad generada por otras causas.
Si esa diferenciación no se realiza correctamente, existe el riesgo de atribuir a un laboratorio un problema que en realidad procede del diseño del ejercicio, del material o de la forma en que se han agrupado los resultados.
Por eso la revisión inicial combina conocimiento estadístico y conocimiento técnico.
Un gráfico puede mostrar dos poblaciones diferentes.
La estadística puede identificar esa separación.
Pero determinar si corresponde a dos métodos analíticos, a un problema de preparación o a otra causa requiere comprender también el ensayo y el comportamiento del material.
ISO 13528 insiste precisamente en esa combinación de competencias: las herramientas estadísticas son necesarias, pero no sustituyen la interpretación técnica.
La Revisión Inicial Dentro De Los Programas PT De SHAPYPRO
En SHAPYPRO, el tratamiento estadístico de un ensayo de aptitud forma parte de un proceso más amplio que comienza antes del cálculo de las puntuaciones de desempeño.
La validación de los ítems, la revisión de los datos y la selección del procedimiento estadístico adecuado permiten asegurar que la evaluación posterior se apoye en información técnicamente consistente.
La revisión inicial ayuda especialmente a detectar situaciones en las que sería necesario investigar los datos antes de obtener el valor asignado o calcular estadísticas como z-score, z’-score u otros indicadores de desempeño.
De este modo, la evaluación no se limita a ejecutar automáticamente una fórmula sobre todos los resultados recibidos.
Primero hay que determinar si esos resultados pueden y deben analizarse conjuntamente.
Conclusión
La revisión inicial en PT constituye una de las etapas fundamentales del tratamiento estadístico establecido en ISO 13528.
Antes de determinar valores asignados o evaluar el desempeño de los participantes, el proveedor debe comprobar que los ítems sean adecuados, revisar posibles diferencias metodológicas, identificar errores evidentes, observar la distribución de los resultados y seleccionar una estrategia estadística apropiada.
La norma proporciona herramientas robustas para gestionar resultados extremos, pero también deja claro que un dato diferente no debe eliminarse automáticamente por el simple hecho de ser diferente.
La revisión inicial tiene precisamente esa finalidad: comprender los datos antes de evaluarlos.
Porque en un ensayo de aptitud, un análisis estadístico fiable no comienza con el cálculo de un z-score.
Comienza comprobando que los datos sobre los que se va a calcular tienen sentido.