El diseño de PT es una de las etapas fundamentales para conseguir que un programa de ensayos de aptitud proporcione una evaluación técnicamente válida del desempeño de los laboratorios participantes. La ISO 13528:2022 establece las principales consideraciones estadísticas que deben definirse antes de analizar los resultados obtenidos en una comparación interlaboratorio.
Un ensayo de aptitud no consiste únicamente en distribuir una muestra, recopilar resultados y compararlos. Para que la evaluación sea útil, el diseño estadístico debe estar alineado desde el principio con los objetivos del programa, el tipo de datos obtenidos, las características de los resultados, el número previsto de participantes y la forma en la que estos comunicarán sus resultados.
El apartado 5 de ISO 13528 desarrolla precisamente estos aspectos y proporciona una guía para establecer el diseño estadístico de los programas de Proficiency Testing (PT).
Diseño De PT Según ISO 13528
La ISO 13528 establece un principio fundamental: no existe un único diseño estadístico adecuado para todos los ensayos de aptitud.
El diseño de PT debe desarrollarse teniendo en cuenta los objetivos específicos del programa y las características de los datos que se obtendrán.
Entre los principales factores que deben considerarse se encuentran:
- El objetivo del programa de ensayos de aptitud.
- La naturaleza de los datos, ya sean cuantitativos o cualitativos.
- Las hipótesis estadísticas aplicables.
- La naturaleza de los posibles errores.
- El número esperado de resultados.
- El procedimiento utilizado para establecer el valor asignado.
- Los criterios utilizados posteriormente para evaluar el desempeño.
Por tanto, dos programas PT pueden necesitar diseños estadísticos diferentes aunque ambos tengan como finalidad general comparar el desempeño entre laboratorios.
Los Objetivos Como Base Del Diseño De PT
Antes de seleccionar cualquier procedimiento estadístico es necesario definir qué pretende evaluar el programa.
ISO 13528 contempla diferentes escenarios.
Por ejemplo, un PT puede comparar el resultado de cada participante con un valor de referencia previamente determinado, utilizando límites establecidos antes de comenzar la ronda.
En este caso, el diseño debe establecer:
- Cómo se obtendrá el valor de referencia.
- Cómo se definirán los límites.
- Qué método se utilizará para evaluar los resultados.
En otros programas, el objetivo puede ser comparar el resultado de cada participante con los resultados combinados del grupo durante la misma ronda.
En este caso, el diseño debe determinar cómo se calculará el valor asignado a partir de los resultados disponibles y qué criterios se utilizarán posteriormente para evaluar el desempeño.
También puede plantearse un programa en el que tanto el valor asignado como determinados parámetros de dispersión procedan de los resultados de los participantes.
Otra posibilidad consiste en comparar el resultado de cada laboratorio con un valor asignado teniendo en cuenta la incertidumbre de medida comunicada por el propio participante.
Por último, ISO 13528 también contempla programas cuyo objetivo sea comparar diferentes métodos de medida.
Cada objetivo requiere, por tanto, decisiones estadísticas específicas.
El Tipo De Datos Condiciona El Diseño Estadístico
Otro elemento importante en el diseño de PT es la naturaleza de los datos obtenidos.
ISO 13528 diferencia distintos tipos de resultados, entre ellos:
- Datos cuantitativos.
- Datos nominales o categóricos.
- Datos ordinales.
- Datos cuantitativos discretos.
Esta clasificación es importante porque no todas las técnicas estadísticas pueden utilizarse indistintamente.
Un resultado numérico de concentración, por ejemplo, presenta características diferentes de una identificación expresada mediante categorías.
De la misma manera, algunos métodos producen valores cuantitativos dentro de una escala discreta o discontinua, como puede ocurrir con determinados procedimientos basados en diluciones.
En algunos casos estos datos pueden analizarse mediante métodos utilizados para variables continuas, pero el proveedor debe comprobar previamente que ese tratamiento resulta apropiado.
Diseño De PT Y Distribución Estadística De Los Resultados
La distribución esperada de los resultados es otro de los elementos que debe considerarse desde la planificación del programa.
Muchas técnicas utilizadas en ensayos de aptitud parten de la hipótesis de que los resultados obtenidos por participantes competentes tendrán una distribución aproximadamente normal o, al menos, unimodal y razonablemente simétrica después de aplicar una transformación cuando sea necesario.
Además, en las comparaciones interlaboratorio pueden aparecer resultados alejados de la población principal debido a errores u otras circunstancias.
Sin embargo, ISO 13528 indica que no debe darse por supuesto que cualquier conjunto de resultados presenta una distribución adecuada para aplicar automáticamente estas técnicas.
La Simetría De Los Resultados
La norma señala que normalmente no es imprescindible demostrar formalmente que los resultados presentan una distribución normal.
En cambio, sí es importante comprobar que existe una simetría aproximada.
Esta comprobación puede comenzar mediante una revisión visual de los datos.
Si la distribución esperada no presenta una simetría suficiente, el proveedor debería utilizar métodos capaces de tener en cuenta esta característica.
Entre las posibles estrategias se encuentran:
- Transformar los datos para obtener una distribución aproximadamente simétrica.
- Utilizar métodos de estimación resistentes a la asimetría.
- Aplicar métodos basados en una distribución estadística adecuada.
- Utilizar procedimientos resistentes a valores extremos.
El análisis estadístico debe adaptarse, por tanto, al comportamiento de los resultados esperados.
El Caso De Los Recuentos Microbiológicos
ISO 13528 incluye un ejemplo especialmente relevante para los programas PT relacionados con microbiología.
Los resultados derivados de diluciones, como determinados recuentos microbiológicos cuantitativos, pueden presentar una distribución log-normal.
En estos casos, una transformación logarítmica puede resultar apropiada antes de realizar el análisis estadístico.
Asimismo, cuando se analizan recuentos de cantidades pequeñas de partículas, los resultados pueden seguir una distribución de Poisson.
Estos ejemplos muestran por qué el diseño de PT debe considerar previamente la naturaleza del método y el comportamiento estadístico esperado de los datos.
Utilizar una técnica simplemente porque sea habitual en otros programas puede conducir a interpretaciones inadecuadas si las características de los resultados son diferentes.
Las Hipótesis Estadísticas Deben Estar Justificadas
El proveedor del programa debe establecer las bases de las hipótesis estadísticas utilizadas y demostrar que estas son razonables para los datos previstos.
Esta justificación puede realizarse a partir de:
- Los datos observados.
- Los resultados obtenidos en rondas anteriores.
- La experiencia previa del proveedor.
- Información técnica disponible.
- Literatura técnica relacionada con el ensayo.
De esta forma, la selección del método estadístico queda vinculada a criterios técnicos y no simplemente a la herramienta utilizada para realizar los cálculos.
¿Qué Ocurre Cuando Hay Pocos Participantes?
El número de participantes es otro factor fundamental dentro del diseño estadístico.
ISO 13528 establece que el proveedor debe considerar cuál es el número mínimo de participantes necesario para alcanzar los objetivos del programa.
Además, el diseño debe prever qué procedimiento alternativo se utilizará si finalmente no se alcanza ese número mínimo.
Este aspecto es importante porque los métodos estadísticos adecuados para un grupo numeroso de participantes pueden no ser apropiados cuando el número de resultados es reducido.
Entre las principales dificultades se encuentran:
- Una menor fiabilidad de determinadas estadísticas obtenidas a partir de los participantes.
- La posibilidad de que el grupo de comparación no sea suficientemente representativo.
- Una mayor influencia de determinados resultados individuales sobre los parámetros calculados.
No Existe Un Número Mínimo Único Para Todos Los PT
ISO 13528 no establece un número mínimo universal de participantes aplicable a cualquier programa.
La cantidad necesaria depende de diferentes factores:
- El procedimiento estadístico seleccionado.
- La estrategia utilizada frente a resultados extremos.
- La experiencia de los participantes.
- La experiencia del proveedor.
- La matriz analizada.
- El mensurando.
- Los métodos utilizados.
- El objetivo concreto del programa.
También es importante determinar si los resultados de los participantes se utilizarán para establecer el valor asignado, la dispersión utilizada en la evaluación o ambos parámetros.
Por tanto, disponer de pocos participantes no invalida necesariamente un programa PT, pero sí exige adaptar su diseño estadístico.
El Formato De Reporte También Forma Parte Del Diseño De PT
La forma en la que los participantes comunican los resultados puede tener consecuencias sobre el posterior análisis.
Por este motivo, ISO 13528 incluye el formato de reporte entre los aspectos que deben definirse durante el diseño de PT.
Como principio general, los laboratorios deberían realizar las mediciones y comunicar los resultados de forma similar a como lo hacen en su trabajo rutinario, salvo que exista una razón específica para establecer condiciones diferentes.
Al mismo tiempo, el proveedor debería utilizar un formato coherente y reducir al máximo la posibilidad de errores de transcripción.
Por ejemplo, pueden utilizarse unidades familiares para la mayoría de los participantes o establecer controles que ayuden a detectar la introducción de unidades incorrectas.
Los sistemas electrónicos de comunicación de resultados también pueden ayudar a reducir errores durante la recopilación de datos.
Cómo Gestionar Las Mediciones Replicadas
Cuando el programa requiere mediciones replicadas, ISO 13528 recomienda que los participantes comuniquen todos los resultados obtenidos.
No debería solicitarse únicamente el promedio final cuando el diseño pretende utilizar la información proporcionada por las réplicas.
Dependiendo del objetivo del PT, el proveedor puede solicitar:
- Todos los valores individuales.
- La media de las mediciones.
- Otro estimador de localización.
- La incertidumbre asociada al resultado.
Las mediciones replicadas pueden ser especialmente importantes cuando el programa pretende obtener información relacionada con la precisión del participante.
Cómo Tratar Los Resultados “Menor Que” O “Mayor Que”
En determinados métodos, la práctica habitual consiste en comunicar resultados mediante expresiones como:
< límite de cuantificación
o
> límite superior
Estos valores se consideran datos censurados.
Si posteriormente es necesario disponer de valores numéricos para calcular indicadores de desempeño, el proveedor debe haber definido previamente cómo se tratarán.
ISO 13528 contempla dos estrategias generales:
- Utilizar procedimientos estadísticos validados capaces de trabajar con datos censurados.
- Solicitar al participante que comunique también el valor numérico medido.
Sin embargo, solicitar un resultado numérico situado fuera del rango en el que el laboratorio informa habitualmente puede generar una evaluación que no represente exactamente su servicio rutinario.
Además, cuando existe un número elevado de resultados censurados, determinados métodos utilizados para obtener estadísticas de consenso pueden verse afectados.
Por ello, el tratamiento de este tipo de resultados debe definirse durante el diseño del programa y comunicarse previamente a los participantes.
La Importancia Del Número De Cifras Significativas
El número de cifras significativas solicitado también forma parte del diseño estadístico.
En general, el error producido por el redondeo debería ser pequeño comparado con la variabilidad esperada entre los participantes.
Una resolución insuficiente puede provocar que muchos laboratorios comuniquen exactamente el mismo resultado.
Esto puede dificultar posteriormente el cálculo fiable de determinadas estadísticas de localización o dispersión.
En algunas situaciones, por tanto, el proveedor puede solicitar un número concreto de cifras significativas para asegurar que los resultados permiten realizar correctamente el análisis previsto.
Cuando diferentes participantes utilizan distintos números de cifras significativas, esta circunstancia también debe tenerse en cuenta al generar estadísticas de consenso.
Diseño De PT: Planificar Antes De Analizar
Una de las principales ideas que transmite el apartado 5 de ISO 13528 es que el análisis estadístico de un ensayo de aptitud comienza mucho antes de recibir los resultados.
El proveedor debe definir previamente:
- Los objetivos del programa.
- El tipo de resultados esperado.
- Las hipótesis estadísticas.
- El procedimiento general de evaluación.
- El número de participantes necesario.
- Las alternativas previstas si ese número no se alcanza.
- El formato de comunicación de resultados.
- El tratamiento de mediciones replicadas.
- El tratamiento de datos censurados.
- Las unidades y cifras significativas.
Solo una vez establecidos estos elementos tiene sentido aplicar los procedimientos estadísticos correspondientes.
Planificar previamente estas decisiones permite reducir problemas durante el análisis y ayuda a asegurar que los resultados obtenidos responden realmente al objetivo del programa.
El Diseño Estadístico Como Base De Un PT Fiable
Los ensayos de aptitud permiten evaluar el desempeño de los participantes mediante comparaciones interlaboratorio realizadas bajo condiciones previamente establecidas.
Sin embargo, para que esa comparación sea técnicamente útil, el diseño estadístico debe estar adaptado al objetivo del programa y a las características de los datos.
El apartado 5 de ISO 13528 proporciona una guía para definir esa estrategia antes de comenzar el análisis de resultados, considerando desde la distribución estadística hasta el número de participantes o el formato utilizado para comunicar las mediciones.
En SAHPYPRO, el diseño y desarrollo de programas de ensayos de aptitud se aborda desde una perspectiva técnica orientada a obtener comparaciones interlaboratorio fiables y útiles para los participantes.
Porque en un programa PT, la estadística no comienza cuando llegan los resultados: debe formar parte del diseño desde el principio.