Sesgos, validez y precisión

Índice

1. Resumen para repasar3
2. Puntos clave5
3. 1. Error aleatorio y error sistemático: precisión y exactitud6
4. 2. Validez del estudio: interna y externa8
5. 3. Sesgo de selección10
6. 4. Sesgo de información o de medición12
7. 5. Confusión14
8. 6. Sesgos de los programas de cribado15
9. 7. Calidad de un instrumento de medida: fiabilidad y validez17
10. 8. Concordancia: índice kappa y coeficiente de correlación intraclase20
11. Todas las preguntas del tema (13)22
12. Preguntas que también podrían ser de este tema (1)26
13. Solucionario27
14. Fuentes28

Resumen para repasar

Puntos clave

1. El error aleatorio se debe al azar y se reduce aumentando el tamaño del estudio; el sistemático (sesgo) no depende del tamaño muestral ^F1.
2. Un error que aparta todas las mediciones del valor real de forma sistemática (por ejemplo, un aparato mal calibrado) es un error sistemático o sesgo ^F1,F19.
3. Validez interna: resultados correctos en los sujetos estudiados, amenazada por todos los sesgos y mejorada por el buen diseño (antes «calidad metodológica», hoy «riesgo de sesgo»); validez externa: generalización ^F1,F10.
4. Sesgo de selección: la población estudiada difiere sistemáticamente de la población de interés; la participación voluntaria produce autoselección, un sesgo de selección ^F1,F2,F3.
5. Sesgo de detección: diferencias sistemáticas en cómo se determinan los desenlaces ^F11.
6. Efecto Hawthorne: los participantes cambian su conducta al saberse observados ^F13.
7. Confusor: factor de riesgo de la enfermedad y asociado a la exposición; se controla con aleatorización, restricción, emparejamiento, estratificación o modelos multivariantes ^F1.
8. Sesgo de adelanto diagnóstico: el cribado alarga la supervivencia aparente desde el diagnóstico sin cambiar el curso de la enfermedad ^F15,F17.
9. Fiabilidad = resultados constantes en distintas ocasiones; validez = medir lo que se pretende; consistencia interna = relación entre los ítems (alfa de Cronbach) ^F18.
10. Kappa: concordancia de variables categóricas corregida por el azar; en la escala de Cohen, 0,61-0,80 es sustancial y 0,21-0,40 «fair» (discreto) ^F20,F21.

1. Error aleatorio y error sistemático: precisión y exactitud

En un estudio epidemiológico hay dos grandes tipos de error. El error aleatorio se produce cuando el valor medido en la muestra se aparta del verdadero valor de la población debido solo al azar, y produce medidas de asociación inexactas ^F1. Sus tres fuentes principales son la variación biológica individual, el error de muestreo y el error de medida ^F1.

El error aleatorio nunca puede eliminarse por completo, porque solo se estudia una muestra de la población ^F1. El error de muestreo suele deberse a que una muestra pequeña no representa todas las variables de la población, y la mejor forma de reducirlo es aumentar el tamaño del estudio ^F1. El error de medida se reduce con protocolos estrictos y haciendo cada medición lo más precisa posible ^F1. La precisión de un estudio también mejora si los grupos que se comparan tienen un tamaño relativo adecuado ^F1.

El error sistemático o sesgo se produce cuando los resultados difieren de forma sistemática de los valores verdaderos ^F1. Un estudio con poco error sistemático tiene alta exactitud, y la exactitud no se ve afectada por el tamaño de la muestra ^F1. Se han descrito más de 30 tipos concretos de sesgo; los principales son el sesgo de selección y el sesgo de medición (o de clasificación) ^F1.

Aplicado a un instrumento, se dice que es preciso si sus resultados son consistentes cuando se aplica más de una vez al mismo individuo bajo las mismas circunstancias; su precisión depende de la variación propia del instrumento (calidad y calibrado del equipo) y de la variación del examinador ^F19. Epidat pone el ejemplo de dos básculas, una de las cuales pesa sistemáticamente 1 kg más que la otra: la correlación entre ambas puede ser casi 1 aunque la concordancia sea nula ^F19.

2. Validez del estudio: interna y externa

La validez expresa el grado en que una prueba es capaz de medir lo que pretende medir. Un estudio es válido si sus resultados corresponden a la verdad: no debe haber error sistemático y el error aleatorio debe ser lo más pequeño posible ^F1. Una alta fiabilidad (repetibilidad) de las mediciones no garantiza la validez, porque todas pueden estar lejos del valor real ^F1. Hay dos tipos de validez: interna y externa ^F1.

La validez interna es el grado en que los resultados de una observación son correctos para el grupo concreto de personas estudiado ^F1. Para que un estudio sirva de algo tiene que ser internamente válido ^F1. La validez interna puede verse amenazada por todas las fuentes de error sistemático, pero puede mejorarse con un buen diseño y atención al detalle ^F1. El Manual Cochrane explica que las herramientas actuales para valorar la validez interna de los resultados se centran en el riesgo de sesgo, mientras que las anteriores se centraban en la noción más amplia de «calidad metodológica» ^F10. Validez interna y calidad metodológica hablan, pues, del rigor con que se hizo el estudio, no de su aplicabilidad a otros pacientes ^F1,F10.

La validez externa o generalizabilidad es el grado en que los resultados de un estudio se aplican a personas que no participaron en él ^F1. La validez interna es necesaria para la externa, pero no la garantiza, y es más fácil de conseguir ^F1. Juzgar la validez externa exige un juicio sobre hasta qué punto se pueden extrapolar los resultados (por ejemplo, si el efecto de bajar el colesterol en varones sirve para mujeres), y se refuerza si estudios en otras poblaciones encuentran resultados similares ^F1.

3. Sesgo de selección

El sesgo de selección se produce cuando los individuos o grupos de un estudio difieren sistemáticamente de la población de interés, lo que lleva a un error sistemático en una asociación o un resultado ^F2. La OMS lo describe como una diferencia sistemática entre las características de las personas seleccionadas para un estudio y las de las que no lo son ^F1. Por ejemplo, los participantes de un ensayo de vacuna antigripal pueden ser adultos jóvenes sanos, mientras que quienes recibirán la vacuna en la práctica son mayores con comorbilidad: la muestra no representa a la población a la que se quiere aplicar el resultado ^F2.

Si las personas que entran o permanecen en un estudio tienen características distintas de las que no son seleccionadas o de las que abandonan antes de terminar, se obtiene una estimación sesgada de la asociación entre exposición y efecto; todos los diseños epidemiológicos deben tener en cuenta el sesgo de selección ^F1.

Una fuente evidente de sesgo de selección es que los participantes se seleccionen a sí mismos para un estudio, porque se encuentran mal o porque les preocupa especialmente una exposición ^F1. Por ejemplo, quienes responden a una invitación para un estudio sobre tabaco fuman de forma distinta que quienes no responden, que suelen ser más fumadores ^F1. Es el sesgo de autoselección o del voluntario: los participantes que se ofrecen voluntariamente tienen características intrínsecamente distintas de la población general de interés, y la muestra corre el riesgo de no ser representativa ^F3. Puede aparecer en todas las fases, desde el reclutamiento hasta el seguimiento, y las diferencias no se limitan a factores sociodemográficos, sino también a actitudes hacia el estudio ^F3.

Otras variantes del sesgo de selección que aparecen como distractores ^{F1,F4,F5,F6,F7}:

4. Sesgo de información o de medición

El sesgo de información es cualquier diferencia sistemática respecto a la verdad que surge en la recogida, el recuerdo, el registro o el manejo de la información de un estudio, incluido el tratamiento de los datos que faltan ^F8. Sus tipos principales son el sesgo de clasificación errónea, el del observador, el de recuerdo y el de notificación ^F8. La OMS lo llama sesgo de medición: las mediciones o clasificaciones de enfermedad o exposición son inexactas, es decir, no miden correctamente lo que deben medir ^F1.

La clasificación errónea es no diferencial cuando la probabilidad de clasificar mal es igual en todos los grupos y diferencial cuando difiere entre ellos ^F12. Según la OMS, si el sesgo de medición ocurre por igual en los grupos comparados, casi siempre infraestima la verdadera fuerza de la asociación ^F1; el Catalogue of Bias matiza que la clasificación errónea puede tener efectos impredecibles, aumentando o disminuyendo la asociación observada ^F12.

Es, por tanto, el sesgo que se produce en el momento de establecer si ha aparecido el desenlace, y afecta tanto a ensayos como a estudios observacionales: en una cohorte de supervivientes de cáncer de mama, las mujeres recibían más o menos cribado según los medicamentos que tomaban, lo que podía sesgar las asociaciones observadas ^F11. El sesgo de detección puede sobreestimar o infraestimar el efecto: en ensayos aleatorizados, los evaluadores del desenlace no cegados exageraron las odds ratio de media un 36 % ^F11. Tampoco es lo mismo que el sesgo de realización (performance): diferencias sistemáticas en la atención que reciben los grupos, aparte de la intervención estudiada, por conocer la asignación ^F22. El de detección no debe confundirse con el sesgo de selección (quién entra en el estudio) ni con el de desgaste (quién se pierde durante el seguimiento) ^F2,F7.

El efecto Hawthorne se produce cuando las personas modifican algún aspecto de su conducta porque saben que están siendo observadas ^F13. Puede afectar a hábitos como la dieta o la higiene y contaminar un estudio de intervención si uno de los grupos se observa con más frecuencia que el otro ^F13. El nombre viene del estudio original en la fábrica Hawthorne Works, donde la atención prestada a los trabajadores aumentó temporalmente la producción ^F13. En un estudio sobre higiene de manos del personal, el cumplimiento fue un 55 % mayor cuando sabían que los observaban ^F13. Se previene con observación oculta ^F13.

5. Confusión

La confusión es una distorsión de la asociación entre una exposición y un efecto porque un factor está asociado de forma independiente con la exposición y con el efecto ^F14. Puede sugerir una asociación donde no la hay o enmascarar una asociación real ^F14. Para que una variable sea un factor de confusión debe cumplir dos condiciones: ser por sí misma determinante de la enfermedad (factor de riesgo) y estar asociada a la exposición estudiada ^F1.

El ejemplo de la OMS: la relación entre beber café y la cardiopatía coronaria puede deberse a que los bebedores de café fuman más, y el tabaco causa cardiopatía ^F1. La edad y la clase social son confusores frecuentes ^F1. Según la OMS, la confusión puede parecer un sesgo, pero en realidad no resulta de un error sistemático del diseño, sino de la distribución no aleatoria de los factores de riesgo en la población de origen ^F1. Es frecuente en los estudios observacionales, aunque también puede darse en los aleatorizados ^F14.

6. Sesgos de los programas de cribado

El sesgo de adelanto diagnóstico (lead time) es una distorsión que sobreestima el tiempo aparente de supervivencia con una enfermedad por adelantar el momento de su diagnóstico ^F15. En las personas cribadas, la supervivencia medida desde el diagnóstico parecerá más larga aunque la detección precoz no tenga ningún efecto sobre el curso de la enfermedad ^F15. Según el NCI, este sesgo alarga la supervivencia estimada de los cánceres detectados por cribado porque el cálculo incluye el tiempo previo a lo que habría sido el diagnóstico clínico sin cribado ^F17. Por eso, una supervivencia más larga no prueba por sí sola el beneficio de la detección precoz ^F15.

El sesgo de duración (length time) produce un beneficio aparente de supervivencia en los casos detectados por cribado porque éste detecta preferentemente las formas de progresión lenta y se le escapan las de progresión rápida ^F16. El sobrediagnóstico se produce cuando el cribado detecta cánceres que nunca se habrían manifestado clínicamente sin él; aumenta los casos y mejora la supervivencia sin modificar la mortalidad por la causa ^F17. El NCI cita la PSA como ejemplo de alta tasa de sobrediagnóstico ^F17.

7. Calidad de un instrumento de medida: fiabilidad y validez

Las dos características métricas esenciales de un instrumento (cuestionario, escala) son la fiabilidad y la validez; la sensibilidad al cambio y la factibilidad completan sus propiedades psicométricas ^F18. La fiabilidad hace referencia a medir una variable de manera constante y la validez a que el instrumento mide lo que quiere medir ^F18. No todo instrumento fiable es válido: puede medir de forma constante y aun así no medir el fenómeno que pretende ^F18.

Fiabilidad es la propiedad que designa la constancia y precisión de los resultados que obtiene un instrumento al aplicarlo en distintas ocasiones; un instrumento es fiable cuando los resultados son comparables en situaciones similares ^F18. Se expresa como un coeficiente de 0 (ausencia de correlación) a 1 (correlación perfecta), y, según algunos autores, el margen aceptable se sitúa entre 0,7 y 0,9 ^F18. La OMS lo resume así: una prueba es fiable si da resultados consistentes ^F1.

Según Epidat, un conjunto de ítems (variable sintética) exhibe consistencia interna cuando hay una alta asociación entre los ítems que la integran, y la técnica más común para analizarla es el alfa de Cronbach ^F19. Valores más altos de alfa indican mayor consistencia interna; según George y Mallery, por debajo de 0,5 no es aceptable y por encima de 0,9 es excelente ^F18.

La validez explora en qué grado un instrumento mide lo que debería medir, es decir, aquello para lo que ha sido diseñado ^F18. Se estima de varias formas, cada una de las cuales aporta evidencia a la validación global ^F18:

La sensibilidad de un instrumento es su capacidad de detectar cambios en los sujetos evaluados tras una intervención, y la factibilidad mide si es asequible en la práctica (tiempo, sencillez, preguntas sin contestar) ^F18.

8. Concordancia: índice kappa y coeficiente de correlación intraclase

La variabilidad entre observadores es una fuente importante de error de medida; su estudio distingue el sesgo entre observadores (uno da consistentemente valores mayores que otro) y la concordancia (hasta qué punto coinciden) ^F20. Si los datos son continuos se usa el coeficiente de correlación intraclase; si son categóricos, el estadístico más empleado es el índice kappa ^F20. Epidat lo aplica a escalas nominales u ordinales y a dos o más observadores ^F19.

El porcentaje de acuerdo observado es la medida más intuitiva, pero parte de ese acuerdo puede deberse solo al azar ^F19. El kappa, elaborado por Cohen en 1960 ^F19, corrige ese problema: es la razón entre el exceso de concordancia observado más allá del atribuible al azar y el máximo exceso posible ^F20. Kappa = 1 es la máxima concordancia; kappa = 0, la concordancia esperada solo por azar; kappa < 0, menos acuerdo del esperado por azar ^F20. Para un mismo acuerdo observado, el kappa depende de la prevalencia del fenómeno (prevalencias muy altas o muy bajas dan kappas bajos) ^F19.

La interpretación del kappa depende de una escala convencional, y hay varias. McHugh recoge la que sugirió Cohen, que usa las etiquetas «moderado», «sustancial» y «casi perfecto» ^F21:

Para variables continuas, el coeficiente de correlación intraclase (CCI) mide la concordancia entre mediciones repetidas y puede considerarse el equivalente del kappa; toma valores de 0 a 1 y se interpreta como medida de reproducibilidad o fiabilidad ^F19. Según Fleiss, un CCI inferior a 0,4 indica poca reproducibilidad y uno igual o superior a 0,75, reproducibilidad excelente ^F19. El coeficiente de correlación de Pearson no sirve para medir concordancia: solo cuantifica la asociación lineal, y dos básculas que difieren sistemáticamente 1 kg pueden correlacionar casi perfectamente con concordancia nula ^F19. Para comparar dos métodos continuos se usa el gráfico de Bland y Altman, con límites de concordancia a ±1,96 desviaciones estándar de la diferencia media ^F19.

Todas las preguntas del tema (13)

De la más reciente a la más antigua. Las respuestas, en el solucionario.

Preguntas que también podrían ser de este tema (1)

La clasificación automática dudó entre este tema y otro.

Solucionario

Fuentes