«To call in the statistician after the experiment is done may be no more than asking him to perform a post-mortem examination: he may be able to say what the experiment died of»
R.A.Fisher
Introducción
En los ensayos clínicos aleatoriz
Desgraciadamente cuántas veces los hechos han dado la razón a la cita con la que empieza este artículo, y quizás no tanto por no contar con un estadístico en la fase de diseño de un trabajo de investigación, como por no tener en cuenta desde el principio qué procedimientos metodológicos se utilizarán en el análisis de los datos. Una buena planificación inicial del trabajo de investigación es crucial para que al final los datos registrados puedan ser evaluables o, por el contrario, de escasa validez, faltos de credibilidad o insuficientes para arrojar luz sobre la hipótesis que motivó su desarrollo. Y, como en toda actividad intelectual, serán muy importantes los conocimientos, la experiencia, la intuición y el sentido común. Si un estudio no ha sido bien planificado, en la fase de análisis será muy difícil o incluso imposible subsanar los errores, por mucha sofisticación estadística que se utilice, pudiendo ocurrir que nos encontremos con que el fruto de un importante esfuerzo de trabajo, tiempo y recursos económicos, no sirva absolutamente para nada. Por el contrario, la dedicación que supone una buena planificación inicial del trabajo de investigación, se verá recompensado con creces tanto en la fase de recogida de datos, como en el análisis de éstos y en la fase final, aunque no menos importante, de la difusión y publicación de los mismos.
El diseño de un protocolo de investigación, para verificar con datos reales una hipótesis teórica de trabajo, es algo habitualmente complejo, cuyas características dependen del objetivo del estudio y suele tener una gran componente multidisciplinar, aunque puede establecerse una serie de fases, comunes en la mayor parte de los trabajos de investigación médica, sobre las que hay una abundante experiencia en la comunidad científica y por lo tanto una gran cantidad de interesantes referencias bibliográficas de las cuales, como no podía ser menos, muchas están disponibles en Internet. Por mi parte, además de proporcionar algunos enlaces que pueden ser de bastante ayuda para quien comienza la apasionante tarea de diseñar un protocolo de investigación, intentaré comentar algunos aspectos, fundamentalmente problemas, cuyo conocimiento puede ayudar a mejorar el diseño de un protocolo. Son el fruto, muchas veces amargo, de mi experiencia personal analizando datos de trabajos de los que me hubiera gustado ser algo más que forense.
Protocolo de investigación
El protocolo, que debe existir en cualquier trabajo de investigación, es el documento que describe las hipótesis a investigar, los objetivos del trabajo, fundamentos, diseño, metodología, consideraciones estadísticas, participantes, calendario de evolución, organización y supervisión. A continuación se indica un listado con una serie de ítem a considerar en el diseño del protocolo:
- Título completo del estudio y acrónimo
- Justificación
- Hipótesis que se pretende verificar
- Por qué es necesario o interesante realizar el estudio
- Información relevante que exista al respecto y metodología de búsqueda utilizada
- Utilidad de los resultados que se obtengan y entorno de aplicación o generalización de éstos
- Si los hubiera, descripción de los riesgos para los participantes y sistemas de control previstos
- Tipo de diseño: aleatorizado, observacional, etc
- Descripción del tratamiento o intervención que se estudia, y en su caso del control o controles
- Criterios de inclusión y exclusión
- Calendario del estudio
- Cuáles son las variables de medida que se van a estudiar, primaria (objetivo principal) y secundaria
- Método de asignación a cada grupo (aleatorizado, aleatorizado por estratos, etc), así como otro tipo de mecanismos para controlar sesgos: por ejemplo estudio doble ciego.
- Tamaño de muestra previsto y justificación de éste. Estimación de posibles pérdidas de seguimiento
- Si se efectuó un estudio piloto, descripción y resultados
- Cuaderno de recogida de datos
- En su caso número de centros que intervendrán en el estudio
- Análisis estadístico que se prevé efectuar
- Subgrupos que se prevé estudiar
- Si está previsto efectuar análisis intermedios, descripción de éstos
- Personal involucrado en el estudio
- Análisis económico del coste del estudio y fuentes de financiación
Cuestionario para la recogida de datos
El diseño del cuestionario de recogida de datos es una fase crucial de cuya calidad dependerá en buena medida la calidad de los resultados finalmente obtenidos. Se debe hacer el máximo esfuerzo en seleccionar todos los datos que son relevantes para la hipótesis en estudio y huir de los diseños «enciclopédicos» que dificultarán la cumplimentación del cuaderno, desviando la atención de los puntos verdaderamente importantes. No sólo es imprescindible definir bien qué preguntas se efectuará y qué mediciones se va a registrar, sino también cómo se plantean las preguntas de forma clara, cómo se clasifican las respuestas y en qué lugar del cuaderno serán ubicadas.
A título de ejemplo voy a presentar una lista, no exhaustiva, de situaciones con un mal diseño, que he encontrado en diferentes ocasiones y que pueden complicarnos innecesariamente el análisis o incluso falsear los resultados.
Comparación de valores basales
El diseño del cuestionario de recogida de datos es una fase crucial de cuya calidad dependerá en buena medida la calidad de los resultados finalmente obtenidos. Se debe hacer el máximo esfuerzo en seleccionar todos los datos que son relevantes para la hipótesis en estudio y huir de los diseños «enciclopédicos» que dificultarán la cumplimentación del cuaderno, desviando la atención de los puntos verdaderamente importantes. No sólo es imprescindible definir bien qué preguntas se efectuará y qué mediciones se va a registrar, sino también cómo se plantean las preguntas de forma clara, cómo se clasifican las respuestas y en qué lugar del cuaderno serán ubicadas.
A título de ejemplo voy a presentar una lista, no exhaustiva, de situaciones con un mal diseño, que he encontrado en diferentes ocasiones y que pueden complicarnos innecesariamente el análisis o incluso falsear los resultados.
Muchas veces he visto que para recoger el sexo se destinan dos casillas identificadas como M,F o V,M, y no entiendo por qué ese afán en ahorrar espacio en el cuaderno y por qué no se escribe Masculino, Femenino, o Varón, Mujer, o lo que sea, pero con todas las letras. El problema surge al cumplimentar el formulario de forma rápida o mecánica (como a menudo es la realidad) y que alguien tienda a asociar M con mujer y no lea la otra opción. Insisto que es algo que he comprobado que ocurre y puede que encontremos una proporción anormalmente alta de mujeres en nuestro trabajo que no sepamos explicar. Moraleja, en general hay que ser explícito, sin por ello ser prolijo, y no acudir a abreviaturas, iniciales, acrónimos ni cosas por el estilo.
La disposición de las preguntas y respuestas debe estar meditada para ayudar a su cumplimentación y evitar todos los errores posibles. En los numerosos cuestionarios que ud seguro ha rellenado en su vida ¿cuántas veces ha escrito el nombre donde deberían ir los apellidos debido a la posición de estos campos?
En la siguiente figura vemos otro diseño que a lo mejor no nos llama la atención a primera vista y sin embargo es muy conflictivo
Lo problemático en esta presentación está en que las casillas del medio no sabemos si se refieren a la respuesta de la derecha o de la izquierda, a no ser que miremos a los laterales, y aunque he exagerado la proximidad para resaltarlo (lo he visto tal cual en estudios reales), sigue siendo posible fuente de confusión incluso cuando hay mayor hueco. Se habría evitado con una presentación en columna:
Otro diseño de pregunta que puede sesgar los resultados lo encontramos en las de tipo dicotómico (NO, SI) que se reflejan en el cuaderno con una simple casilla para marcar con una cruz:
El problema ahora radica en que una ausencia de marca equivale a un NO y puede que no siempre sea así. No podemos discernir entre el NO y ausencia de información debida a que no se conoce el dato, a que se olvidaron de registrarlo, etc. Es mucho mejor poner siempre las dos casillas (NO y SI), y en algunos casos incluso otras posibilidades, como Desconocido, No Aplicable.
En las variables numéricas, sobre todo en resultados de pruebas analíticas, en estudios multicéntricos me he encontrado en numerosas ocasiones con que los mismos datos se registran en diferentes unidades, debido a que se limitan a transcribir el valor que les da el laboratorio. Es pues imprescindible que figure al lado del nombre de la prueba las unidades en las que se recoge, lo que habitualmente sí se hace, pero personalmente me gustaría que además figurase un intervalo de referencia; puede ser el rango de normalidad, o un rango de valores posibles, de tal manera que si por ejemplo estamos recogiendo el Colesterol Total en mg/dl, y se indica un valor de 5.3, al ver que no se parece en nada a los valores de referencia indicado, la persona que pasa los datos pueda detectar inmediatamente el error, en este ejemplo probablemente debido a que el laboratorio ha proporcionado la información en mmol/L. Esa referencia será también de una gran ayuda a la hora de depurar datos, en la fase de análisis, y poder detectar valores extraños o atípicos. Otra posibilidad es añadir un campo para indicar las unidades en las que viene expresado el dato.
Con los valores analíticos también nos encontramos una situación conflictiva cuando el resultado puede venir reflejado unas veces como valor numérico y otras como cualitativo. Es el caso por ejemplo de la microalbuminuria que quizás venga expresada como un valor numérico y otras simplemente como NEGATIVA. Esto conviene tenerlo presente en la fase de diseño, ya que afectará también a la metodología a utilizar en el análisis de los datos, así como a la construcción del archivo electrónico.
Pero sin lugar a dudas, con lo que más problemas he tenido siempre es con el registro de las fechas, sobre todo si el estudio se realiza a primeros de año, cuando tenemos todavía en la cabeza el guarismo del año anterior y lo escribimos equivocadamente en lugar del nuevo año. También es muy frecuente registar correctamente el día y el mes de una fecha, pero colocar el año en curso, cuando ni remotamente se parece, por inercia mental… Así luego nos encontramos con personas que murieron antes de nacer, con efectos adversos que acaecen antes de que comience el tratamiento, con gente que recibe el alta antes de ingresar, etc. Y lo malo es que para el problema de un mal registro de las fechas no he encontrado ninguna solución, al menos cuando se registran en papel. Otra cosa es si se utiliza un formulario electrónico de datos, donde por programa podemos al menos comprobar si se da una situación imposible como las descritas. Supongo que poco a poco se irá generalizando este tipo de formularios informatizados, que permiten verificar ciertos aspectos de la información a tiempo, por ejemplo también la presencia de valores absurdos en cantidades numéricas. Los formularios electrónicos presentan además la indudable ventaja, entre otras muchas, de que no hay intermediarios entre quien origina la información y quien la registra, y así se puede verificar que la información es completa y que no se dejan inadvertidamente campos sin cumplimentar que son imprescindibles.
Un tema importante cuando hay que calcular distancias entre fechas radica en decidir si en el cuaderno se registran las fechas o ya directamente el tiempo entre ellas. Personalmente soy partidario, cuando intervienen diferentes personas o en estudios multicéntricos, de registrar las fechas (a pesar de los problemas anteriormente descritos), ya que permite uniformizar los cálculos. Permite aplicar, por ejemplo, un único criterio a situaciones como la siguiente: si un paciente ingresa hoy y mañana se le da el alta, ¿cuántos días de ingreso se consideran 1 (diferencia entre las dos fechas) o 2?.
Y algo parecido pasa cuando hay que calcular fórmulas en las que intervienen cantidades, o resultados de escalas en cuestionarios en los que hay que puntuar diferentes ítems. Siempre que no sea farragoso es preferible registrar los datos originales y que sea el programa diseñado para el registro de datos quien se encargue, de forma automática e igual para todos, de efectuar los cálculos. Asimismo, si hay que convertir variables que en origen son cuantitativas en cualitativas, también es preferible registrar directamente el valor numérico, ya que siempre será posible convertirlo en cualitativo pero no al contrario, y a lo mejor cuando nos damos cuenta de que sería interesante conocer la información sobre el valor original es ya demasiado tarde. Y si, siguiendo esta recomendación, se opta por recoger el valor original y se piensa convertir en categorías, conviene especificarlo de antemano en el protocolo, así como las categorías y el criterio que se va a seguir para la conversión.
Elección de variables y tiempos de observación
Nadie dudará de que este punto sea vital en la definición de un buen protocolo de investigación. En la mayoría de los casos será una decisión sencilla, pero hay ocasiones en que no lo es tanto, como luego veremos. En cualquier caso siempre conviene definir una variable como objetivo principal del estudio y cuantificar y documentar qué se considera un cambio o diferencia de relevancia clínica en ese parámetro. También habrá que fijar si existen variables secundarias de interés en el estudio, aunque siempre subordinadas a la anterior.
En cuanto al periodo de observación vendrá condicionado, además de por las características físicas del proceso analizado, por limitaciones prácticas y económicas.
Si fuera necesario definir más de una variable principal objetivo del estudio, ha de quedar reflejado de antemano en el protocolo qué se considera un cambio con relevancia clínica y si es necesario que se produzca en todas ellas o sólo en alguna.
Ya se ha comentado que hay variables numéricas que pueden convertirse en cualitativas, aunque ese proceso pude demorarse hasta el análisis de datos, lo que permite disponer de un mayor detalle en la información. También hay datos que pueden obtenerse a partir de otros y aquí la decisión está en si recoger la información de partida o sólo el resultado. Así por ejemplo, en un estudio sobre factores de riesgo en un proceso infeccioso respiratorio en niños, un dato de interés es la exposición de éstos al tabaco, que vamos a suponer dicotómico por simplicidad (NO, SI). Sin embargo para llegar a esa respuesta podemos, y debiéramos, especificar en el protocolo, qué condiciones se deben cumplir: número de fumadores habituales dentro del domicilio, grado de parentesco, fundamentalmente si la madre es fumadora, etc. En el cuaderno de recogida de datos se puede registrar únicamente el resultado: exposición sí o no, o además los datos que conducen a esa clasificación. En mi opinión, siempre que no haya razones fundadas en contra, conviene recoger las preguntas originales y no solo la conclusión, ya que permiten disponer de un grado de información superior y más detallada.
Otro tanto ocurre con las fórmulas, conviene registrar los datos de partida y no el resultado, lo que permitirá además evitar errores. Si una variable de interés es el índice de masa corporal, se debiera recoger en el cuaderno de datos del peso y la talla a partir de los cuales se calculará.
Aleatorización
Se dice que un ensayo clínico es aleatorizado cuando el tratamiento se asigna a cada paciente de forma aleatoria con el objetivo de que si los grupos son suficientemente grandes difieran solo en cuanto al factor que se está investigando, evitando así la posible presencia de sesgos en cuanto a las características de los pacientes en cada grupo, que falsee la interpretación de resultados.
En los estudios observacionales la selección de los pacientes que serán incluidos también debe efectuarse de forma aleatoria con el fin de cumplir el objetivo de que las conclusiones puedan ser representativas de la población en estudio.
La ausencia de aleatorización o su utilización incorrecta pueden invalidar completamente los resultados. Hay que ser estricto en ese sentido y no dejarse llevar por la comodidad a la hora de su aplicación, evitando a toda costa asignaciones «pseudo-aleatorias» basadas en una metodología sistemática, como puede ser, por citar un ejemplo de una metodología empleada habitualmente, decidir como criterio de inclusión utilizar el primer paciente que acude a la consulta, pensando que al fin y al cabo es algo «aleatorio». Se trata en este caso de una asignación sistemática que puede ocultar sesgos que no sospechamos; así por ejemplo pudiera darse el caso de que los pacientes que acuden a primera hora a la consulta sean más jóvenes que la media del paciente típico, debido a que buscan ese horario para poder acudir lo antes posible a su trabajo, mientras que los pacientes de más edad, los jubilados, quizás tiendan a acudir a la consulta más tarde. Sería mucho mejor sistema, sabiendo el número de pacientes que hay citados, elegir de entre ellos un número al azar, por ejemplo mediante un programa o mediante una tabla de números aleatorios.
Una buena práctica en la presentación de los resultados de un trabajo de investigación, recomendada e incluso exigida por las revistas de calidad, es especificar la metodología utilizada en la asignación o elección de los pacientes, siendo más explícitos que la mera frase de que fueron asignados o elegidos de forma aleatoria.
Un concepto muy relacionado con el proceso de aleatorización es del enmascaramiento del tratamiento asignado de tal manera que el paciente desconozca la rama a la que fue asignado e incluso el propio investigador lo ignore; todo ello con el fin de evitar los sesgos que se puedan derivar de ese conocimiento.
En el caso de los estudios descriptivos el proceso más importante es el de selección de los individuos que entrarán en la muestra, siendo aquí el objetivo que ésta sea lo más representativa posible de la población a la que se quiere extender las conclusiones, por lo que se desea que tenga el mismo grado de diversidad de la población en la mayor parte de características (edad, sexo, morbilidad etc) y fundamentalmente en aquellas que pudieran estar relacionadas con el objeto de estudio. Es lo que se conoce como proceso de muestreo, capítulo muy estudiado en sociología en las encuestas de opinión y de marketing, pero un tanto desconocido en el mundo de la investigación médica, y al que más adelante dedicaremos otro artículo.
Finalmente…
En ocasiones se ha empleado mucho esfuerzo y letra impresa en discutir sobre qué tipo de diseño es el adecuado, qué proceso de muestreo, qué métodos estadísticos.., sin darnos cuenta que estamos poniendo el carro antes que los bueyes. Lo más importante es fijar claramente el objetivo de la investigación, qué variables hay que observar y qué esperamos de esa observación, de forma cuantificada, y a partir de ahí planificar el tipo de diseño experimental, el tamaño de muestra y los métodos analíticos que mejor nos permitirán cumplir nuestros objetivos. Por ello el diseño del protocolo y cuaderno de recogida de datos es una tarea crucial que condicionará totalmente los resultados del trabajo.
Para no alargar ya más este artículo, aunque apenas hemos comentado varios aspectos de gran importancia y que por tanto también deberán reflejarse en el protocolo, como son la estimación del tamaño de muestra con el que vamos a trabajar, asunto elusivo donde los haya y que será objeto de un próximo artículo, elección del tipo de diseño (prospectivo, caso-control, factorial, multicéntrico, etc), tipo de comparación (para comprobar superioridad, para mostrar equivalencia, dosis-respuesta, etc), análisis intermedios, metodología estadística de análisis y por último, pero no menos importante, presentación y publicación de los resultado, proponemos al lector interesado, y seguro que si ha llegado hasta aquí lo es, que no deje de visitar los enlaces de interés que presentamos a continuación, seleccionados cuidadosamente para completar lo que hasta ahora hemos expuesto. Entre ellos destacamos los documentos de la International Conference on Harmonisation ICH, así como The CONSORT (Consolidated Standards of Reporting Trials) recomendaciones de publicación a las que han dado su adhesión numerosas revistas, incluídas The Lancet, British Medical Journal, Journal of the American Medical Association, Annals of Internal Medicine, y varios e importantes grupos editoriales biomédicos, entre los que cabe citar el International Committee of Medical Journals Editors (Vancouver Group) y el Council of Science Editors.
Y para finalizar este artículo queremos destacar la posibilidad de publicar on-line el protocolo de un estudio, siempre que éste se adhiera precisamente a las guías indicadas en el CONSORT, asunto interesante pues aunque, como hemos destacado, el protocolo es la piedra angular de un trabajo de investigación, es una información que, salvo para los participantes en el estudio, desaparece una vez que éste ha finalizado, a pesar de que contiene información valiosa y a veces incluso imprescindible para interpretar los resultados (véase este enlace «RCT of cardiotocography versus Doppler auscultation…»). Por ello resulta muy interesante su registro, lo que permite difundir su conocimiento, y por tanto ayudar al diseño de nuevos protocolos, así como someter el trabajo propio a luz crítica de los demás.
Enlaces de interés
The CONSORT statement: revised recommendations for improving the quality of reports of parallel group randomized trials
David Moher, Kenneth F Schulz and Douglas G Altman
BMC Medical Research Methodology 2001 1: 2
Clinical Trials, Overview
Biostatitics in Clinical Trials
Editors Carol K. Redmond, Theodore Colton
John Wiley 2000
Randomised controlled trial of cardiotocography versus Doppler auscultation of fetal heart at admission in labour in low risk obstetric population
- Commentary: Changes between protocol and manuscript should be declared at submission
- Commentary: Research governance must focus on research training
- Commentary: Approach to power calculations has to be realistic
Gary Mires, Fiona Williams, Peter Howie, Sandy Goldbeck-Wood, Gordon D Murray, and Britt-Ingjerd Nesheim
BMJ 2001; 322: 1457-1462. [Abstract] [Full text]
Otros enlaces de interés
Some comments on frequently used multiple endpoint adjustment methods in clinical trials.
Sankoh AJ, Huque MF, Dubin N.
Stat Med 1997; 16: 2529-2542
Adjusting for multiple testing when reporting research results: the Bonferroni vs Holm methods
Aickin and H Gensler
Am J Public Health 1996 86: 726-728.
Subgroup analysis and other (mis)uses of baseline data in clinical trials
Susan F Assmann, Stuart J Pocock, Laura E Enos, Linda E Kasten
Lancet 2000; 355: 106469
No adjustments are needed for multiple comparisons
Rothman KJ.
Epidemiology 1990; 1: 43-46
Luis Miguel Molinero Casares
Mayo 2002
