METODOLOGÍA PARA EL ANÁLISIS DE LA CALIDAD DE LOS DATOS: IMPLEMENTACIÓN EN PROGRAMAS DE VIH Y SIDA EN LATINOAMÉRICA Rosalía Rodriguez-García, Michel Eric Gaillard, Alejandra Suarez Lissi, and Pedro Magne Condarco1 Banco Mundial Extracto: La evidencia es un aspecto crucial en la planificación estratégica de la respuesta del VIH como también el monitoreo de los resultados. Este documento presenta una herramienta sencilla que puede ser usada para analizar la calidad metodológica de datos de VIH, el grado de confiabilidad de sus hallazgos y la posibilidad de ser comparados. La herramienta, utilizada como cuestionario o lista de verificación, inicialmente identifica el tipo de documento, estado y medio de publicación, tipo de diseño epidemiológico empleado y la población objetivo de investigación. Luego se aplica una lista de verificación basada en 8 criterios metodológicos: 1) Objetivo claro y coherente con el desarrollo del estudio; 2) Definición de criterios de inclusión y exclusión; 3) Tamaño de la muestra; 4) Técnica de muestreo; 5) Estrategias para disminuir el error de recolección de datos; 6) Técnica de análisis de los datos; 7) Evaluación de limitaciones impuestas por la metodología; 8) Expresión de intervalos de confianza y/o significación estadística. El documento también presenta los resultados de implementación de la herramienta en tres países latinoamericanos. Palabras clave: Calidad de los datos, VIH y SIDA, Región Andina 1 Los autores son personal o consultores del Programa Global de VIH y SIDA, Salud, Nutrición y Población (HNP, por sus siglas en inglés), Red para el Desarrollo Humano (HDN, por sus siglas en inglés). El documento se benefició de un proceso de revisión de pares que incluyó especialistas que revisaron las versiones en inglés y español. Los autores desean agradecer y reconocer los revisores que figuran en el apéndice por haber proporcionado sus comentarios útiles como también sus puntos de vista. Los autores desean también reconocer el apoyo de David Wilson, Director del Programa Global de VIH y SIDA del Banco Mundial. Las opiniones expresadas en este documento son únicamente de los autores y no necesariamente representan los puntos de vista del Banco Mundial ni de sus Directores Ejecutivos de los países que estos representan. Contenido Prólogo.................................................................................................................................... 5 Acrónimos ............................................................................................................................... 6 Resumen ejecutivo ................................................................................................................. 7 Metodología para el análisis de la calidad de los datos ......................................................... 9 Introducción ....................................................................................................................... 9 Uso de la evidencia para informar la toma de decisiones ............................................. 9 ¿Por qué es importante analizar la calidad de los datos? ............................................ 10 Metodología para el análisis de la calidad de los datos ................................................... 11 Caracterización de los documentos ............................................................................. 12 Análisis del contenido metodológico ........................................................................... 12 Fundamentos para los 8 criterios: representatividad y rol del azar ............................ 14 Implementación del método ............................................................................................ 16 Experiencia en Latinoamérica .......................................................................................... 16 Análisis de la calidad de los datos en la región Andina: Bolivia, Ecuador y Perú ......... 19 Resultados .................................................................................................................... 19 Discusión ....................................................................................................................... 36 Conclusiones sobre uso y utilidad de la herramienta desarrollada ................................. 39 Referencias Bibliográficas ..................................................................................................... 40 Anexo 1: Instrumento guía de evaluación ............................................................................ 42 Anexo 2: Agradecimientos.................................................................................................... 48 Lista de Tablas Tabla 1. Caracterización de los documentos incluidos en la base de datos ....................... 12 Tabla 2. Aspectos metodológicos evaluados ....................................................................... 13 Tabla 3. Puntos de corte en la escala de puntaje ................................................................ 13 Tabla 1A. Clasificación metodológica de los estudios incluidos en la base de datos. País “X”, 2009. .............................................................................................................................. 47 Lista de Figuras Figura 1. Estrategia del Ciclo de Resultados Aplicado al VIH/SIDA ...................................... 10 Figura 2. Tipo de documentos recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador. 2009 – 2010. .............................................................. 17 Figura 3. Estado de publicación de los documentos recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador. 2009 – 2010. ............................. 18 Figura 4. Diseño epidemiológico de los estudios recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador. 2009 – 2010. ............................. 18 Figura 5. Calidad metodológica de los estudios recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador. 2009 – 2010. ............................. 19 Figura 6. Tipos de documentos recopilados por país. Región Andina, 2009. ...................... 20 Figura 7. Estado de publicación de los documentos recopilados por país. ......................... 21 Región Andina, 2009............................................................................................................. 21 Figura 8. Diseños epidemiológicos de los estudios recopilados por país............................ 23 Región Andina, 2009............................................................................................................. 23 Figura 9. Población objetivo de los estudios recopilados, por país. Región Andina, 2009. . 25 Figura 10. Calidad metodológica de los estudios recopilados, por país. Región Andina, 2009. ..................................................................................................................................... 26 Figura 11. Calidad metodológica de los estudios en hombres que tienen sexo con hombres, por país. Región Andina, 2009. ............................................................................ 27 Figura 12. Calidad metodológica de los estudios en trabajadoras sexuales, por país. Región Andina, 2009. ........................................................................................................................ 28 Figura 13. Calidad metodológica de los estudios en personas privadas de libertad, por país. Región Andina, 2009............................................................................................................. 29 Figura 14. Calidad metodológica de los estudios en personas con VIH, por país. Región Andina, 2009. ........................................................................................................................ 30 Figura 15. Calidad metodológica de los estudios en población general, por país. Región Andina, 2009. ........................................................................................................................ 31 Figura 16. Calidad metodológica de los estudios en jóvenes y adolescentes, por país. Región Andina, 2009............................................................................................................. 32 Figura 17. Origen de las debilidades metodológicas en los estudios de poblaciones clave, por país. Región Andina, 2009. ............................................................................................. 34 Figura 18. Origen de las debilidades metodológicas en los estudios de población general y jóvenes, por país. Región Andina, 2009. .............................................................................. 35 Prólogo El presente trabajo es fruto de la experiencia realizada por ASAP en Latinoamérica, en su misión de apoyar a los países a responder estratégicamente a la epidemia de VIH. Hoy en día se reconoce que la forma más eficaz de desarrollar políticas y programas que logren impacto sobre la epidemia, es a través de una gestión orientada a resultados. En este proceso el uso de la evidencia para informar la toma de decisiones es fundamental. Por eso un aspecto crucial de la planificación estratégica basada en observaciones críticas, es presentar a los tomadores de decisiones los datos de tales observaciones sobre la evolución y tendencias de la epidemia y sus determinantes. ASAP ha colaborado con los Ministerios de Salud de varios países recopilando todos los datos de fuentes primarias producidos localmente en los últimos quince años. Los datos luego fueron integrados en un documento llamado “Base de Datos y Referencias para una estrategia Basada en Evidencia”. Un aspecto importante cuando se utiliza información de múltiples y variadas fuentes es poder interpretar los alcances y limitaciones de los hallazgos reportados, valorar si los estudios son comparables y ahondar en la metodología empleada. Tal análisis permitirá conocer por ejemplo, la representatividad de una muestra o la posibilidad de generalizar los resultados a la población que se pretende estudiar. Con esta finalidad ASAP propone esta herramienta de análisis de la calidad metodológica de los datos, con formato de cuestionario o lista de verificación. La misma ofrece un acercamiento práctico, especialmente dirigido al espectro de estudios que son de uso frecuente en el abordaje de la temática del VIH. La herramienta propuesta ayudará en la identificación de sesgos o problemas metodológicos surgidos al diseñar o realizar los estudios, permitiendo conocer mejor la calidad de la información que cada uno aporta. Este análisis crítico será también de ayuda en identificar las dificultades y limitaciones que encuentran en su camino los investigadores que trabajan en el campo del VIH, especialmente en el acercamiento a las poblaciones más expuestas o difíciles de alcanzar. Finalmente el uso de esta metodología se ilustra con la rica experiencia que a lo largo de los dos últimos años, ASAP, administrado por el Banco Mundial, ha realizado en la región. 5 Acrónimos AIDS Acquired Immune Deficiency Syndrome ASAP Servicio de Estrategia y Plan de Acción contra el SIDA CAP Conocimientos, Actitudes y Prácticas CDC Centers for Disease Control and Prevention DHS Demographic and Health Surveys GHAP Global HIV/AIDS Program, World Bank HSH Hombres que tienen Sexo con Hombres ITS Infecciones de Transmisión Sexual ONUSIDA Programa Conjunto de las Naciones Unidas sobre el VIH/SIDA OPS/OMS Organización Panamericana de la Salud/ Organización Mundial de la Salud PPT PowerPoint RDS Respondent Driven Sampling TLS Time Location Sampling TSS Time Space Sampling SIDA Síndrome de Inmunodeficiencia Adquirido UNGASS United Nations General Assembly VIH Virus de Inmunodeficiencia Humana 6 Resumen ejecutivo Introducción: En Latinoamérica las personas viviendo con VIH suman cerca de dos millones, en una epidemia que se concentra en poblaciones clave de mayor riesgo de infección. Diferentes fuentes de información han sido utilizadas para conocer la epidemia de VIH y sus determinantes en años recientes. Reconociendo el valor crucial de la evidencia como base del proceso de planificación estratégica y monitoreo de resultados, ASAP ha colaborado con los ministerios de salud de 8 países en Latinoamérica y ha recopilado la información generada sobre la epidemia de VIH durante los últimos 15 años. En cada país la información fue organizada en un documento integrado denominado “Base de Datos y Referencias para una Estrategia Basada en Evidencia”. En un segundo tiempo, se analizó la calidad metodológica de los estudios para conocer los alcances y limitaciones, el grado de confiabilidad de sus hallazgos y la posibilidad de ser comparados. Para realizar el mencionado análisis, se utilizó un instrumento desarrollado por ASAP con formato de cuestionario o lista de verificación. Objetivos: Presentar el marco conceptual, metodología y forma de aplicación del instrumento para analizar la calidad metodológica de los datos. Compartir, a modo de ejemplo práctico, el resultado de la implementación de dicha metodología en la Región Andina. Metodología: Para la caracterización y análisis de los estudios inicialmente se identifica el tipo de documento, estado y medio de publicación, tipo de diseño epidemiológico empleado y la población objetivo de investigación. Luego se aplica una lista de verificación basada en 8 criterios metodológicos: 1) Objetivo claro y coherente con el desarrollo del estudio; 2) Definición de criterios de inclusión y exclusión; 3) Tamaño de la muestra; 4) Técnica de muestreo; 5) Estrategias para disminuir el error de recolección de datos; 6) Técnica de análisis de los datos; 7) Evaluación de limitaciones impuestas por la metodología; y 8) Expresión de intervalos de confianza y/o significación estadística. Se adjudica 1 punto si el aspecto está presente, y 0 si no lo está. Los criterios 3, 4 y 5 han sido ponderados por 2. Para finalizar se realiza la sumatoria de puntajes parciales, obteniéndose un puntaje total o índice de calidad dentro de una escala de 0 a 11 puntos. Implementación en la Región Andina: A manera de ejemplo, se detalla la experiencia que ASAP desarrolló en los países Andinos: Bolivia, Ecuador y Perú, durante el año 2009. En los tres países, se encontró que los estudios realizados en las poblaciones clave tienen puntajes de calidad menores que los de población general. Las dos características metodológicas que más contribuyeron a marcar esta diferencia fueron el sesgo de 7 selección y el tamaño inadecuado de la muestra. Ambos aspectos representan desafíos a considerar en las futuras investigaciones. Existe una gran variación en las definiciones operacionales de los indicadores utilizados, especialmente en las áreas de conocimiento y comportamiento relativos al VIH, lo que dificulta la comparación de datos. Es necesario considerar en las agendas de investigación el uso consistente de indicadores, y la priorización de los indicadores de UNGASS. En Ecuador y Bolivia se encontró un alto porcentaje de estudios no publicados, lo que sugiere la necesidad de promover la presentación de manuscritos a publicaciones que cuenten con proceso de revisión de pares, lo que contribuirá a mejorar la calidad de las investigaciones y a su más efectiva socialización. En estos dos países se identificó que la investigación en personas con VIH representa una brecha de información que requiere de consideración. En Ecuador la información sobre prevalencia de Sífilis y otras ITS representa una crítica brecha que necesita ser incorporada en la agenda de investigación del país. En el caso de Bolivia las poblaciones más expuestas han sido las menos estudiadas, lo que sugiere la necesidad de reorientar la agenda de investigación, dada la característica concentrada de su epidemia. Conclusiones sobre uso y utilidad de la herramienta desarrollada: La experiencia realizada en Latinoamérica, ha mostrado que la utilización de esta herramienta con formato de lista de verificación, es sencilla y factible. La metodología implementada logró identificar los estudios con estrategias y diseños que aumentaron la confiabilidad de sus resultados. El minucioso análisis metodológico de cada estudio, resultó de suma utilidad como paso previo al proceso de triangulación de los datos. Al permitir tomar en cuenta la calidad de los datos, esta herramienta ha ayudado a redefinir brechas en la información. Por último, ha permitido conocer los principales obstáculos metodológicos que enfrentan los investigadores locales y proponer posibles alternativas de solución. Se espera que el uso de esta herramienta pueda contribuir al mejor conocimiento de la epidemia de VIH. 8 Metodología para el análisis de la calidad de los datos Introducción Como en la mayoría de las regiones del mundo, en América Latina los primeros casos de VIH fueron detectados en los inicios de la década de los 80. Desde entonces el número de infectados se ha incrementado significativamente, estimándose que en la actualidad cerca de dos millones de personas viven con VIH en la región (1). La mayoría de ellas son jóvenes o adultos jóvenes, lo que genera una importante carga económica y social en los países afectados. La epidemia en América Latina continúa siendo de tipo concentrada (1), ya que la mayoría de los casos se registran en ciertos grupos poblacionales más expuestos. Estos son considerados poblaciones clave tanto para la dinámica de la epidemia, como para definir la respuesta a la misma. Los grupos de Hombres que tienen Sexo con Hombres, Usuarios de Drogas Intravenosas, Personas Privadas de Libertad, Trabajadores y Trabajadoras Sexuales constituyen las principales poblaciones clave con mayor riesgo de infectarse. A lo largo del tiempo se han desarrollado esfuerzos para obtener información sobre el progreso y las características de la epidemia. Al comienzo se utilizaron sistemas de vigilancia convencional, llamados de primera generación. Estos sistemas de vigilancia pasiva, se limitan a contar el número de casos en las notificaciones tradicionales realizadas por los Ministerios de Salud. Con el tiempo se desarrollaron sistemas de vigilancia más ágiles y activos, denominados de segunda generación, que además de prevalencia de VIH monitorean también cambios en conocimientos, comportamientos y prácticas sexuales asociadas al riesgo de contraer el virus (2, 3). El conocer la información sobre la dinámica de la epidemia de VIH generada por los estudios, es un elemento clave en la planificación de la respuesta de los países; sin embargo es importante también valorar los alcances y las limitaciones de la evidencia producida por cada estudio. Con este propósito ASAP ha desarrollado un instrumento con formato de lista de verificación, que de forma sencilla pretende colaborar en el análisis de la calidad de los datos obtenidos por las investigaciones. Uso de la evidencia para informar la toma de decisiones Actualmente se reconoce internacionalmente que la forma más eficaz de desarrollar políticas y programas que logren impacto sobre la epidemia de VIH, es a través de una gestión orientada a resultados. En este proceso el valor atribuido a la evidencia es crítico, estratégico y fundamental. La planificación estratégica se basa en observaciones y se centra en los resultados que reflejan las realidades de la epidemia y los logros de la respuesta nacional. De esta manera el proceso de planificación no se centra únicamente en insumos y actividades para lograr objetivos específicos, sino que enfoca la naturaleza y envergadura de sus esfuerzos en los resultados y efectos directos deseados. La 9 planificación estratégica no es un proceso lineal sino iterativo con etapas que se refuerzan y retro-alimentan constantemente, generando “documentos vivos”. El monitoreo y la evaluación de la planificación y gestión de la respuesta nacional es el mecanismo esencial que, a través de la medición de resultados, permite distinguir los éxitos de los fracasos (4). (Figura 1). Por eso un aspecto crucial de la planificación estratégica basada en observaciones, es presentar a los tomadores de decisiones los datos recopilados sobre las observaciones e investigaciones de la evolución y tendencias de la epidemia. Con este fin fue concebido el proceso de elaboración de las Bases de Datos y el posterior análisis de la calidad metodológica de la información que contienen. Figura 1. Estrategia del Ciclo de Resultados Aplicado al VIH/SIDA Fuente: R. Rodríguez-García, GHAP, Banco Mundial, 2007 ¿Por qué es importante analizar la calidad de los datos? Es importante realizar un análisis metodológico de las investigaciones recopiladas para conocer los alcances y limitaciones de cada estudio, el grado de confiabilidad de sus hallazgos, la posibilidad de que sus resultados sean comparables y representativos de la población estudiada. Dicho análisis ayuda a identificar sesgos o problemas metodológicos surgidos al diseñar o realizar los estudios, permitiendo conocer mejor la calidad de la información que cada uno aporta. Un análisis crítico también permite reconocer las dificultades y limitaciones que encuentran en su camino los investigadores que trabajan en el campo del VIH, especialmente en el abordaje de las poblaciones más expuestas o difíciles de alcanzar. 10 Existen varias estrategias de evaluación de la calidad de estudios epidemiológicos. En general estas metodologías están orientadas a determinar el grado de evidencia que aportan las investigaciones, en su gran mayoría clínicas (5). En este tipo de evaluaciones, los ensayos clínicos y los estudios de cohorte son considerados con las mejores posibilidades metodológicas para generar evidencia, ya sea en aspectos de causalidad, como en el estudio de eficiencia y eficacia de intervenciones y/o tratamientos. Los estudios transversales, por el contrario, son considerados solo exploratorios y con capacidad únicamente de generar hipótesis. La situación particular en que se desarrollan las investigaciones destinadas a conocer la epidemia de VIH (prevalencias, determinación de niveles de conocimiento y conductas) limita la posibilidad de realizar estudios experimentales, basándose mayormente en la aplicación de estudios transversales o de encuesta. Por esta razón, en la guía de ONUSIDA para Triangulación de la Información, se considera que se debe dar prioridad, o el más alto nivel de confianza a los datos obtenidos de los grandes estudios epidemiológicos transversales estandarizados (como las Encuestas Nacionales Demográficas y de Salud: DHS por su sigla en Inglés) (6). Se registran en la literatura varios cuestionarios o listas de verificación que crean un marco de referencia para evaluar la calidad metodológica de los estudios, pero la gran mayoría de ellas están diseñadas para ser aplicadas a ensayos clínicos aleatorios, y no sobre estudios observacionales (7). Aquí se desarrolló e implementó una metodología aplicable principalmente a los estudios transversales. En forma práctica, se busca discriminar entre los estudios aquellos que, han implementado estrategias y diseños que aumentan la confiabilidad de sus resultados. Para desarrollar el cuestionario, se realizó un extenso análisis que incluyó las guías normativas sobre el desarrollo de estudios de prevalencia para infecciones de transmisión sexual de la Organización Mundial de la Salud (8) , así como diversos materiales publicados tanto en libros como revistas científicas, que sientan las bases de la evaluación de calidad metodológica de los estudios de epidemiología. (9, 10, 11, 12, 13, 14) Metodología para el análisis de la calidad de los datos Desde el año 2009, los Ministerios de Salud de varios países de Latinoamérica, con el apoyo del Programa Conjunto de las Naciones Unidas sobre el VIH-SIDA (ONUSIDA) y el Servicio de Estrategia y Plan de Acción contra el SIDA (ASAP), un servicio de ONUSIDA gestionado por el Banco Mundial, recopilaron la información generada en cada país con respecto a la epidemia de VIH y la organizaron en un documento integrado, denominado “Base de Datos y Referencias para una Estrategia Basada en Evidencia”. En cada uno de estos documentos se encuentran los principales hallazgos de los estudios disponibles sobre la epidemia de VIH realizados durante los últimos 15 años. Los criterios de inclusión para los estudios fueron: a) que constituyeran una fuente primaria de datos y b) que contuvieran datos cuantitativos. Así, se han recopilado una gran cantidad de documentos generados tanto por grupos de investigación local, nacional e internacional. De esta manera, las Bases de Datos constituyen la colección de estudios diversos de acuerdo a su tipo, características metodológicas y estado de publicación. 11 La metodología para el análisis de la calidad de los datos consta de dos etapas. La primera caracteriza cada uno de los documentos incluidos en las Bases de Datos, mientras que la segunda analiza su contenido metodológico. Se realiza siguiendo una guía de evaluación (Anexo) cuyas principales secciones se detallan a continuación. Caracterización de los documentos En el proceso de búsqueda de estudios relacionados a la epidemia de VIH, usualmente se recopila una profusa cantidad y variedad de documentos, que como primer paso requieren de ser categorizados según distintos aspectos. En este proceso se identifica el tipo de documento, según se trate de artículos científicos o manuscritos, informes técnicos, presentaciones de PowerPoint, monografías u otros. Luego se identifica su estado de publicación, y eventualmente el medio en que ha sido publicado. Seguidamente cada trabajo es caracterizado según el tipo de diseño epidemiológico empleado y según la población objetivo de investigación. (Tabla 1). Tabla 1. Caracterización de los documentos incluidos en la base de datos  Tipo de documento: Artículos científicos Informes técnicos Presentaciones de PowerPoint Tesis/Monografías Otros  Estado y medio de publicación  Tipo de diseño epidemiológico  Población objetivo de investigación Análisis del contenido metodológico Luego se analiza su contenido metodológico en base a un instrumento diseñado a tal fin. Este instrumento evalúa la presencia o ausencia de 8 aspectos metodológicos relacionados con las “buenas prácticas en el campo de la investigación“; tres de ellos ponderados por 2 debido a su importancia crítica en la validez de los resultados. Los criterios ponderados han sido la técnica de muestreo, el tamaño adecuado de la muestra y el desarrollo de estrategias para disminuir el error en la recolección de los datos. Estos tres criterios evalúan el sesgo de selección, el poder del estudio y la consistencia de los datos respectivamente. A lo largo del cuestionario, para cada uno de los 8 criterios se adjudica 1 punto si el aspecto está presente, y 0 si no lo está. Los puntos en los criterios ponderados se multiplican por 2. (Tabla 2). 12 Tabla 2. Aspectos metodológicos evaluados 1) Objetivo del estudio coherente con el desarrollo del mismo 2) Definición de criterios de inclusión y exclusión 3) Tamaño de la muestra* 4) Técnica de muestreo* 5) Estrategias para disminuir el error de recolección de datos* 6) Técnica de análisis de los datos 7) Evaluación de limitaciones impuestas por la metodología 8) Intervalos de confianza y/o significación estadística * Criterios ponderados x2 Para finalizar, se realiza la sumatoria de los puntajes parciales, obteniéndose un puntaje total que ha sido tomado como puntaje o índice de calidad. El puntaje total puede variar en una escala que va de 0 a 11 puntos (1 punto por cada criterio simple= 5 puntos; 2 puntos por cada criterio ponderado por 2= 6 puntos; suma total máxima: 5+6= 11). Se han definido como puntos de corte: puntaje de 8 y mayor, corresponde a buena calidad metodológica; puntaje de 5 a 7 corresponde a calidad intermedia y puntaje de 4 y menor corresponde a calidad metodológica limitada. (Tabla 3). Tabla 3. Puntos de corte en la escala de puntaje 8 a 11 puntos: Calidad metodológica buena 5 a 7 puntos: Calidad metodológica intermedia 0 a 4 puntos: Calidad metodológica limitada A los efectos de establecer los puntos de corte, se consideró el mínimo número de criterios que los estudios deberían tener para ser considerados de calidad metodológica buena o intermedia. No se utilizó la técnica de los terciles porque la calidad de los estudios es dependiente de sus propias características e independiente de la distribución.  Se consideró que los estudios que alcanzan al menos 75% del puntaje máximo posible, es decir 8 puntos o más, tienen calidad metodológica buena. Este corte hace que por ejemplo los estudios con falla en dos de los criterios ponderados x2, queden excluidos de esta categoría ya que para tales estudios el puntaje máximo posible es 7 puntos. 13  Para ser considerados con calidad intermedia, los estudios tuvieron que alcanzar un mínimo de 5 puntos (45%). Fundamentos para los 8 criterios: representatividad y rol del azar Como ya se mencionó el diseño epidemiológico empleado con más frecuencia para conocer la situación de la epidemia de VIH es el transversal o de encuesta. Este diseño es aplicado a una gran variedad de temas, siendo los más frecuentes las encuestas serológicas y de comportamiento. A continuación se repasan algunos conceptos metodológicos importantes, a tener en cuenta a la hora de interpretar los estudios transversales. Los criterios de inclusión y exclusión Los criterios de inclusión y exclusión permiten demarcar el universo de sujetos elegibles que se estableció para el estudio. Tenerlos presentes es muy importante cuando se hacen inferencias o generalizaciones en base a los La definición de criterios de inclusión y hallazgos que presenta un estudio. Por ejemplo exclusión delimita el universo o marco en una encuesta serológica realizada a de la muestra. trabajadoras sexuales, el criterio de inclusión establecido fue que pertenecieran a burdeles de la ciudad, quedando excluidas las que ejercen el trabajo sexual en la calle. Los hallazgos de tal estudio no podrán ser generalizables a todas las trabajadoras sexuales de esa ciudad, debiendo limitarse a trabajadoras de burdeles. Tamaño de la muestra El tamaño adecuado de la muestra permite que un estudio tenga capacidad para demostrar su hipótesis; en epidemiología a este atributo se le llama “poder del estudio”. El tamaño suficiente de una muestra va a permitir El poder del estudio y la precisión también precisión en los resultados. Cuanto mayor de sus resultados, dependen del es el tamaño de la muestra, más estrecho será el tamaño de la muestra. intervalo de confianza resultante y por lo tanto su resultado más preciso. El cálculo del tamaño de la muestra permite al investigador conocer cuál es el mínimo número de individuos que permitirá que el estudio tenga el poder y la precisión deseados. En el instrumento de análisis de la calidad de los datos diseñado por ASAP, este aspecto metodológico se ha ponderado por un factor de 2 debido a su importancia. Técnica de muestreo Para conocer la representatividad de una muestra es fundamental tener en cuenta el método de muestreo utilizado. El sesgo de selección ocurre cuando los individuos seleccionados no son representativos de la El sesgo de selección ocurre cuando población que se pretende estudiar. En el los individuos seleccionados no son método probabilístico todos los individuos de representativos de la población que se una población tienen la misma chance de ser pretende estudiar. 14 seleccionados y esto permite obtener muestras representativas de dicha población. Por el contrario, en muestreos no probabilísticos como el muestreo por conveniencia, cada individuo tiene diferente chance de ser seleccionado en base a determinadas características, por lo que la resultante serán muestras menos representativas. Una especial consideración merece el método de muestreo utilizado en estudios de poblaciones En el método probabilístico todos los escondidas o difíciles de alcanzar, como por individuos de una población tienen la misma chance de ser seleccionados. ejemplo usuarios de drogas u hombres que tienen sexo con hombres. Debido a situaciones de estigma y discriminación que usualmente enfrentan sus integrantes, en este tipo de poblaciones es prácticamente imposible contar con un marco muestral que delimite el universo del que se van a seleccionar los individuos en forma aleatoria. Un ejemplo de marco muestral posible para población general, sería el directorio telefónico; pero solo si todos los habitantes tuvieran una línea fija de teléfono y su número registrado en el directorio; si no nuevamente se tiene un sesgo de selección. Como para la mayoría de las poblaciones escondidas no se puede establecer ese marco, una estrategia frecuentemente utilizada es obtener muestreos por conveniencia en los lugares donde los integrantes de estas poblaciones suelen acudir, tales como bares, clubes etcétera. Obviamente las personas que acuden a esos lugares con mayor frecuencia, tienen mayor chance de ser seleccionadas. Esto no cumple con el principio de “igualdad de chance de ser seleccionado para todos los individuos de la población”, definido para el Se han desarrollado alternativas muestreo probabilístico y limita la posibilidad de de muestreo para aplicar a las hacer generalizaciones. Para dar respuesta a esta poblaciones escondidas. limitante, a partir de una iniciativa del CDC (The Centers for Disease Control and Prevention, Atlanta, Georgia), en los últimos años se ha estudiado la implementación de otras técnicas de muestreo que provean una alternativa al enfoque tradicional probabilístico – no probabilístico (15, 16). Tales métodos son: RDS (Respondent Driven Sampling) y TSS (por su sigla en inglés Time Space Sampling). En el instrumento de análisis de la calidad de los datos el uso de muestras probabilísticas o sus alternativas RDS y TSS para poblaciones escondidas, se considera muestreo satisfactorio. Teniendo en cuenta los fundamentos expuestos sobre la importancia de esta característica metodológica, este criterio también ha sido ponderado y su resultado es multiplicado por un factor de 2. Porcentaje de personas que No responden la encuesta. En los estudios de encuesta aún cuando el método de muestreo haya sido probabilístico, es importante conocer el porcentaje de individuos que no aceptó responder. Esto es crítico, porque de existir diferencias entre el grupo de personas que responden a la encuesta y Es importante conocer el porcentaje los que no aceptan participar, se estaría de personas que no aceptó responder la encuesta. introduciendo un sesgo de selección. Si el porcentaje de no respondedores es alto, los resultados de la encuesta tendrán limitaciones para ser generalizados. Esto es especialmente válido si las causas que motivaron la no aceptación están vinculadas al tema que se está investigando. 15 Técnicas para reducir el error en la recolección de datos En el desarrollo de los estudios transversales existe una variedad de acciones que se realizan para aumentar el grado de precisión de los datos colectados. Esto permite que el estudio tenga validez interna. A la hora de analizar un estudio de encuesta es importante conocer por ejemplo, si se han hecho pruebas piloto para adaptar el cuestionario al lenguaje coloquial local; si los encuestadores o personal encargado de tomar muestras biológicas han recibido entrenamiento previo; si se ha seguido una estricta normativa en la obtención de muestras biológicas; etc. Por su importancia crítica, este aspecto también se ha ponderado por un factor de 2 en el instrumento de análisis de la calidad de los datos. Implementación del método La implementación del análisis de la calidad de los datos es sencilla. Se trabaja sobre la base de la lista de verificación presentada en el Anexo. Se responde el cuestionario punto por punto. Para cada respuesta afirmativa se considera 1 punto. Para cada respuesta negativa se considera cero. Para los tres criterios ponderados el valor obtenido se multiplica por 2. Para finalizar se realiza la sumatoria de los resultados parciales, obteniéndose un valor incluido en el rango de cero a 11. Para facilitar el proceso, los datos de cada estudio se vuelcan en una tabla como se observa en el Anexo (Tabla 1A). En las columnas de la izquierda se registran los datos relativos a la caracterización del estudio en base al tipo de documento, estado y forma de publicación, población abordada y diseño epidemiológico empleado. En las columnas de la derecha se puntúa cada uno de los criterios que analizan la calidad metodológica, colocando ceros o unos según corresponda. Los tres criterios ponderados son multiplicados por el factor de 2. En la última columna se coloca el resultado de la sumatoria de los puntajes parciales. En esa columna se han coloreado sus celdas utilizado los colores del semáforo para indicar los estudios con calidad metodológica buena en color verde, los de calidad intermedia en amarillo y los estudios limitados han sido marcados en rojo. Esta tabla recopila la totalidad de los datos recogidos para cada estudio, al aplicar la guía de caracterización y análisis metodológico. Experiencia en Latinoamérica Esta experiencia fue realizada inicialmente en los países de Latinoamérica donde ASAP prestó asistencia técnica para la recopilación de la evidencia. La aplicación de esta guía de análisis de la calidad de los datos se realizó inicialmente en los tres países Andinos: Ecuador, Perú y Bolivia durante el año 2009. Durante el año 2010, se amplió la experiencia realizándola también en otros países de América del Sur y Central. Hasta la fecha Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador se han sumado a la lista de países donde se realizó la recopilación de la evidencia con el posterior análisis de la calidad metodológica de las investigaciones. Este ejercicio ha resultado muy útil ya que no solamente ha permitido revisar las brechas existentes en la información necesaria para 16 conocer la situación de la epidemia de VIH, sino que también ha permitido explorar la calidad de los datos que las investigaciones producen. A continuación se mostrarán las características y calidad de los documentos recopilados en los ocho países mencionados, y luego se presentará en detalle el análisis realizado en los países Andinos. En el conjunto de los 8 países de Latinoamérica se recopiló un total de 311 documentos. Más de la mitad de ellos son informes técnicos realizados en su mayoría por los gobiernos, organizaciones no gubernamentales, agencias de cooperación multilaterales o bilaterales y sectores académicos. Estos informes técnicos en general se encuentran disponibles como publicaciones aisladas o independientes. Cerca de la tercera parte de los documentos recopilados son artículos científicos, los que mayormente están publicados en revistas que realizan proceso de revisión de pares. El 10% de los documentos son monografías o tesis, que en su mayoría están disponibles en internet, aunque algunas solo lo están en bibliotecas universitarias. Por último hay un mínimo porcentaje de documentos que han sido obtenidos en formato de presentaciones de PowerPoint. (Figuras 2 y 3). Figura 2. Tipo de documentos recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador. 2009 – 2010. PPT 3% Tesis 10% Artículo Científico Informe Técnico 33% 54% N= 311 17 Figura 3. Estado de publicación de los documentos recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador. 2009 – 2010. Boletín Oficial En 3% Internet 7% No publicado 16% Publicación Tecnica Aislada 44% Revista con Revisión de Pares 30% N= 311 Con respecto al diseño epidemiológico, se encontró que el 95% de los estudios adoptaron diseño transversal o de encuesta. En el 5% restante se incluyeron 8 estudios de cohorte, 4 estudios experimentales, 2 estudios de casos y controles y 2 estudios con diseño de serie de casos. Cuando se aplicó el instrumento para analizar la calidad de los datos, se encontró que dos tercios de los estudios presentaron calidad buena y solo el 10% con calidad metodológica limitada. (Figuras 4 y 5). Figura 4. Diseño epidemiológico de los estudios recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador. 2009 – 2010. Otros Diseños 5% Diseño Transversal 95% N= 311 18 Figura 5. Calidad metodológica de los estudios recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador. 2009 – 2010. Limitada 10% Intermedia 23% Buena 67% N= 311 Análisis de la calidad de los datos en la región Andina: Bolivia, Ecuador y Perú Perú es el país andino que tiene el mayor tamaño poblacional, con una población estimada en 27 millones de habitantes; le siguen Ecuador con 14 millones y Bolivia con 10 millones de habitantes (17). El nivel de avance de la transición demográfica es similar en los tres países, por lo que presentan semejante estructura en los grupos de edad. La mitad de la población está incluida en el grupo de 15 a 49 años. La epidemia de VIH también comparte ciertas características. La tasa de prevalencia en adultos de 15 a 49 años es menor de 1%, Perú: 0.5%, Ecuador: 0.3% y Bolivia 0.2% (17). Por otra parte, la prevalencia de VIH estimada en hombres que tienen sexo con hombres está muy por encima del 5%, Perú: 12% (18), Ecuador: 16.6% (19) y Bolivia: 9.6 a 15.3% (20), siendo el grupo poblacional con más altas prevalencias en la región. La prevalencia de VIH en este grupo es 24 veces mayor que la prevalencia en población general en Perú y estimada en más de 50 veces mayor, en Ecuador y Bolivia. La razón hombre/mujer (cantidad de varones con VIH por cada mujer infectada) es aproximadamente 2 a 1 en los tres países. El hecho de que el doble de varones esté infectado, remarca la importancia de la vía sexual entre varones como forma de transmisión del VIH. Estas cifras muestran claramente que en los países andinos la epidemia de VIH está concentrada en poblaciones más expuestas, fundamentalmente en hombres que tienen sexo con hombres. Resultados Se incluyeron para la caracterización y análisis un total de 57 documentos en Perú; 40 documentos en Ecuador y 25 documentos en Bolivia; compilados en sus respectivas Bases de Datos (21, 22, 23). Cabe destacar que algunos documentos incluyeron más de una 19 población en su investigación y utilizaron diferentes modalidades metodológicas para cada una de ellas, por lo que fueron analizados y puntuados en forma independiente para cada población. Esto ocurrió por ejemplo, con varios documentos de diagnóstico de líneas de base, donde fueron estudiadas diferentes poblaciones. En algunas poblaciones se realizó muestreo por conveniencia, mientras que para otras el muestreo fue probabilístico; para algunas se logró reunir el tamaño de la muestra propuesto y para otras no. El estudio de cada población dentro de tales documentos fue puntuado en forma independiente. Por esta razón el número de estudios supera al número de documentos, ya que como se explicó, los estudios realizados en diferentes poblaciones se consideraron por separado. Inicialmente se analizó la distribución de la totalidad de los estudios en base a sus características e índice de calidad. A continuación los estudios fueron estratificados sobre la base de la población objetivo, y se analizó la distribución de puntajes en cada estrato. Finalmente, se estratificaron los trabajos por tipo de limitaciones metodológicas encontradas. Tipo de documento La Base de Datos de Perú está integrada por 47 (83%) artículos científicos; 7 (12%) informes técnicos y 3 (5%) documentos en formato de presentaciones PowerPoint (PPT). En el caso de Ecuador, su base de datos contiene 18 (45%) artículos científicos, 16 (40%) informes técnicos; 3 (7.5%) tesis/monografías; 2 (5%) presentaciones en PPT y por último 1 (2.5%) poster. Para Bolivia, se han recopilado 19 (76%) informes técnicos y 6 (24%) artículos científicos. (Figura 6). Figura 6. Tipos de documentos recopilados por país. Región Andina, 2009. 100% 90% 80% 70% Posters 60% Tesis 50% PPT 40% Informe Técnico 30% Artículo Científico 20% 10% 0% Perú n= 57 Ecuador n= 40 Bolivia n= 25 Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. 20 Hallazgos: Como puede observarse en la figura 6, las fuentes principales de información en los tres países fueron artículos científicos e informes técnicos. No obstante la proporción que representa cada una de ellas es muy diferente para cada país. En Perú la mayoría corresponden a artículos científicos, en Bolivia son principalmente informes técnicos, en tanto que en Ecuador la proporción de ambas fuentes es similar Estado de publicación Con respecto al estado de publicación de los documentos, en Perú 47 (82%) están publicados en revistas que realizan proceso de revisión de pares y 7 (12%) son publicaciones técnicas aisladas (se utiliza el término aisladas para diferenciar este grupo de las publicaciones periódicas). Un documento (2%) es un informe preliminar y en 2 documentos (4%) no se encontró dato disponible sobre su estado de publicación. En el caso de Ecuador se encuentra que 12 documentos (30%) están publicados en revistas con revisión de pares; 9 (22.5%) son publicaciones técnicas aisladas; 2 documentos (5%) son publicaciones hechas en boletín oficial; 13 (32.5%) no han sido publicados y para 4 (10%) no pudo obtenerse dato del estado de publicación. Finalmente en Bolivia se encuentra que 13 documentos (52%) son publicaciones técnicas; 5 (20%) han sido publicados en revista con revisión de pares y 1 (4%) en boletín oficial. Seis documentos (24%) no habían sido publicados al momento de realizarse esta recopilación. (Figura. 7). Figura 7. Estado de publicación de los documentos recopilados por país. Región Andina, 2009. 100% 90% No Publicado/ Sin Dato 80% 70% Boletín Oficial 60% 50% 40% Publicaciones Técnicas Aisladas 30% 20% Publicados en Revistas 10% con Revisión de Pares 0% Perú n= 57 Ecuador n= 40 Bolivia n= 25 Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. 21 Hallazgos: La proporción de artículos científicos en las Bases de Datos, coincide con la proporción de documentos publicados en revistas científicas con revisión de pares (AIDS, Sexually Transmitted Diseases y Revista Panamericana de Salud Pública son ejemplos de tales publicaciones). Perú es el país andino que cuenta con la mayor proporción de los trabajos publicados por este medio. Esto probablemente se deba a que es uno de los países en América Latina con mayor historia de investigación en VIH, estando el sector académico activamente involucrado en el proceso desde el comienzo de la epidemia. Por el contrario, Ecuador es el país con la más alta proporción de documentos no publicados o sin datos sobre el estado de publicación, los que representan más del 40%. En Bolivia el grupo de trabajos no publicados constituye una cuarta parte del total. La falta de publicación tiene impacto en el uso y calidad de la información; por un lado dificulta el acceso a la información y socialización de los hallazgos, y por otro hace que los trabajos producidos sean más débiles, ya que no pasan por el detallado y enriquecedor proceso de revisión de pares. Tipo de diseño epidemiológico Considerando el tipo de diseño epidemiológico adoptado, se observa que en Perú los estudios transversales de encuesta serológica complementada con encuesta de variables socio-demográficas y de comportamiento, son el tipo de diseño más frecuente entre los estudios incluidos en la base de datos. Este tipo de diseño representa el 49% del total e incluye a 28 estudios. También dentro de los diseños de tipo transversal hay 18 encuestas de conocimientos actitudes y prácticas (CAP) (32%) y 3 estudios bacteriológicos de ITS complementadas con encuesta socio-demográfica (5%). Si se agrupa a todos los estudios de corte transversal, los mismos suman 86% del total de trabajos. El 14% restante está compuesto por 4 estudios de cohorte (7%); 2 estudios de casos y controles (3%), 1 estudio de serie de casos (2%) y 1 ensayo clínico (2%). En el caso de Ecuador, se observa que 36 documentos (90%), utilizan diseños de corte transversal con sus diversas modalidades. Dentro de este grupo hay 20 documentos que contienen encuestas CAP (50%); 10 documentos con encuestas serológicas con y sin complemento de encuestas CAP (25%) y 6 estudios transversales de encuestas sobre otros temas (15%). Entre los 4 documentos restantes (10%), hay un estudio con diseño experimental; un estudio de control de calidad para laboratorios; un censo y un estudio de serie de casos. En Bolivia también se observa que la gran mayoría de los estudios (96%) han seguido diseños de corte transversal o de encuesta, con sus diversas modalidades. Dentro de este grupo hay 16 documentos (64%) que contienen encuestas CAP; 7 (28%) encuestas serológicas del VIH con y sin complemento de encuestas CAP, y una (4%) encuesta serológica de sífilis. Se encontró un estudio (4%) con diseño longitudinal conformado por una cohorte de personas con VIH. (Figura. 8). En esta figura, los estudios transversales o de encuesta en sus distintas modalidades se han graficado en la gama de azules. 22 Figura 8. Diseños epidemiológicos de los estudios recopilados por país. Región Andina, 2009. 100% Otros 90% Experimental/Ensayo Clínico 80% Serie de Casos 70% Casos y Controles 60% 50% Estudios de Cohorte 40% Otros Estudios de Encuesta 30% Encuesta CAP 20% Encuesta Serológica con/sin Encuesta CAP 10% 0% Perú n= 57 Ecuador n= 40 Bolivia n= 25 Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: Como puede observarse claramente en la figura de arriba, en los tres países analizados, la gran mayoría son estudios de corte transversal o de encuestas, que constituyen entre el 86 y 96% del total. La diferencia radica en que en Perú dichas investigaciones se han centrado en el estudio de prevalencias serológicas complementadas con encuestas demográficas y de comportamiento, en tanto que en 23 Ecuador y Bolivia se han realizado más investigaciones en el área de conocimiento, actitudes y prácticas. Esto podría deberse a que los estudios que incluyen la encuesta serológica son más costosos y requieren un soporte logístico mucho mayor. Se destaca también que los tres países cuentan con encuestas demográficas y de salud (DHS por su sigla en inglés) realizadas por sus Institutos Nacionales de Estadística. Las mismas incluyen conocimientos, actitudes y prácticas sobre VIH, tienen alcance nacional y son aplicadas a la población general. Al ser aplicadas periódicamente y con metodología consistente, constituyen fuentes confiables de información que permiten analizar las tendencias nacionales y locales de conductas y conocimientos sobre el VIH en la población general. Población objetivo del estudio Los tres países incluidos en este análisis presentan epidemias de VIH concentradas en grupos clave como Hombres que tienen Sexo con Hombres, Personas Privadas de Libertad, Trabajadores y Trabajadoras Sexuales. Por esta razón fue de interés ver qué peso tienen estas poblaciones en el total de las investigaciones realizadas. Si se toma en cuenta la población objetivo de los estudios en Perú, se aprecia que el 62.5% se han desarrollado en poblaciones clave: 19% sobre Hombres que tienen Sexo con Hombres; 14% en Trabajadoras Sexuales; 7% en personas que viven con VIH; 5% en personas privadas de libertad y 17.5% sobre otras poblaciones en riesgo como clientes de trabajadoras sexuales y personas con infecciones de transmisión sexual (ITS). Las poblaciones consideradas menos expuestas al VIH representan el 37.5% de las investigaciones. Entre ellas 17.5% corresponde a estudios realizados en población general; 9% en jóvenes; 4% en gestantes y 6.5% en otras poblaciones consideradas dentro de esta categoría. En Ecuador el 58.9% de la investigación incluida en la Base de Datos corresponde a grupos considerados poblaciones clave de mayor riesgo. Entre ellos 19.6% ha sido realizado en trabajadoras sexuales; 16.1% en hombres que tienen sexo con hombres; 10.7% en personas privadas de la libertad; 8.9% en personas que viven con VIH y el 3.6% en personas con ITS. En el conjunto de poblaciones consideradas menos expuestas al VIH se desarrolló el 41.1% de la investigación. El 19.6% corresponde a estudios realizados en jóvenes; en tanto que 14.3% se realizó sobre población general; 3.6% en puérperas y 3.6% en otros grupos. En Bolivia el 37% de la investigación corresponde a las poblaciones clave para la epidemia de VIH: 13% en hombres que tienen sexo con hombres; 8% en trabajadoras/es sexuales; 5% en personas que viven con VIH; 5% en personas con ITS, 3% en personas privadas de libertad y 3% en otras poblaciones más expuestas. Las poblaciones consideradas menos expuestas al VIH involucran el 63% de las investigaciones: 18% han sido realizados en Población General; 13% en Adolescentes y Jóvenes; 13% en mujeres embarazadas/puérperas y 19% en otros grupos. En la Figura 9 las poblaciones clave fueron graficadas en tonos de azul y las consideradas menos expuestas se graficaron en tonos de rojos para favorecer la comparación entre los dos grupos. 24 Figura 9. Población objetivo de los estudios recopilados, por país. Región Andina, 2009. 100% Otros Grupos 90% Gestantes/Puérperas 80% 70% Jóvenes 60% Población General 50% Otros Grupos Más 40% Vulnerables Personas con VIH 30% 20% Privados de Libertad 10% Trabajadoras Sexuales 0% Hombres Sexo con Perú n= 57 Ecuador n= 40 Bolivia n= 25 Hombres Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: Como es de esperar en epidemias concentradas, en Perú y Ecuador la mayor parte de las investigaciones (cerca del 60%), se realizó sobre las poblaciones más expuestas. En Bolivia, en cambio, solo la tercera parte de los estudios estuvieron destinados a los grupos en los que la epidemia tiene mayor peso. Este importante hallazgo podría obedecer a múltiples causas que van desde agendas de investigación que no centraron sus esfuerzos en estos grupos; hasta dificultades específicas en el acercamiento y trabajo con las poblaciones difíciles de alcanzar. Análisis de contenido metodológico Terminada la primera etapa de caracterización, se comenzó el análisis del contenido metodológico en función de los 8 criterios evaluados y se observó la distribución de los puntajes de calidad para cada país. Como se recuerda, el menor puntaje posible es 0 y el puntaje mayor posible es de 11 puntos. En el caso de Perú se advierte una distribución asimétrica de los puntajes, que agrupa a los estudios alrededor de un valor central de 9 puntos. Esta distribución tiene una mediana y un modo de 9 puntos, mientras que la dispersión presenta un rango de 3 a 11 puntos. Se agruparon los estudios según los puntos de corte en el puntaje de calidad obteniéndose tres grupos. Los estudios considerados como de calidad buena (8 a 11 25 puntos) constituyen el 82% del total; los de calidad intermedia (5 a 7 puntos) representan el 15% y solo el 3% fue clasificado como de calidad limitada. En Ecuador también se advierte que la distribución de puntajes es asimétrica. Los estudios se agrupan alrededor de un valor más frecuente o modo de 9 puntos. Esta distribución tiene una mediana de 8, mientras que el rango va de 2 a 11 puntos. El 52% de los estudios presentaron calidad metodológica buena; el 27% calidad intermedia y el 21% calidad limitada. Para Bolivia se observó una distribución de puntajes en un rango de 4 a 11 puntos, con un valor de 8 para la mediana y el modo. El 68% de los estudios han sido clasificados con calidad metodológica buena; 28% con calidad intermedia y 4% con calidad limitada. (Figura 10). En la Figura 10, no se usó como en las figuras anteriores, la modalidad de gráfico de barras con componente de porcentaje para permitir apreciar la cantidad de documentos evaluados en cada uno de los países. En dichos gráficos se usaron los colores del semáforo para identificar la distribución de los documentos según su puntaje de calidad metodológica. Figura 10. Calidad metodológica de los estudios recopilados, por país. Región Andina, 2009. Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: La distribución de los puntajes de calidad metodológica presentó un valor para la mediana de 9 en Perú y 8 en Ecuador y Bolivia. En Perú el 82% de las investigaciones presentan buena calidad metodológica, en Bolivia 68% y en Ecuador con 52%. Se observa una correlación entre la proporción de trabajos publicados con proceso de revisión de pares y la solidez metodológica de los mismos. Estratificación según población objetivo y calidad metodológica Se estratificaron los estudios según la población objetivo y se analizó la calidad metodológica encontrada para cada grupo. 26 Hombres que tienen sexo con hombres En la Base de Datos de Perú se incorporaron un total de 15 estudios realizados en población de hombres que tienen sexo con hombres. El valor para la mediana en la distribución de puntajes es 9. En el grupo de buena calidad se encuentran 80% de los mismos; en el de calidad intermedia 13% y en el de calidad limitada 7%. En el caso de Ecuador se recopilaron 9 estudios que tomaron población de hombres que tienen sexo con hombres como objetivo. El valor para la mediana en la distribución de puntajes es 8. El 56% presentaron índices de buena calidad; 33% de calidad intermedia y 11% de calidad limitada. Con respecto a Bolivia se recopilaron un total de 5 estudios de los cuales 20% presentaron índices de buena calidad; 60% calidad intermedia y 20% calidad limitada. El valor para la mediana en la distribución de puntajes es 6. (Figura 11). Figura 11. Calidad metodológica de los estudios en hombres que tienen sexo con hombres, por país. Región Andina, 2009. Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: Tanto en Perú como en Ecuador, la proporción de estudios de contenido metodológico sólido realizados en hombres que tienen sexo con hombres es similar a la observada en el análisis general de todos los estudios. (80% Vs 82% en Perú y 56% Vs 52% en Ecuador). Para Bolivia en cambio el porcentaje de estudios de metodología sólida es mucho menor en hombres que tienen sexo con hombres que en el total de estudios (20% Vs 68%). Este hallazgo revela que en Bolivia no solo se han hecho proporcionalmente menos estudios en poblaciones clave, sino que además la calidad metodológica de los mismos es menor a la media general. Trabajadoras sexuales En la Base de Datos de Perú se incorporaron un total de 11 estudios realizados en población de trabajadoras sexuales. En el grupo de calidad buena se encuentran 73% de los mismos; en el de calidad intermedia 18% y en el de calidad limitada 9%. En el caso de 27 Ecuador se recopilaron también 11 estudios que tomaron esta población como objetivo. El 45.5% presentaron índices de buena calidad; 45.5% calidad intermedia y 9% calidad limitada. Con respecto a Bolivia se recopilaron un total de 3 estudios de los cuales 1 presentó índice de buena calidad y los otros 2 de calidad intermedia. (Figura 12). Figura 12. Calidad metodológica de los estudios en trabajadoras sexuales, por país. Región Andina, 2009. Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: Si se comparan los gráficos 11 y 12 se observa que los componentes de las barras son muy similares para cada país. De forma semejante a lo que ocurre con los estudios realizados en hombres que tienen sexo con hombres, la proporción de estudios desarrollados con buena calidad en trabajadoras sexuales constituye las tres cuartas partes del total en Perú, la mitad en Ecuador y la cuarta parte en Bolivia. En este último país los estudios en trabajadoras sexuales son pocos y más débiles del punto de vista metodológico cuando se los compara con el promedio de la totalidad de estudios. Personas privadas de libertad En la Base de Datos de Perú se incorporaron un total de 4 estudios realizados en población de personas privadas de libertad. Tres de ellos se encuentran en el grupo de calidad metodológica buena y 1 en el de calidad limitada. En el caso de Ecuador se recopilaron 6 estudios que tomaron esta población como objetivo. Tres de ellos fueron evaluados con índices de buena calidad; 2 presentaron calidad intermedia y el trabajo restante calidad limitada. Con respecto a Bolivia se recopiló 1 estudio, de calidad metodológica buena. (Figura 13). En la figura 13 se tomaron los datos como valores absolutos debido al pequeño número de estudios bajo análisis. 28 Figura 13. Calidad metodológica de los estudios en personas privadas de libertad, por país. Región Andina, 2009. Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: Si bien el número de estudios es bajo, la proporción de trabajos sólidos del punto de vista metodológico parece conservar la misma tendencia que en las otras poblaciones analizadas en Perú y Ecuador. Personas con VIH Cabe destacar que solamente se incluyeron en las bases de datos los estudios en personas con VIH cuyo contenido está relacionado a la epidemia de VIH y con utilidad para la toma de decisiones y el diseño de políticas. Fueron excluidos los documentos de contenido exclusivamente clínico, como por ejemplo los relacionados a tratamientos, efectos adversos de medicamentos, estudios sobre función linfocitaria, etcétera. En la base de datos de Perú se incorporaron un total de 6 estudios realizados en población de personas con VIH. Cuatro de los mismos se encuentran en el grupo de calidad buena; 1 en el de calidad intermedia y también 1 en el de calidad limitada. Para la base de datos de Ecuador se recopilaron 5 estudios que tomaron esta población como objetivo. Ninguno de ellos fue evaluado con índices de buena calidad; 1 presentó calidad intermedia y los otros 4 fueron evaluados con calidad limitada. Con respecto a Bolivia se recopiló un total de 2 estudios, ambos de calidad intermedia. (Figura 14). 29 Figura 14. Calidad metodológica de los estudios en personas con VIH, por país. Región Andina, 2009. Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: En la Figura 14 se observa claramente que tanto en Ecuador como en Bolivia no se recopiló ningún trabajo de buena calidad metodológica, por lo que la evidencia sobre Personas con VIH constituye una importante brecha en la información de estos dos países. Población General En Perú se incorporaron un total de 14 estudios realizados en población general, de los cuales 13 son de calidad metodológica buena, que representa el 93% del total. El estudio restante es de calidad intermedia. Para Ecuador se recopilaron 8 estudios que tomaron esta población como objetivo. El 62.5% presentaron índices de buena calidad; 12.5% calidad intermedia y 25% calidad limitada. Con respecto a Bolivia se recopilaron 7 estudios de los cuales 6 presentaron índice de buena calidad lo que representa el 86% del total. El estudio restante es de calidad metodológica intermedia. (Figura 15) 30 Figura 15. Calidad metodológica de los estudios en población general, por país. Región Andina, 2009. Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: En los tres países se observa que la proporción de trabajos de buena calidad metodológica realizados en la población general está por encima del promedio de todos los estudios. La mayor facilidad de acceso a población general, probablemente posibilite el desarrollo de estrategias metodológicas más sólidas en este grupo. Jóvenes y Adolescentes Se contó con un total de 7 estudios realizados en jóvenes y adolescentes en Perú. Se encontró que 6 de ellos presentaron calidad metodológica buena lo que representa el 86% y solo uno presentó calidad intermedia. Para Ecuador se recopilaron 11 estudios, de los que 7 presentaron índices de buena calidad lo que corresponde al 64%; los otros 4 estudios estuvieron distribuidos equitativamente en los grupos de calidad intermedia y limitada. Con respecto a Bolivia, se recopilaron 5 estudios realizados en jóvenes y todos ellos fueron evaluados con buena calidad metodológica. (Figura 16) 31 Figura 16. Calidad metodológica de los estudios en jóvenes y adolescentes, por país. Región Andina, 2009. Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: Puede observarse que las figuras 15 y 16 son muy similares, lo que implica que en cada país la calidad metodológica de los estudios en estos dos grupos poblacionales es parecida. En los tres países se observa que la proporción de trabajos de buena calidad metodológica realizados en jóvenes y adolescentes está por encima del promedio de todos los estudios. Como en el caso de los estudios desarrollados en población general, es muy probable que la posibilidad de desarrollos metodológicos sólidos esté en parte vinculada a la facilidad de acceso a la población de jóvenes. Comparación de puntajes de calidad metodológica entre poblaciones Para analizar si la diferencia de calidad observada entre los estudios de las diferentes poblaciones era estadísticamente significativa, se dividió a los mismos en 2 grupos: por un lado los estudios de población general y jóvenes y por otro los realizados en hombres que tienen sexo con hombres, trabajadoras sexuales y personas con VIH. Para analizar si la diferencia era estadísticamente significativa, se aplicó la prueba no paramétrica de Kruskal Wallis2 Esta prueba sirve para comparar distribuciones no normales, y pondera la probabilidad de que la diferencia observada entre dichas distribuciones sea solo producto 2 En estadística, la prueba de Kruskal-Wallis es un método no paramétrico para probar si un grupo de datos proviene de la misma población. Ya que es una prueba no paramétrica, la prueba de Kruskal-Wallis no asume normalidad en los datos, en oposición al tradicional ANOVA. La prueba si asume bajo la hipótesis nula que los datos vienen de la misma distribución. 32 del azar. En el caso de Perú se encontró que el puntaje de calidad de los estudios realizados en hombres que tienen sexo con hombres, trabajadoras sexuales y personas con VIH, fue significativamente menor que el puntaje de los estudios de población general y Jóvenes. Esta diferencia resultó estadísticamente significativa con un valor de p= 0.003. En Ecuador y en Bolivia se observó lo mismo; ya que los estudios desarrollados en esas tres poblaciones clave tuvieron menor calidad metodológica que los realizados en población general y jóvenes. Esta diferencia también fue estadísticamente significativa con un valor de p= 0.05 para Ecuador y p= 0.001 para Bolivia. Se concluye que la calidad de los estudios realizados en esas poblaciones clave es inferior a la calidad de los estudios en población general en los tres países analizados. Origen de las debilidades metodológicas Se planteó si la diferencia de puntajes observada entre los estudios realizados en las poblaciones más expuestas y los de población general se debía a alguna limitación metodológica en particular. Para ello se analizaron las debilidades encontradas en cada uno de los 8 criterios metodológicos evaluados para cada grupo. En una apreciación global de las figuras 17 y 18 pueden observarse las debilidades encontradas por criterio para los dos grupos de análisis. El sesgo de selección tomado en cuenta en la variable “técnica de muestreo”, fue el criterio que presentó más debilidades en los trabajos realizados en las poblaciones clave de mayor riesgo, ya que entre el 90 y 92% de los mismos realizaron muestreos por conveniencia. Por el contrario, en la mayoría de los estudios realizados en población general se obtuvieron muestras probabilísticas y sólo en el 10 a 40 % se usó muestreo por conveniencia. Esto se encontró en los tres países aquí analizados y da cuenta de la dificultad de obtener muestreos probabilísticos en las poblaciones más expuestas. Entre los estudios evaluados, se encontró una mínima proporción de investigaciones que utilizaron la modalidad de muestreo dirigido por entrevistados; no habiéndose recopilado ninguna investigación que utilice la técnica conocida como TSS (muestreo basado en tiempo y lugar). La obtención de un tamaño de la muestra adecuado fue el segundo criterio que mostró mayor frecuencia de flaquezas entre los estudios de las poblaciones más expuestas. Esto también fue observado en los tres países, aunque la diferencia fue más evidente en Bolivia y Perú. La obtención de muestras de tamaño insuficiente genera estudios con falta de poder. Este criterio posiblemente también esté ligado a la dificultad de acceder a las poblaciones difíciles de alcanzar. La presencia de debilidades en los otros criterios analizados, no parece seguir un patrón vinculado a la exposición de las poblaciones al VIH. El más frecuentemente hallado fue la falta de consideración de las limitaciones impuestas por la metodología implementada. Este aspecto presentó más frecuentemente debilidades entre los estudios desarrollados en población general y jóvenes tanto en Perú como en Ecuador. En cambio en Bolivia se observó la situación inversa. 33 Figura 17. Origen de las debilidades metodológicas en los estudios de poblaciones clave, por país. Región Andina, 2009. Define Objetivo Criterios de Inclusión Tamaño de la Muestra Técnica de Muestreo Técnica de Disminución Error de Recolección Técnica de Análisis Describe Limitaciones Cálculo de Error Estadístico y/o Valor de p 0 10 20 30 40 50 60 70 80 90 100 Porcentaje de estudios Perú n= 32 Ecuador n= 25 Bolivia n= 10 Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. 34 Figura 18. Origen de las debilidades metodológicas en los estudios de población general y jóvenes, por país. Región Andina, 2009. Define Objetivo Criterios de Inclusión Tamaño de la Muestra Técnica de Muestreo Técnica de Disminución Error de Recolección Técnica de Análisis Describe Limitaciones Cálculo de Error Estadístico y/o Valor de p 0 20 40 60 80 100 Porcentaje de estudios Perú n= 21 Ecuador n= 19 Bolivia n= 12 Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. 35 Hallazgos: Los criterios metodológicos que más frecuentemente presentaron debilidades son la técnica de muestreo y el tamaño adecuado de la muestra. Ambas limitaciones metodológicas se presentaron con mayor frecuencia en los estudios de las poblaciones más expuestas. Esto probablemente se deba a las dificultades vinculadas a situaciones de estigma discriminación e ilegalidad, que se presentan en el abordaje de las poblaciones difíciles de alcanzar. El tercer criterio que presentó mayor frecuencia de debilidades fue no describir las limitaciones del estudio. En este criterio, no se identificó un patrón claramente asociado a la población objetivo, como en el caso de los dos antes mencionados. Discusión Fundamenta esta recopilación de evidencia y su posterior análisis, la idea de facilitar el uso de la información en el proceso de planificación estratégica basadas en evidencia y orientada a resultados. En dicho proceso se utiliza la información para establecer valores de líneas de base, indicadores y metas esperables. Si la información con que se cuenta es consistente a lo largo del tiempo, permitirá evaluar las tendencias en la epidemia y los resultados obtenidos producto de la planificación y gestión de la respuesta nacional. En este proceso iterativo, el conocimiento de los resultados finalmente permitirá evaluar la eficacia de la estrategia implementada y re-orientar o re-formular los planes. El grupo de documentos recopilados en Perú, es un conjunto homogéneo, compuesto mayoritariamente por artículos científicos publicados en revistas internacionales que realizan exhaustivos procesos de revisión de pares. Se han realizado estudios de investigación sobre una gran variedad de poblaciones con distintos grados de exposición al VIH, pero casi dos terceras partes de todo lo investigado corresponden a poblaciones más expuestas. Se han estudiado tanto prevalencias como variables socio-demográficas y de comportamiento en la mayoría de las poblaciones. No se ha recopilado información sobre VIH en relación a personas con discapacidad. Trabajos realizados en otras regiones sugieren que este grupo podría tener incremento en el riesgo de adquirir VIH (24, 25, 26). Las personas con discapacidad también se consideran poblaciones escondidas, pero no por situaciones de ilegalidad, sino porque muchas veces las sociedades “no las ven” o las consideran personas que no están en riesgo de adquirir VIH. El diseño epidemiológico adoptado por la gran mayoría de los trabajos es de tipo transversal. Algunos de los estudios han realizado varios cortes transversales en ciertas poblaciones, implementando la misma metodología a lo largo del tiempo. Esta estrategia si bien no genera la misma evidencia que el seguimiento de una cohorte (donde se siguen los mismos individuos), permite evaluar cambios temporales y establecer tendencias. La calidad metodológica, de la gran mayoría de los trabajos incluidos en la base de datos, es sólida. El 82% de los estudios presentaron un índice de calidad de 8 puntos o mayor. La abundancia de trabajos de investigación de sólida calidad metodológica que pudieron ser 36 incluidos en la base de datos, expresa la importante historia de investigación en VIH que se ha desarrollado en el Perú desde el comienzo de la epidemia. A lo largo de los años este proceso ha contado con la activa participación de instituciones académicas reconocidas, tanto del orden nacional como internacional. Esta visión es coincidente con la de otras revisiones (27). Cuando en el análisis se estratificaron los estudios por población objetivo, se observó que los índices de calidad para los estudios realizados en población general, adolescentes y jóvenes, tienen puntajes mayores que los realizados sobre hombres que tienen sexo con hombres y trabajadoras sexuales, siendo la diferencia entre los dos grupos estadísticamente significativa. Las limitaciones más frecuentemente encontradas en los estudios realizados en las poblaciones clave de mayor riesgo, fueron el inadecuado tamaño de la muestra y el sesgo de selección de individuos, ya que en la mayoría se utilizó muestreo por conveniencia. Estos obstáculos metodológicos son mucho más difíciles de sortear cuando se trabaja con poblaciones escondidas, debido a la discriminación y estigma social que frecuentemente sufren sus miembros. La utilización de nuevas estrategias de muestreo para poblaciones difíciles de alcanzar como TSS (muestreo basado en tiempo y lugar) resulta un desafío a plantear en las futuras investigaciones. En el caso de Ecuador, se observa un grupo heterogéneo de documentos, compuesto fundamentalmente por informes técnicos y artículos científicos, pero que incluyen también algunas presentaciones en PowerPoint y un Poster. De todos ellos solamente el 60% están publicados. La falta de publicación no solo limita la socialización de los resultados, sino que contribuye también a generar trabajos con limitaciones metodológicas. Sería deseable promover la presentación de manuscritos a publicaciones que cuenten con proceso de revisión de pares. En este proceso, la crítica de los pares aportará opciones y señalará aspectos que al final contribuirán a mejorar la calidad de los resultados de las investigaciones Casi el 60% de la investigación incluida en la Base de Datos y Referencias, se realizó en las poblaciones clave para el VIH. Dentro de las poblaciones consideradas menos expuestas, los estudios realizados en jóvenes son los más frecuentes, constituyendo cerca del 20% del total de trabajos. La calidad metodológica presenta una gran dispersión. Aproximadamente la mitad de los estudios tienen índices de buena calidad, la cuarta parte de calidad intermedia y el cuarto restante de calidad limitada. Si se consideran por separado los estudios realizados en Hombres que tienen Sexo con Hombres y Trabajadoras Sexuales, el sesgo de selección y el inadecuado tamaño de la muestra son las principales causas de debilidad metodológica. En cuanto a los estudios realizados en personas con VIH, se encontró que la mayoría de ellos tienen calidad metodológica limitada. Aquí no pudo identificarse una única causa de debilidad metodológica ya que casi todas las características evaluadas mostraron flaquezas. 37 Con respecto al tema investigado se ha compilado una importante cantidad de estudios que centran su atención en Conocimiento, Actitudes y Prácticas. El 60% de los mismos presentan puntajes de buena calidad metodológica. No pasa lo mismo cuando se consideran los estudios serológicos del VIH, ya que además de ser mucho menos frecuentes, solamente cerca del 40% presentan puntajes de buena calidad. Si se focaliza el análisis en los estudios de Sífilis y otras ITS, el panorama es aún más crítico ya que se compilaron y analizaron solo dos estudios, de los cuales uno es de calidad limitada. Por esta razón, la información sobre prevalencia de Sífilis y otras ITS representa una crítica brecha, tanto por la importancia que tienen estas enfermedades en sí mismas como por su relevancia en la expansión de la epidemia del VIH. Estos temas necesitan ser incorporados en la agenda de investigación del país. Finalmente, en el caso de Bolivia, se incluyeron para la caracterización y análisis un total de 25 documentos la mayoría de los cuales son informes técnicos. La cuarta parte de los estudios no han sido publicados. Casi todos los trabajos han seguido diseños de corte transversal con sus diversas modalidades, siendo las más frecuentes las encuestas de Conocimiento, Actitudes y Prácticas (CAP). A diferencia del caso de Ecuador, la calidad metodológica de las encuestas de CAP es inferior a la de las encuestas serológicas del VIH. Solamente un tercio de las investigaciones fueron realizadas en las poblaciones más expuestas. Esta situación no condice con el tipo de epidemia concentrada que presenta Bolivia y sugiere la necesidad de re-direccionar el objetivo hacia los grupos que concentran la epidemia El análisis de la calidad metodológica, muestra que aproximadamente el 70% de los estudios han sido clasificados con buena calidad. Sin embargo esto no es parejo para todas las poblaciones ya que la calidad de los estudios realizados en las poblaciones más expuestas es significativamente inferior a la de los realizados en la población general. Bolivia es el país en que esta diferencia resultó más marcada, lo que lleva a concluir que los estudios realizados en las poblaciones clave son proporcionalmente pocos y de menor calidad metodológica. Esto sugiere la necesidad de reorientar la agenda de investigación del país a fin de priorizar aquellos grupos de individuos en que la carga de la enfermedad es mayor. Aún cuando el objetivo de este análisis no persiguió evaluar aspectos relacionados a la estandarización de variables operacionales, es importante señalar que se observó una amplia variación en las definiciones operativas utilizadas en los países de la región. Esto limita la posibilidad de comparar los estudios tanto en el tiempo como entre diferentes regiones geográficas. El uso consistente de indicadores, y la priorización de los indicadores de UNGASS, requiere ser considerado en las agendas de investigación de los países. Para fortalecer la evidencia relacionada con el VIH/SIDA y otras ITS, es importante instaurar normas y estándares para la definición operacional de variables, que guíen la realización de investigaciones y que garantice su difusión y utilización al momento de planificar acciones para dar respuesta al avance del VIH. 38 Conclusiones sobre uso y utilidad de la herramienta desarrollada  La ausencia de herramientas que de forma sencilla ayuden a analizar la calidad de los datos existentes sobre la epidemia de VIH, ha motivado el desarrollo de este instrumento con formato de lista de verificación.  La utilización de esta herramienta en la experiencia desarrollada en Latinoamérica, ha resultado sencilla y factible. Ha permitido a diferentes usuarios analizar más de 300 estudios de investigación. Durante el proceso de evaluación se hallaron altos índices de concordancia entre los diferentes observadores lo que sugiere que el instrumento es preciso.  La metodología implementada logró discriminar dentro del universo de estudios incluidos en la Base de Datos, a aquellos con mayor capacidad para generar información con respaldo metodológico en las áreas estudiadas. Este acercamiento práctico, permitió identificar los estudios que implementaron estrategias y diseños, que aumentaron la confiabilidad de sus resultados.  La aplicación del instrumento desarrollado, promovió un minucioso análisis metodológico de cada una de las investigaciones, que ha resultado de indiscutible utilidad como paso previo a la triangulación de los datos. De esta manera, aporta también al conocimiento de la solidez en las conclusiones obtenidas a través del proceso de triangulación.  Al permitir tomar en cuenta la calidad de los datos, esta herramienta ha ayudado a redefinir brechas en la información. Tal resultó el caso de ciertas poblaciones o temas investigados, en los que el análisis de calidad de los datos, no encontró estudios de contenido metodológico sólido entre los desarrollados.  La implementación de esta metodología, ha permitido conocer los principales obstáculos metodológicos que enfrentan los investigadores locales, en el estudio de las diferentes poblaciones y proponer posibles alternativas de solución.  Con la utilización de esta herramienta se espera poder contribuir al conocimiento de la epidemia de VIH y promover la calidad metodológica de los estudios, lo que ayudará a guiar las acciones destinadas a contener el avance del virus. 39 Referencias Bibliográficas 1. ONUSIDA/09.36S. 2009. “Situación de la epidemia de sida, diciembre de 2009”. http://data.unaids.org/pub/Report/2009/jc1700_epi_update_2009_es.pdf 2. UNAIDS/WHO. 2002. “Initiating Second Generation HIV Surveillance System: Practical Guidelines. UNAIDS/WHO Working Group on Global HIV/AIDS and STI Surveillance”. http://data.unaids.org/Publications/IRC-pub02/jc742-initiatingsgs_en.pdf 3. UNAIDS/WHO. 2004. “Second Generation Surveillance for HIV: The Next Decade”. http://data.unaids.org/publications/irc-pub01/jc370-2ndgeneration_en.pdf 4. Rodríguez-García R, World Bank Group. 2007. “Planning and Managing for HIV/AIDS Results. A Handbook”. http://siteresources.worldbank.org/INTHIVAIDS/Resources/375798- 1103037153392/Results_Handbook_31Oct2007.pdf 5. Atkins D, Best D, Briss PA, et al. 2004. "Grading quality of evidence and strength of recommendations". BMJ 328 (7454): 1490 6. World Health Organization. 2009. “HIV Triangulation Resource Guide”. http://data.unaids.org/pub/Manual/2009/20090915_hiv_triangulation_resource_guid e_en.pdf 7. Downs S, Black N. 1998. “The feasibility of creating a checklist for the assessment of the methodological quality both of randomized and non-randomised studies of health care interventions”. J Epidemiol Community Health 1998; 52; 377-384. 8. World Health Organization. 1999. “Sexually Transmitted Infections Prevalence Study Methodology. Guidelines for the implementation of STI prevalence surveys”. http://www.wpro.who.int/internet/resources.ashx/HSI/docs/Guidelines_for_the_Impl ementation_of_STI_Prevalence_Surveys.pdf 9. Aschengrau, A. 2003. “Essentials of Epidemiology in Public Health”. Sudbury Mass.: Jones and Barlett. 10. Gordis, L. 2004. “Epidemiology”. Third Edition, Elsevier Saunders. 11. Girden, E. 2001. “Evaluating Research Articles from Start to Finish”. Second Edition, Sage Publications. 12. Hernandez-Avila, M. y col. 2000. “Diseño de estudios epidemiológicos”. Salud pública de México / vol.42, no.2, marzo-abril de 2000. 13. Szklo M. 2006. “Quality of scientific articles”. Rev Saúde Pública 2006; 40 (N Esp):30-5. 14. Velasco, V. y col. 2003. “Muestreo y Tamaño de Muestra. Una guía práctica para personal de salud que realiza investigación”. e-libro.net. Buenos Aires 15. Salganik M, Heckathorn D. 2004. “Sampling and Estimation in Hidden Populations Using Respondent-Driven Sampling”. Sociological Methodology, Vol. 34. (2004), pp. 193-239 16. Muhib F, Lin L, et al. 2001. “A venue-based method for sampling hard-to-reach populations”. Public Health Rep. 2001; 116(Suppl 1): 216–222. 17. UNAIDS/WHO/UNICEF. 2008. “Epidemiological fact sheets on HIV and AIDS”. http://www.unaids.org/en/KnowledgeCentre/HIVData/Epidemiology/epifactsheets.as p 40 18. CARE-Perú. 2008. “Cuarta Medición de Indicadores de los Objetivos 2-4 del Componente VIH”. http://www.bvcooperacion.pe/biblioteca/handle/123456789/6135 19. Bautista, C.T., Sánchez J.L., Montano S.M., Laguna-Torres V.A., Lama J.R., Kusunaki L., y Carr J.K. 2004. “Seroprevalence of and risk factors for HIV-1 Infection among South American men who have sex with men”. Sex Transm. Infect. 2004 80:498-504 20. Ministerio de Salud y Deportes, ONUSIDA, OPS/OMS, USAID, CDC, IBIS-HIVOS. 2008. ” Estudio de Sexualidad Masculina y VIH en Bolivia (SEMVBO) ”. La Paz, Bolivia 2010 21. Ministerio de Salud, Estrategia Sanitaria Nacional de ITS/VIH/SIDA, Coordinadora Nacional en Salud, ASAP, Perú. 2009. “Base de Datos y Referencias para una Estrategia Basada en Evidencia”. 22. Programa Nacional de Prevención y Control del VIH/SIDA-ITS del Ministerio de Salud Pública, ASAP, Ecuador. 2009. “Base de Datos y Referencias para una Estrategia Basada en Evidencia”. 23. Ministerio de Salud y Deportes Programa Nacional ITS/VIH/SIDA, ASAP, Bolivia. 2009. “Base de Datos y Referencias para una Estrategia Basada en Evidencia”. 24. Maart S, Jelsma J. 2010. “The sexual behaviour of physically disabled adolescents”. Disabil Rehabil. 2010;32(6):438-43. 25. Heidari S, Kippax S. 2009. “Special theme on HIV and disability - time for closer bonds”. J Int AIDS Soc. 2009 Nov 9;12(1): 26. Rohleder P, Braathen SH, Swartz L, Eide AH. 2009. “HIV/AIDS and disability in Southern Africa: a review of relevant literature”. Disabil Rehabil. 2009;31(1):51-9. PubMed PMID: 19194810. 27. Cáceres CF, Mendoza W. 2004. “Monitoring Trends in Sexual Behaviour and HIV/STIs in Peru: Are Available Data Sufficient?”. Sex Transm Infect 2004; Suppl 2:ii80-4. 41 Anexo 1: Instrumento guía de evaluación Caracterización de los documentos 1. Tipo de documento La gran variedad de documentos que son presentados como fuente de datos a considerar, hace prioritario determinar su tipo, en base a las características de su estructura.  Artículo científico o manuscrito: Este tipo de documento tiene una estructura que sigue un formato determinado que incluye diferentes secciones. Estas son: resumen, introducción, objetivo, materiales y métodos, resultados, discusión, conclusiones y referencias.  Resumen sin documento original: (abstract) Se cuenta solamente con el resumen del estudio no habiendo sido posible acceder al documento completo.  Poster: Son presentaciones realizadas mediante afiches en diversos contextos científicos y académicos. Si bien tienen la misma estructura u organización que los artículos científicos, las secciones se presentan resumidas por razones de espacio.  Presentación en PPT: Presentación de la información en formato electrónico de tipo PowerPoint u otros programas similares de presentaciones con formato y texto esquematizado.  Informes técnicos: Los informes técnicos pueden ser clasificados según su nivel de revisión en informe preliminar (si se trata de una versión que será sometida a revisión ulterior) e informe final, (cuando se trata de la versión definitiva). Si tomamos en cuenta la extensión del reporte, éstos pueden ser informes resumidos o extensos.  Monografía/ tesis: Documentos extensos presentados por profesionales en formación, donde se analiza en profundidad un tema de investigación. Su estructura básica es similar a la de los artículos científicos. En general están disponibles en las universidades.  Reportes del Departamento de Epidemiología del Ministerio de Salud: Reportes de vigilancia epidemiológica activa y pasiva (Casos, Laboratorio, Bancos de Sangre, etc.) y reportes de programas. 42 2. Estado y forma de publicación Es importante conocer el estado de publicación de los estudios y documentos, así como el medio en el que éstos fueron socializados. Caracterizamos el estado de publicación en los siguientes puntos:  Publicado en revistas científicas con proceso de revisión de pares: Los trabajos publicados en estos medios, son sometidos a un detallado análisis de sus características metodológicas por un comité de expertos, antes de ser aceptados para su publicación.  Publicado en revistas sin revisión de pares: Los estudios publicados por este medio no cuentan con el “control de calidad” definido por el grupo de expertos mencionado anteriormente.  Publicado en Boletín Oficial: Estudios o datos socializados a través de publicaciones periódicas del Ministerio de Salud, como boletines o revistas oficiales.  Publicación técnica aislada, de Gobierno, Sociedad Civil o Agencia: Son publicaciones aisladas o no regulares, que utilizan lenguaje técnico. Pueden encontrarse publicadas en forma impresa o disponible en internet.  Publicación dirigida a la población general: Estas publicaciones contienen lenguaje no técnico y están dirigidas a la población general. En ellas no suelen mencionarse los detalles metodológicos del trabajo. Pueden ser aisladas o periódicas y presentarse en forma impresa o en internet.  No publicado: No existe publicación formal de estos documentos, ni están disponibles en internet.  Sin Dato: No ha sido posible encontrar el dato del estado de publicación del documento. 3. Diseño En razón de las diferentes situaciones que se plantean en la investigación, es que se han definido diferentes diseños de estudios epidemiológicos. La elección de un diseño adecuado es sumamente importante para el éxito y la eficiencia del estudio. Los tipos de diseño se clasifican en:  Cohorte prospectiva  Cohorte retrospectiva  Ensayo clínico o estudio experimental  Casos y controles 43  Estudios transversales, también llamados de encuesta o de prevalencia: - Encuesta serológica - Encuesta de Conocimiento, Actitudes y Prácticas - Encuestas Demográficas y de Salud - Estudios transversales desarrollados sobre otros tópicos  Serie de casos  Otros 4. Población objetivo o universo. Este ítem toma en cuenta la población a la que fue dirigido cada estudio:  Personas con VIH  Hombres que tienen sexo con hombres  Trabajadoras/Trabajadores sexuales  Usuarios de drogas intravenosas  Personas Privadas de Libertad  Población Móvil  Embarazadas  Población General  Jóvenes  Otras poblaciones definidas por el país Evaluación contenido metodológico Se definieron ocho ítems o características, vinculadas a las “buenas prácticas”. El análisis de estas características metodológicas permite recabar importante información como por ejemplo presencia de sesgos, poder estadístico, o factibilidad de realizar generalizaciones a partir de los hallazgos. Para cada una de ellas ha sido formulada una pregunta que puede ser respondida por sí o no. Si la respuesta es afirmativa se adjudica 1 punto; si es negativa corresponde 0. Tres de los ítems han sido ponderados por su importancia crítica y su resultado se multiplica por un factor de dos. Estos son, el tamaño de la muestra, la técnica de muestreo, y el desarrollo de acciones para reducir el error en la recolección de datos. Para finalizar se realiza la sumatoria de los resultados parciales, obteniéndose un puntaje total que ha sido tomado como índice de calidad del contenido metodológico. La escala de puntajes tiene un rango de 0 a 11. Se han definido dos puntos de corte en esta escala, considerándose que los puntajes de 8 o mayores representan calidad metodológica buena, los de 5 a 7 representan calidad intermedia y los de 4 o menores, calidad limitada. 1. Objetivo del estudio ¿Se definen claramente el/los objetivos del estudio? ¿El desarrollo y los resultados del estudio responden a los mismos? La respuesta a ambas preguntas debe ser sí. Si= 1 44 No= 0 2. Criterios de inclusión ¿Están establecidos y detallados cuales fueron los criterios para la inclusión / exclusión de los sujetos en la muestra? Si= 1 No= 0 3. Tamaño de la muestra ¿El tamaño de la muestra fue calculado permitiendo que el estudio tenga suficiente poder estadístico? ¿Se reclutó un número de sujetos cercano al calculado? La respuesta a ambas preguntas debe ser sí. Si= 1 (criterio ponderado x2) No= 0 4. Técnica de muestreo ¿Los individuos fueron seleccionados utilizando un método de muestreo probabilístico? Si= 1 (criterio ponderado x2) No= 0 5. Técnicas para reducir el error de recolección de datos ¿Se han realizado acciones tendientes a minimizar el error en la recolección de datos? Si= 1 (criterio ponderado x2) No= 0 6. Describe técnica/lógica del análisis de los datos ¿El estudio presenta o describe cual ha sido el plan de análisis de los datos, que incluye análisis univariado, bivariado o multivariado (cuando corresponda) para dar respuesta a los objetivos del estudio? Si= 1 No= 0 7. Limitaciones ¿El estudio reconoce describe o evalúa la presencia de las limitaciones (sesgos) impuestas por la metodología? Si= 1 No= 0 8. Significación estadística e intervalos de confianza ¿Se presenta los resultados con adecuada valoración de sus intervalos de confianza y la significación estadística de los hallazgos? Si= 1 No= 0 45 Puntos de corte en el puntaje total: 8 puntos y más: Calidad metodológica buena 5 a 7 puntos: Calidad metodológica intermedia 4 puntos y menos: Calidad metodológica limitada La Tabla 1A facilita el volcado de los datos obtenidos de cada estudio. En la página siguiente se muestra un ejemplo de su llenado. 46 Tabla 1A. Clasificación metodológica de los estudios incluidos en la base de datos. País “X”, 2009. Contenido Técnico Reduce error de Cálcula tamaño Define objetivo Define Criterio Significación limitaciones de muestra recolección estadística inclusión y Técnica de Técnica de muestreo exclusión Describe análisis o Tipo de Estado de Tipo de Estudio y Puntaje N Población Documento Publicación Diseño Max: 11 Ponderación 1 1 2 2 2 1 1 1 Mujeres 1 Monografía No publicado Transversal 1 1 0 0 0 0 0 1 3 histerectomizadas Artículo Revista con 2 Experimental Estudiantes 1 1 0 1 1 1 1 1 9 científico revisión de pares Transversal: Hombres que Artículo Revista con 3 encuesta serológica tienen sexo con 1 1 1 0 1 1 1 1 9 científico revisión de pares y CAP hombres Artículo Revista con Transversal: Trabajadoras 4 1 1 1 0 1 1 1 1 9 científico revisión de pares encuesta serológica sexuales Artículo Transversal: Trabajadores 5 Boletín oficial 1 0 0 0 0 1 0 0 2 científico encuesta serológica petroleros Transversal: Artículo Trabajadoras 6 Boletín oficial encuesta serológica 1 0 0 0 1 1 0 1 5 científico sexuales y CAP Artículo Transversal: Mujeres 7 Sin Dato 1 1 0 0 0 1 0 0 3 científico encuesta CAP adolescentes Transversal: Informe Publicación encuesta 8 Población general 1 1 1 1 1 1 1 1 11 técnico técnica Demográfica y de Salud Reproductiva Hombres que Informe Transversal: 9 No publicado tienen sexo con 1 0 1 0 1 1 0 0 6 técnico encuesta CAP hombres Transversal: Jóvenes 1 1 1 1 1 1 0 0 9 Informe Publicación encuesta CAP 10 técnico técnica Trabajadoras Serie de casos 1 0 0 0 1 1 0 0 4 sexuales CAP: Conocimiento, Actitudes y Prácticas 47 Anexo 2: Agradecimientos Este documento se benefició de un proceso de revisión de pares que incluyó especialistas que revisaron las versiones en inglés y español del documento. Los autores desean agradecer y reconocer a los siguientes revisores (en orden alfabética por nombre) por proporcionar sus comentarios útiles como también sus puntos de vista: Amparo Gordillo Tobar, Región Latinoamericana y el Caribe, Banco Mundial Andrea Boccardi Vidarte, ONUSIDA Latinoamérica César Nuñez, ONUSIDA Latinoamérica Claudia Velásquez, ONUSIDA Latinoamérica Danilo Rayo, Especialista, Nicaragua Hernán Laca, Especialista, Uruguay Javier Jahnsen, Especialista, Bolivia Marcelo Bortman, Región Latinoamericana y el Caribe, Banco Mundial Marjolein Jacobs, ONUSIDA Latinoamérica Olivier Grégoire, Especialista, Bélgica Patricia Bracamonte, ONUSIDA Latinoamérica Los autores aprecian los servicios de traducción y el apoyo editorial de Claudia J. Santos. Un agradecimiento especial va para Mario Méndez del Programa Global de VIH y SIDA, Salud, Nutrición y Población (HNP, por sus siglas en inglés), Red para el Desarrollo Humano (HDN, por sus siglas in inglés), Banco Mundial, por su apoyo en traducción y administración proporcionado al equipo. Cualquier error u omisión en el documento es únicamente el de los autores y no implica de ninguna manera a los individuos antes mencionados que indulgentemente proporcionaron sus comentarios y asesoramiento. 48