Motivacion

• Confiabilidad en la evidencia

  • Fraude

  • Incapacidad de Reproducir Resultados

Normas para la investigación ética

• Normas Mertonianas (Merton 1942)

  • Universalismo

  • Comunalismo

  • Desinterés

  • Escepticismo Organizado

Normas en la práctica

(Anderson et al 2007)

• Universalismo - Particularismo

• Comunalismo - Secretismo

• Desinterés - Interés

• Escepticismo Organizado - Dogmatismo Organizado

• Gobernanza - Administración

• Calidad - Cantidad

Problemas

• Sesgo de publicación

• Búsqueda de especificaciones

Modelo conceptual para aproximar estos problemas

Revisión tipos de error

Modelo conceptual para aproximar estos problemas

• Ioannidis (2005) "Why Most Published Research Findings Are False".

• Proporciona un marco teórico para entender por qué una gran proporción de los hallazgos científicos pueden ser falsos positivos.

• Fundamenta en la estadística bayesiana y en varias consideraciones prácticas del proceso de investigación.

Modelo conceptual para aproximar estos problemas

Valor predictivo positivo (positive predictive value o PPV)

$$PPV = Pr(V | S)$$

$$P(V | S) = \frac{P(S | V) \cdot P(V)}{P(S)}$$

Modelo conceptual para aproximar estos problemas

Valor predictivo positivo (positive predictive value o PPV)

$$P(V | S) = \frac{P(S | V) \cdot P(V)}{P(S)}$$

$$P(V) = \frac{R}{R+1}$$

• $R$ como la relación entre el número de “relaciones verdaderas” y “ninguna relación”

$$P(S | V) = 1 - \beta$$ $$P(S | F) = \alpha$$

Modelo conceptual para aproximar estos problemas

Valor predictivo positivo (positive predictive value o PPV)

$$P(V | S) = \frac{P(S | V) \cdot P(V)}{P(S)}$$

$$P(V) = \frac{R}{R+1}$$

• $R$ como la relación entre el número de “relaciones verdaderas” y “ninguna relación”

$$P(S | V) = 1 - \beta$$ $$P(S | F) = \alpha$$

Modelo conceptual para aproximar estos problemas

Valor predictivo positivo (positive predictive value o PPV)

$$PPV = P(V | S) = \frac{(1 - \beta) \cdot R}{(1 - \beta) \cdot R + \alpha }$$

Modelo conceptual para aproximar estos problemas

Valor predictivo positivo (positive predictive value o PPV)

• Incorporamos $u$ sesgo del investigador

$$PPV= \frac{(1 - \beta) \cdot R + u \beta R}{(1 - \beta) \cdot R + \alpha + u\beta R + u(1- \alpha)}$$

Evidencia del problema

• Sesgos de publicación

• Búsqueda de especificaciones

Soluciones: Promoviendo Ciencia Transparente

• La investigación puede tener sesgos individuales y en la literatura.

• El meta-análisis y las revisiones de la literatura tienen limitaciones.

• Los registros de estudios y planes de análisis previos (PAPs) pueden ayudar a mitigar los sesgos.

Registros de estudios

• Los registros de estudios ayudan a encontrar investigaciones y lidiar con el sesgo de publicación.

• La prescripción de estudios es crucial para la transparencia.

• Los registros son la norma en la investigación médica para experimentos aleatorios.

• Los registros a menudo incluyen (o enlazan a) planes de análisis previos (PAP) como parte del protocolo del proyecto.

Planes de análisis previos (PAPs)

Tres Objetivos:

• Establecer (y acordar) intenciones y expectativas ex ante

• Evitar malos análisis de datos ex-post

• Mejorar diseños

Planes de análisis previos (PAPs)

¿Qué incluir en un PAP?

• Diseño del estudio
• Muestra del estudio
• Medidas de resultado
• Familias de efectos
• Ajuste de pruebas de hipótesis múltiples
• Subgrupos
• Dirección del efecto
• Especificación estadística exacta
• Modelo estructural
• ¡Sello que registre cuando fue publicado!

Planes de análisis previos (PAPs)

Establecer intenciones y expectativas ex-ante

• Un hallazgo de efecto heterogéneo es más creíble cuando se especifica previamente

• Las afirmaciones de que los resultados son "sorprendentes" son más creíbles cuando el PAP documenta la expectativa opuesta

• A veces, los miembros del equipo y los socios no están de acuerdo sobre lo que ''quisimos hacer todo el tiempo'': los PAP son un buen lugar para resolver eso de antemano.

Planes de análisis previos (PAPs)

Evitar malos análisis de datos ex-post

• p-hacking

• Cambio de variables de resultados

• Análisis de subgrupos por conveniencia

Planes de análisis previos (PAPs)

Los PAP no son contratos inquebrantables

... eso es probablemente algo bueno

• ¡La gente prerregistra malos análisis!

• Aprendemos sobre nuevos / mejores análisis

• Los revisores tendrán su opinión

  ... con lamentables consecuencias
  

  • Incluso con los PAP, la gente hace sus malos análisis ex-post todo el tiempo

Planes de análisis previos (PAPs)

El objetivo principal: mejorar los diseños.

• El momento de escribir un plan de preanálisis suele ser la primera vez que pensamos en el diseño en su totalidad.

• Hacer el cambio de "buena idea" a "diseño real" significa ser específico

• Este es el momento de participar en la declaración de diseño

Planes de análisis previos (PAPs)

Reportes Registrados

• son un formato de publicación que enfatiza la importancia de la pregunta de investigación y la calidad de la metodología.

• Los autores primero escriben un protocolo de estudio detallado en el PAP

• luego lo envían a una revista antes que el experimento inicie o se recolecten los datos. La revista revisa el plan y da una aceptación en principio o no.

Soluciones: Reproducibilidad y Transparencia en los procesos analíticos

• La reproducibilidad en la investigación se refiere a la capacidad de otros investigadores para obtener resultados similares o idénticos al repetir un estudio utilizando la misma metodología y datos.

• Es un principio fundamental para garantizar la confiabilidad y validez de la ciencia, y juega un papel crucial en la promoción de la transparencia.

Soluciones: Reproducibilidad y Transparencia en los procesos analíticos

Soluciones: Reproducibilidad y Transparencia en los procesos analíticos

• Permite el escrutinio público y la detección de errores

• Facilita la evaluación crítica de la investigación

• Promueve la colaboración y el intercambio de conocimiento

• Combate el sesgo de publicación y búsqueda de especificaciones

• Aumenta la confianza en la ciencia y la credibilidad de los investigadores

Soluciones: Reproducibilidad y Transparencia en los procesos analíticos

Plan para el miércoles

• Flujos de trabajo reproducible

• Examinaremos Mirza et al (2021) Global inequality remotely sensed