Cuando el jurado te dice "Por qué tu variable tiene una influencia SIGNIFICATIVA sobre..."

A veces la gente pregunta cómo saber si los resultados son significativos.

El problema es que la palabra significativo tiene diferentes significados en el lenguaje cotidiano y difiere del lenguaje estadístico.

En el lenguaje cotidiano significativo puede significar grande o importante. Por ejemplo, podríamos decir que las ganancias son significativamente más este año de lo que fueron el año pasado, lo que implica que la diferencia es bastante grande; o podríamos decir que ha habido un aumento significativo en la temperatura para enfatizar el aumento como importante, pero podría ser bastante pequeño, por lo que esos son dos significados cotidianos de significativo, es decir, grande e importante, pero en el análisis estadístico la palabra significativo significa algo muy diferente, algo que puede ser estadísticamente significativo y ser pequeño y sin importancia.

Esto es un problema con los informes de investigación porque cuando la gente dice que los resultados son significativos, la gente piensa que eso significa grande e importante, pero en realidad podría no serlo necesariamente.

Cuando un resultado es estadísticamente significativo consta que tenemos evidencia en nuestra muestra que el efecto que está en la muestra existe también en la población.

Generalmente, usamos un valor p (p value) para decidir si algo es estadísticamente significativo; usamos el valor p para determinar si el efecto que aparece en la muestra indica que hay también un efecto en la población o, de lo contrario, podría haber ocurrido simplemente por casualidad o por error de muestreo.

En las ciencias sociales, cuando un valor p es menor a 0.05 decimos que el resultado es significativo.

Cuando rechazamos la hipótesis nula (no hay efecto), estamos diciendo que hay un efecto que demuestra que el resultado es estadísticamente significativo, por lo que el valor p rechaza el resultado estadísticamente significativo de la hipótesis nula.

Por otro lado, si tienes una muestra grande, casi cualquier cosa podría ser estadísticamente significativa pero puede tener un efecto muy pequeño, pero debido a que nuestra muestra es tan grande y es una buena representación de la población podríamos decir que es estadísticamente significativo, pero el resultado podría ser absolutamente inútil.

Si tienes una muestra muy pequeña, es poco probable que tu resultado sea estadísticamente significativo a menos que haya un efecto notable.

Así es que, cuando hagas un informe de investigación con el término estadísticamente significativo no uses la palabra significativa por sí sola y definitivamente no la uses para expresar algo grande o importante; sino, usa frases como “estadísticamente probable”.

https://www.youtube.com/watch?v=b6VJINPaHbA

Fuente principal: Statistics learning center and creative. 2021

Fuente textual aquí.