Otros

El contraste chi cuadrado de Pearson tiene dos aplicaciones bien diferenciadas: por un lado, se utiliza como una prueba de bondad de ajuste de un conjunto de datos a una distribución de probabilidad concreta, y por otro, como prueba de independencia en una tabla de contingencia. Durante los largos años de docencia de estadística, he consultado cientos de referencias bibliográficas y apuntes y en ellos he podido comprobar que frecuentemente se presenta la prueba chi-cuadrado en sus dos vertientes prácticas al mismo tiempo, y normalmente en el contexto de ir mostrando las pruebas de hipótesis más utilizadas una a una, primero contrastes sobre la media, luego sobre la proporción y la varianza, diferencia de medias y proporciones, igualdad de varianzas, etc, y finalmente aparece la prueba chi-cuadrado como una prueba especial, en la que se dice al estudiante que se puede aplicar de dos maneras. Puedo entender el dilema al que se enfrentan los profesores: ya que hay explicar la distribución chi cuadrado, vamos a matar dos pájaros de un tiro, y presentamos sus dos aplicaciones, porque de otra forma deberíamos explicar lo mismo dos veces.

Pero es que no es explicar lo mismo. No debería haber ninguna duda al respecto. Si bien las dos pruebas utilizan el mismo estadístico chi cuadrado y este se distribuye según la distribución chi cuadrado, las dos pruebas se aplican de forma bien diferente aunque tengan el mismo fundamento teórico. Muy probablemente, la presentación conjunta de las pruebas se deba a la tendencia a presentar la estadística en forma teórica, primero a través de sus diatribuciones y luego deduciendo las distribuciones de los estadísticos más utilizados. Tendencia errónea, que ha llevado frecuentemente a presentar la estadística fuera de toda aplicación (y es que muchas veces ocurre que para cuando se ha presentado toda la parte teórica de la estadística, el curso ya se ha acabado, justo cuando empezaba lo interesante), pero eso es ya otro tema.

En la mayoría de los estudios universitarios, la estadística debe enseñarse en su vertiente aplicada, y con dichas aplicaciones bien diferenciadas. Por ello, personalmente, creo que la prueba chi-cuadrado no debería aparecer tal cual como tema aparte en ningún caso, y mucho menos presentando una tras otra sus aplicaciones. Lo correcto y procedente es dar un tema sobre pruebas de ajuste, y enseñar la prueba chi cuadrado en relación a esa aplicación, junto con alguna otra prueba de ajuste, por ejemplo la prueba de Kolmogorov-Smirnov (siempre hay que presentar una técnica alternativa si la hay), y otro tema sobre pruebas de independencia, en la que se debería no repetir, sino reformular la prueba chi cuadrado, junto con la prueba exacta de Fisher por ejemplo.

La varianza y la desviación típica son uno de los contenidos más frecuentes en una introducción en la estadística. Su uso es generalizado en toda área de la estadística, siendo además los dos estadísticos más utilizados como medidas de dispersión.

Como es de sobra conocido, la varianza es el cuadrado de la desviación típica (o las desviación típica la raiz positiva de la varianza), es decir tanto monta, monta tanto, ... Y entonces, ¿cómo es que se denominan con diferentes nombres a las dos? No sería más económico, dar un nombre a uno de ellas, y denominar a la otra a partir de la primera? ¿Para qué sirve tal galimatías (aunque no sea tanto, también es cierto), si al final de una se saca la otra? De hecho, una de las confusiones frecuentes en estadística se refiere a si al especificar una distribución normal, debemos tomar además de la media como parámetro de la distribución la varianza () o la desviación típica ()

La respuesta es clara: los dos estadísticos se utilizan profusamente, pero no da igual una que la otra, porque se utilizan en contextos diferentes y además tienen diferentes propiedades. Y por ello es lógico que cada una tenga su nombre, porque en cada situación nos convendrá utilizar más una que la otra.

Respecto a la varianza, lo más interesante son sus propiedades, especialmente la aditividad: la varianza de la suma de un conjunto de variables es la suma de las varianzas, siempre que dichas variables sean estadísticamente independientes entre si. De modo que a la hora de definir un modelo sea más habitual definirlo en términos de varianza para deducir de forma más cómoda las propiedades del modelo, a partir de dichas varianzas.

Sin embargo, la desviación típica no es aditiva en ese sentido. Nunca se deben sumar las desviaciones, que por otra parte es un error común entre los estudiantes a la hora de resolver problemas. Para calcular la desviación de una suma, hay que sumar las varianzas y luego calcular la raiz de dicha varianza ( por ejemplo, si las desviaciones de dos variables son 2 y 3 y sumamos las variables, la desviación de la suma de las dos variables no es sino ). Imaginemos que tenemos que explicar todo esto, utilizando las expresiones desviacion y desviación al cuadrado (o varianza y raíz de varianza). ¡Eso sí que sería un perfecto galimatías!

Pero por otra parte, la desviación si bien no cumple la propiedad reseñada, tiene una ventaja importante y es que su valor tiene un significado concreto: la desviación típica es la desviación media a la media aritmética o valor esperado. En cambio, el valor de la varianza no tiene un significado directo. Por ejemplo, si la desviación de las notas de un grupo de alumnos es 2 puntos, sabemos a que nos referimos. Pero el hecho de que la varianza sea no tiene significado propio. Por ello, cuando queremos otorgar un significado concreto a un resultado, es más conveniente referirse a la desviación típica, y por eso le damos un nombre propio.

Aunque con diferentes denominaciones (media, promedio, medida central), el promedio es el cálculo estadístico más frecuente en la práctica, y el promedio por antonomasia la media aritmética simple: se sitúa perfectamente en el centro de gravedad de los datos, por lo que coincide absolutamente con el significado etimológico del promedio, “hacia el medio”. Sin embargo, su habitual utilización no nos debe llevar a utilizarla sin un sentido adecuado de la oportunidad. Y es que la estadística nos proporciona una amplia panoplia de promedios alternativos a la media simple, ajustados a diferentes circunstancias.

Recordemos en primer lugar que no todas las medidas de tendencia central en estadística son promedios. Definiremos promedios como aquellos estadísticos de tendencia central que, si no todos los datos, utilizan una parte de significativa de ellos y los promedian, es decir los aúnan, los combinan, para proporcionar un único valor representativo de toda de la muestra. Al promediar, lo que queremos es utilizar todos o una gran parte de los datos que tenemos, tener en cuenta gran parte de la información contenida en los datos.

Dado que la media aritmética simple es el promedio más utilizado, veamos cuales son las situaciones en las deberíamos dejarla a un lado y optar por otro promedio más adecuado a la situación.

La media aritmética simple asigna igual peso o importancia, más rigurosamente misma ponderación, a todos los datos de una muestra. Pero es que a veces no todos los datos de la muestra deben ser tomados por igual al calcular su promedio. El ejemplo más claro son las sucesivas calificaciones de un estudiante: si las notas corresponden a lecciones con diferente importancia porcentual de cara a la nota global, deberían ser consideradas de forma también desigual al calcular el promedio. Otro ejemplo frecuente son los promedios de porcentajes relativos a diferentes totales, porcentajes que deben promediar en relación a dichos totales. Para estos casos utilizaremos la media aritmética ponderada, que además de los datos, tiene en cuenta la ponderación o peso atribuido a cada dato.

En otros casos es la propia naturaleza de los datos la que nos obliga a buscar alternativas a la media aritmética: (1) en el caso de datos relativos a errores, tanto positivos como negativos, el uso de la media simple provoca un efecto de compensación de errores que conlleva su completa distorsión; para esos casos, deberá utilizarse la media cuadrática; (2) para las tasas de crecimiento y tipos de interés, la media geométrica será la que meustre coherencia con la ley de crecimiento exponencial; (3) finalmente, para rendimientos y velocidades medias, la media armónica aparece como el promedio que coincide con el significado original de rendimiento y velocidad.

Pero el problema más habitual que suele presentar el uso de la media aritmética  como promedio es la aparición de datos atípicos en la muestra, que provocan la distorsión del resultado de la media e invalidarla absolutamente. Por ejemplo, hemos muestreado estos datos sobre rentas familiares en un barrio concreto:

96  99 101  92  91  89  90 105 107 111  99

114 120  85 109  95 112  88 116 98 535

Como podemos comprobar que las mayorías de rentas están comprendidas entre 85 y 116, excepto los potentados del barrio que llegan a una renta de 535  (prescindo de unidades). La renta media es 121.5, que es evidente que no resulta un valor representativo del conjunto de datos. Nadie, excepto los potentados, llega a una renta de 121.5. Lo que ha ocurrido es que la renta atípica de 535 ha arrastrado a la media hacia arriba desde alrededor de 100, valor más coherente con el concepto de centralidad que buscamos cuando calculamos el promedio para estos datos.

Cuando un estadístico es especialmente sensible a la presencia de valotes atípicos, decimos que es una medida no robusta. La utilización de medidas robustas es una condición a imponer en cualquier estudio estadístico en los que se dan datos atípicos, y como hemos comprobado la media aritmética no lo es.

La medida de centralización robusta más utilizada es la mediana, que coincide con el dato que se sitúa en el centro de la distribución. Sin embargo, la mediana no es un promedio y ahí precisamente radica su principal inconveniente, que infrautiliza la información contenida en los datos, al tomar como referencia únicamente el dato central.

Lo ideal sería que dispusiéramos de promedios, medidas centrales que utilizan un número significativo de datos, que fuesen al mismo tiempo robustos. ¿Existen? Afortunadamente, sí. A continuación presentamos los más básicos y utilizados:

• Medias truncadas o recortadas, aquellas que prescinden de su cálculo a un porcentaje o número dado de datos en cada extremo.
• Media intercuartílica, aquella media recortada al 25% en cada extremo, es decir, limitada al 50% central de datos.
• Medias winsorizadas, similares  en origen a las medias recortadas, pero que en lugar de eliminar los datos extremos, los sustituyen por los valores de los datos más cercanos sin sustituir.
• Media de cuartiles (en inglés, midhinge, literalmente bisagra media), que no es mñas que la media del primer y tercer cuartiles.
• Trimedia, media de mediana y primer y tercer cuartiles.

Además de estos promedios, más bien de andar por casa, también disponemos de otros más avanzados, basados en el método de los M-estimadores. Pero esto ya sería tema de otra entrada.

Y una pregunta para ti, lector, acerca de los promedios propuestos, ¿cuáles serían los que más promedian? ¿Y los que menos?

En abril de 2020, cuando el COVID-19 golpeaba con más fuerza a lo largo y ancho del mundo, una noticia vinculó los datos respecto a la enfermedad con la política y el discurso feminista: siete paises con mujeres al frente de su gobierno habían obtenidos mejores resultados en la gestión de la enfermedad, lo que se utilizaba como prueba de que las mujeres lo pueden hacer y de hecho lo hacen mejor que los hombres en la gestión de crisis. Analizar dicho argumento es interesante desde el punto estadístico.

Tomemos como única evidencia que siete paises con buenos datos de COVID-19 tienen a mujeres como gobernantes. La probabilidad de dicho suceso suponiendo que los dos sexos son iguales (es decir tomando como hipótesis nula que la probabilidad de que gobierne una mujer en un pais con buenos datos es 0.5) es de 0.5⁷ =1/128. Es sin duda una probabilidad pequeña, menor que los niveles de significación más utilizados en la realización de contrastes (10%, 5%, 1%), que nos llevaría a la conclusión de que las mujeres realmente fueron mejores gestoras en la crisis.

Sin embargo, un análisis más riguroso nos debería llevar a considerar cuál es el número de paises con mujeres al frente en el mundo y de estas cuantas han obtenido mejores resultados. Según datos proporcionados por Naciones Unidas, de los 193 paises del mundo en 2019 solo 10 eran gobernados por mujeres. Si consideramos que un pais lo hace mejor si ostenta mejores datos que el 50% con peores datos, dispondríamos de la siguiente evidencia: de los 97 peores paises, 3 estarían gobernados por mujeres, y de los 96 mejores serían 7 los que contaran con una mujer al frente. Veamos cual es la probabilidad de que bajo la prudente hipótesis de que las mujeres no tienen mejor capacidad de gestión que los hombres, se haya dado dicha evidencia. Para ello debemos valernos de la distribución hipergeométrica, mas concretamente de una aplicación de dicha distribución, el test exacto de Fisher más concretamente, que bajo la hipótesis de total aleatoriedad en la asignación de elementos a la categorías dentro de la tabla dados los totales, calcula la probabilidad de obtener al menos una frecuencia concreta. En nuestro caso se debería calcular la probabilidad de que las 10 mujeres 7 o más se sitúen en el rango del 50% de paises con mejores resultados:

   

La evidencia tomada desde una perspectiva más global no resulta tan concluyente: no es extraño que 7 paises al menos de 10 con mujeres gobernando estén entre aquello con los mejores datos. La probabilidad en un reparto aleatorio de que dicha evidencia es de un 16.11%, lo cual llevaría a aceptar la hipótesis de aleatoriedad, y por tanto de igualdad de sexos, bajo un nivel de significación incluso del 10% (es decir, siendo bastante escépticos con la hipótesis nula de igualdad frente a aquella que establece que las mujeres son mejores).

Habría que tomar en cuenta también otros aspectos a la hora de desarrollar una investigación en relación a este tema. Entre ellos expliquemos uno de lo más significativos: más que de paises, habría que analizar la población global gobernada por mujeres, para extraer una conclusión al respecto. Y así, el porcentaje de poblacion global aportan los paises a los que se refiere la noticia (Dinamarca, Islandia, Finlandia, Alemania, Nueva Zelanda, Noruega y Taiwán) es sensiblemente inferior al porcentaje que suponen en relación al número de paises (7 de 193). Otros aspecto a tratar sería el efecto de terceras variables que actúan como factor de confusión: la mejor gestión en esos paises puede no deberse al sexo en el gobierno, sino al nivel de desarrollo humano del país, que como cualquiera puede adelantar, es mayor en los paises implicados.

En realidad, el fallo en el que han incurrido los medios de comunicación que han difundido la noticia se denomina sesgo de confirmación y consiste en recoger, analizar e interpretar los datos que forma que lleven a confirmar la idea preconcebida que se tiene entre manos, en este caso, la idea de que las mujeres han sido mejores gestoras en la crisis sanitaria. No es más que la falacia de poner el foco donde más me conviene, aunque generalmente de forma inconsciente.

Desgraciadamente, la ligereza se ha adueñado esta vez del discurso feminista, legítimo y sentido por una mayoría cada vez mas cualificada de ciudadanos. Probablemente por eso mismo, por la excesiva confianza en sus propios principios, se ha pecado de precipitación al mostrar como prueba evidente una evidencia que analizada con rigor no resulta en modo alguno concluyente.

Defender una idea con excesivo afán nos lleva frecuentemente a esgrimir argumentos engañosos y falaces, fuera de todo lógica. El hecho de que esa idea sea justa no debería eximir a sus defensores a la hora de justificar con rigor y coherencia tanto los principios de esa idea, como su evidencia.