Como Agrupar Dados Pode Enganar Você

A Ilusão da Estatística: Entendendo o Paradoxo de Simpson

Imagine a seguinte situação: uma grande universidade está analisando seus dados de admissão de pós-graduação, buscando evidências de viés de gênero. Ao examinar os números agregados para todo o campus, os pesquisadores observam que cerca de 44% dos candidatos do sexo masculino foram admitidos, enquanto apenas cerca de 35% das candidatas do sexo feminino foram aceitas. À primeira vista, esses números sugerem um viés claro contra as mulheres nas admissões da universidade. Uma análise estatística preliminar desses dados agregados reforça essa conclusão, indicando que a diferença observada é grande demais para ser apenas uma coincidência. Mas será que essa é a história completa? O que acontece quando olhamos mais de perto?

O que é o Paradoxo de Simpson?

O Paradoxo de Simpson é um fenômeno estatístico contraintuitivo onde uma tendência observada em dados agregados desaparece ou até mesmo se inverte quando esses dados são divididos em subgrupos. É como uma "ilusão estatística". O nome deriva de Edward H. Simpson, que o descreveu em um artigo de 1951. Essencialmente, ele demonstra como a forma como agrupamos ou dividimos nossos dados pode levar a conclusões radicalmente diferentes.

O Paradoxo em Ação: As Admissões em Berkeley

Voltando ao exemplo da universidade (neste caso, a Universidade da Califórnia, Berkeley, 1973), os pesquisadores decidiram não parar na análise agregada. Eles examinaram os dados de admissão de cada um dos 101 departamentos de pós-graduação separadamente. E o que eles encontraram foi surpreendente: a maioria dos departamentos não mostrou um viés significativo contra as mulheres.

Como, então, os dados agregados mostravam um viés tão forte contra as mulheres? A resposta reside em uma variável de confusão que não foi considerada na análise inicial: a escolha do departamento. Descobriu-se que homens e mulheres tendiam a se candidatar a departamentos diferentes. Em particular, as mulheres tendiam a se candidatar a departamentos que eram mais difíceis de ingressar, ou seja, que tinham taxas de admissão mais baixas para todos os candidatos, independentemente do sexo. Já os homens tendiam a se candidatar a departamentos com taxas de admissão mais altas.

Exemplo Numérico Simplificado: Engenharia vs. Humanas

Vamos ilustrar este efeito com um exemplo numérico simplificado, semelhante à situação de Berkeley, utilizando dois departamentos hipotéticos: Engenharia e Humanas. Suponha que, dentro de cada departamento, as taxas de admissão para mulheres são superiores às taxas para homens:

  • Departamento de Engenharia: 80% das mulheres são admitidas, contra 60% dos homens.
  • Departamento de Humanas: 40% das mulheres são admitidas, contra 20% dos homens.

Claramente, em ambos os departamentos, há um viés a favor das mulheres. No entanto, vamos ver o que acontece quando agregamos os dados, considerando um cenário de candidatura típico em Berkeley: mulheres tendem a se candidatar mais para Humanas (considerado mais difícil, com menor taxa de admissão geral), enquanto homens tendem a se candidatar mais para Engenharia (considerado mais fácil, com maior taxa de admissão geral).

Suponha que:

  • 200 mulheres se candidataram para Engenharia e 1800 para Humanas.
  • 1800 homens se candidataram para Engenharia e 200 para Humanas.

Agora, calculamos as admissões totais para cada gênero:

Mulheres (2000):

  • Admitidas em Engenharia: 80% de 200 = 160
  • Admitidas em Humanas: 40% de 1800 = 720
  • Total de mulheres admitidas: 160 + 720 = 880
  • Taxa de admissão total para mulheres: 880 / 2000 = 44%

Homens (2000):

  • Admitidos em Engenharia: 60% de 1800 = 1080
  • Admitidos em Humanas: 20% de 200 = 40
  • Total de homens admitidos: 1080 + 40 = 1120
  • Taxa de admissão total para homens: 1120 / 2000 = 56%

O que parece ser uma desvantagem no total se desfaz quando olhamos os subgrupos: o Paradoxo de Simpson.

Dados Agregados

Dados por Departamento

Outros Contextos do Paradoxo de Simpson

O Paradoxo de Simpson não se limita a admissões universitárias. Ele pode surgir em diversas áreas, como na eficácia de tratamentos médicos ou no desempenho esportivo. A chave é sempre considerar as variáveis de confusão que podem influenciar a forma como os dados são agrupados.

Exemplos em Medicina e Esportes
  • Eficácia de Tratamentos Médicos: Um medicamento pode parecer benéfico para a população geral, mas quando analisamos subgrupos (por exemplo, por idade, sexo ou gravidade da doença), descobrimos que ele é prejudicial em cada subgrupo individualmente. A distribuição desigual de pacientes com diferentes características entre os grupos de tratamento e controle pode criar a ilusão de eficácia no total. Um estudo médico comparando dois tratamentos para cálculos renais mostrou que o Tratamento A parecia ter uma taxa de sucesso geral menor (78%) do que o Tratamento B (83%). No entanto, quando os dados foram divididos pelo tamanho das pedras (pequenas ou grandes), o Tratamento A mostrou uma taxa de sucesso maior tanto para pedras pequenas (93% vs 87%) quanto para pedras grandes (73% vs 69%). A variável de confusão era a gravidade do caso (tamanho da pedra), pois os médicos tendiam a usar o Tratamento B (menos invasivo) para casos menos graves (pedras pequenas) e o Tratamento A (cirurgia aberta) para casos mais graves (pedras grandes).
  • Desempenho no Esporte: Ao analisar dados de arremessos livres no basquete, pode-se observar que a probabilidade de acertar o segundo arremesso é maior após acertar o primeiro do que após errar. Isso poderia sugerir a crença popular do "hot hand" (mão quente). No entanto, uma análise mais aprofundada por jogador pode mostrar que a maioria dos jogadores não apresenta essa característica, e o padrão observado no agregado é influenciado pela forma como os arremessos são distribuídos entre jogadores com diferentes habilidades. Da mesma forma, a análise do desempenho de rebatedores de beisebol pode ser afetada pelo tipo de arremessador que enfrentaram (canhoto vs. destro).

Simplesmente observar correlações em um conjunto de dados, sem levar em conta as estruturas causais subjacentes e o contexto do mundo real, pode levar a conclusões erradas.

Referências

BICKEL, P. J.; HAMMEL, E. A.; O'CONNELL, J. W. Sex Bias in Graduate Admissions: Data from Berkeley. Science, v. 187, n. 4175, p. 398-404, 7 fev. 1975.

WARDROP, R. L. Simpson’s Paradox and the Hot Hand in Basketball. The American Statistician, v. 49, n. 1, p. 24-28, fev. 1995.

ZAMAN, A.; SALAHUDDIN, T. Causality, Confounding, and Simpson’s Paradox. International Econometric Review, v. 12, n. 1, p. 50-74, abr. 2020.