Importante

Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!

1
resposta

[Sugestão] A fraqueza do teste Bartlett

Acharia bacana um modulo como esse citar a medida MSA também. O teste de Bartlett tem uma fraqueza característica dele: a hipótese nula é quase que materialmente impossível de acontecer. Pense: estamos testando que as correlações são nulas e só as autocorrelações são existentes (o que é caracterizado pela matriz identidade). A mínima correlação que acontecer já vai ser suficiente para que se rejeite a H0.

É um teste bacana, mas não é estatisticamente tão robusto. Quanto maior a amostra, pior ainda.

1 resposta

Oi, Fabio! Tudo bem?

Muito boa a sua observação sobre a fraqueza do teste de Bartlett esse tipo de contribuição enriquece bastante a discussão sobre os pré-requisitos do PCA.

Você tem razão no ponto central: a hipótese nula do Bartlett assume que a matriz de correlação é uma matriz identidade, algo praticamente inatingível em dados reais, e a sensibilidade ao tamanho da amostra faz com que quase qualquer conjunto grande rejeite a H0. Por isso ele funciona melhor como um critério de exclusão do que como um selo de qualidade.

A dica aqui é combinar o Bartlett com a medida MSA (Measure of Sampling Adequacy), também conhecida como KMO: em Python, a biblioteca factor_analyzer traz a função calculate_kmo(), que devolve o MSA geral e o de cada variável. Na leitura do resultado, valores acima de 0,60 indicam adequação razoável para a fatoração, e variáveis com MSA individual abaixo de 0,50 são boas candidatas a serem removidas antes de rodar o PCA, porque contribuem pouco para a estrutura comum dos dados.

E você, na sua prática, costuma usar algum outro diagnóstico junto com o KMO pra decidir se vale aplicar o PCA, como a análise do determinante da matriz de correlação ou o teste de esfericidade em subamostras?

Alura Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!