Coeficiente de correlação de Pearson
O Coeficiente de Correlação de Pearson (PCC), também conhecido como r de Pearson ou PPMCC, é uma medida estatística que quantifica a força e a direção da relação linear entre dois conjuntos de dados. Ele é calculado como a razão entre a covariância das duas variáveis e o produto de seus desvios padrão, resultando em um valor que sempre varia entre -1 e 1. Diferente da covariância, o PCC não possui unidades, o que permite comparar a força da associação entre diferentes pares de variáveis, mesmo que elas tenham unidades distintas. É importante notar que o PCC detecta apenas correlações lineares, ignorando outros tipos de relações. Por exemplo, a idade e a altura de crianças em uma escola provavelmente teriam um PCC positivo, mas menor que 1, indicando uma correlação linear significativa, mas não perfeita.
Pontos-chave
- O Coeficiente de Correlação de Pearson (PCC) mede a correlação linear entre dois conjuntos de dados.
- Seu valor varia entre -1 e 1, indicando a direção e força da relação linear.
- É uma medida normalizada da covariância e não possui unidades, facilitando comparações.
- O PCC detecta apenas relações lineares, não sendo adequado para outros tipos de associações.
- Foi desenvolvido por Karl Pearson, baseado em ideias de Francis Galton e uma fórmula de Auguste Bravais.
O Coeficiente de Correlação de Pearson foi desenvolvido por Karl Pearson, aprimorando uma ideia de Francis Galton da década de 1880. A fórmula matemática para este coeficiente foi publicada originalmente por Auguste Bravais em 1844. A atribuição do nome a Pearson é um exemplo da Lei de Stigler, que observa que nenhuma descoberta científica tem o nome de seu descobridor original.
Intuitivamente, o coeficiente de correlação pode ser entendido ao centralizar os dados de 'x' e 'y' (subtraindo suas médias) para que cada um tenha média zero. Em seguida, cada conjunto de dados é tratado como um vetor n-dimensional. O coeficiente de correlação é, então, o cosseno do ângulo entre esses dois vetores. Este cosseno varia de -1 a 1, sendo 1 quando os vetores são colineares (indicando uma relação linear perfeita) e -1 quando apontam em direções opostas. As fórmulas de produto interno e comprimento de vetores são a base para a derivação matemática do coeficiente.
O Coeficiente de Correlação de Pearson é formalmente definido como a covariância entre duas variáveis dividida pelo produto de seus desvios padrão. Esta definição envolve um 'momento-produto', que é a média do produto das variáveis aleatórias ajustadas pela média, refletindo a relação entre elas.
Para uma População
Quando aplicado a uma população inteira, o Coeficiente de Correlação de Pearson é simbolizado pela letra grega ρ (rho) e é conhecido como coeficiente de correlação populacional. Para um par de variáveis aleatórias (X, Y), como Altura e Peso, a fórmula para ρ é: ρ X , Y = cov ( X , Y ) σ X σ Y {\displaystyle \rho _{X,Y}={\frac {\operatorname {cov} (X,Y)}{\sigma _{X}\sigma _{Y}}}}. A covariância (cov(X,Y)) pode ser expressa em termos de média e expectativa.
Para uma Amostra
Quando aplicado a uma amostra de dados, o Coeficiente de Correlação de Pearson é geralmente representado por r x y {\displaystyle r_{xy}} e é chamado de coeficiente de correlação amostral. Para um conjunto de n pares de dados emparelhados { ( x 1 , y 1 ) , … , ( x n , y n ) } {\displaystyle \left\{(x_{1},y_{1}),\ldots ,(x_{n},y_{n})\right\}}, a fórmula para r x y {\displaystyle r_{xy}} é: r x y = ∑ i = 1 n ( x i − x ¯ ) ( y i − y ¯ ) ∑ i = 1 n ( x i − x ¯ ) 2 ∑ i = 1 n ( y i − y ¯ ) 2 {\displaystyle r_{xy}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{{\sqrt {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}{\sqrt {\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}}}}. Essa fórmula é obtida substituindo as estimativas amostrais de covariância e variância na fórmula populacional.
Para Distribuições Gaussianas Conjuntas
Se as variáveis (X, Y) seguem uma distribuição gaussiana conjunta com média zero e matriz de covariância Σ {\displaystyle \Sigma }, então a matriz Σ {\displaystyle \Sigma } pode ser expressa como: Σ = [ σ X 2 ρ X , Y σ X σ Y ρ X , Y σ X σ Y σ Y 2 ] {\displaystyle \Sigma ={\begin{bmatrix}\sigma _{X}^{2}&\rho _{X,Y}\sigma _{X}\sigma _{Y}\\\rho _{X,Y}\sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\\\end{bmatrix}}}. Isso mostra a relação do coeficiente de correlação com os parâmetros da distribuição gaussiana bivariada.
Desafios Práticos
Em cenários com ruído intenso, calcular o coeficiente de correlação entre variáveis estocásticas pode ser complexo, um problema conhecido como diluição de regressão. A correção para isso, sob a teoria clássica dos testes, é ρ x ′ y ′ = ρ x y ρ x x ′ ρ y y ′ {\textstyle \rho _{x'y'}={\frac {\rho _{xy}}{\sqrt {\rho _{xx^{\prime }}\rho _{yy^{\prime }}}}}}, mas requer a estimativa da confiabilidade (ou níveis de ruído). A Análise de Correlação Canônica (CCA) enfrenta um problema similar, e existem métodos generalizados para estimar o nível de ruído.
Os coeficientes de correlação de Pearson, tanto amostral quanto populacional, sempre variam entre -1 e 1. Valores de +1 ou -1 indicam que os pontos de dados se alinham perfeitamente em uma linha reta. O coeficiente é simétrico, ou seja, corr(X,Y) = corr(Y,X). Uma propriedade crucial é sua invariância sob transformações lineares de localização e escala: transformar X para a + bX e Y para c + dY (com b, d > 0) não altera o coeficiente. No entanto, transformações lineares mais gerais podem modificar a correlação. É importante notar que corr(-X,Y) = -corr(X,Y).
O coeficiente de correlação de Pearson varia de -1 a 1. Um valor absoluto de 1 indica uma relação linear perfeita, onde todos os pontos de dados se situam exatamente em uma linha. O sinal do coeficiente indica a direção da relação: +1 significa que Y aumenta com X, e -1 significa que Y diminui com X. Um valor de 0 sugere ausência de dependência linear. Valores positivos indicam que X e Y tendem a estar do mesmo lado de suas respectivas médias (ambos maiores ou ambos menores), enquanto valores negativos (anticorrelação) indicam que tendem a estar em lados opostos das médias. A magnitude do coeficiente reflete a força dessa tendência.
Interpretação Geométrica
Para dados não centrados, o coeficiente de correlação está relacionado ao ângulo φ entre as duas linhas de regressão (y em x e x em y). Se os desvios padrão forem iguais, r = sec φ − tan φ. Para dados centrados (com média zero), o coeficiente de correlação pode ser interpretado como o cosseno do ângulo θ entre os dois vetores de observações em um espaço N-dimensional, onde N é o número de observações.
Interpretação da Magnitude
A interpretação da magnitude de um coeficiente de correlação é contextual e subjetiva. Uma correlação de 0,8, por exemplo, pode ser considerada baixa em experimentos de física de alta precisão, mas muito alta em ciências sociais, onde múltiplos fatores complicadores são comuns. Não há critérios universais rígidos para classificar a força de uma correlação; ela depende do campo de estudo e dos objetivos da análise.
A inferência estatística com o coeficiente de correlação de Pearson foca em dois objetivos principais: testar hipóteses sobre a correlação populacional (ρ) e construir intervalos de confiança para ela. Vários métodos são empregados para alcançar esses objetivos.
Teste de Permutação
Testes de permutação oferecem uma abordagem direta para testar hipóteses e construir intervalos de confiança. Para o PCC, envolve: (1) calcular o r a partir dos dados originais; (2) permutar aleatoriamente uma das variáveis (X ou Y) e recalcular r. Repetindo os passos (1) e (2) muitas vezes, o p-valor é a proporção dos r gerados que são maiores (em magnitude ou valor sinalizado) que o r original, dependendo se o teste é bilateral ou unilateral.
Método Bootstrap
O bootstrap é usado para construir intervalos de confiança para o PCC. No bootstrap 'não paramétrico', n pares (xi, yi) são reamostrados 'com reposição' do conjunto de dados original, e o coeficiente r é recalculado. Repetindo este processo muitas vezes, a distribuição empírica dos valores de r reamostrados aproxima a distribuição amostral da estatística. Um intervalo de confiança de 95% para ρ pode ser definido entre o percentil 2,5 e 97,5 dos valores de r reamostrados.
Erro Padrão
Se X e Y são variáveis aleatórias com uma relação linear simples e ruído normal aditivo (y = a + bx + e), o erro padrão associado à correlação é onde r é a correlação e n é o tamanho da amostra. Este erro padrão ajuda a quantificar a incerteza da estimativa de r.
Teste t de Student
Para pares de uma distribuição normal bivariada não correlacionada, a distribuição amostral do coeficiente de correlação studentizado de Pearson segue a distribuição t de Student com n − 2 graus de liberdade. Especificamente, se as variáveis subjacentes têm uma distribuição normal bivariada, a variável tem uma distribuição t de Student no caso nulo (correlação zero). Isso é aproximadamente válido para dados não normais com amostras grandes. Valores críticos para r podem ser encontrados usando a função inversa da distribuição t. Abordagens assintóticas para grandes amostras também são aplicáveis.
Distribuição Exata
Para dados que seguem uma distribuição normal bivariada, a função densidade exata f(r) para o coeficiente de correlação amostral r é dada por uma expressão que envolve a função gama (Γ) e a função hipergeométrica gaussiana (2F1). No caso especial de correlação populacional zero (ρ = 0), a função densidade exata f(r) pode ser simplificada, envolvendo a função beta (B), que é uma forma de expressar a densidade de uma distribuição t de Student para um coeficiente de correlação amostral studentizado.
Transformação de Fisher
Na prática, intervalos de confiança e testes de hipóteses para ρ são frequentemente realizados usando a transformação de Fisher, F: F(r) = 0.5 * ln((1+r)/(1-r)). Esta transformação segue aproximadamente uma distribuição normal com média F(ρ0) e variância 1/(n-3), onde n é o tamanho da amostra. O erro de aproximação é menor para grandes n e pequenos r e ρ0. Sob a hipótese nula de que ρ = ρ0, a estatística de teste z = (F(r) - F(ρ0)) / sqrt(1/(n-3)) segue uma distribuição normal padrão, permitindo calcular p-valores aproximados.
O quadrado do coeficiente de correlação amostral, tipicamente denotado por r², é um caso específico do coeficiente de determinação. Na regressão linear simples, r² estima a proporção da variância na variável dependente (Y) que é explicada pela variável independente (X). A variação total em Y pode ser decomposta em uma parte explicada por X e uma parte não explicada. Uma propriedade dos modelos de regressão de mínimos quadrados é que a covariância amostral entre os valores observados e os resíduos é zero, o que permite expressar r² como a correlação amostral entre os valores observados e os valores ajustados pela regressão.
A aplicação e interpretação do Coeficiente de Correlação de Pearson são sensíveis à distribuição dos dados, o que levanta questões sobre sua existência e robustez em diferentes cenários.
Existência do Coeficiente
O coeficiente de correlação populacional de Pearson é definido em termos de momentos e, portanto, existe para qualquer distribuição de probabilidade bivariada onde a covariância populacional e as variâncias marginais populacionais são definidas e não nulas. Distribuições como a de Cauchy, que possuem variância indefinida, impedem a definição de ρ se X ou Y seguirem tal distribuição. Isso é uma consideração importante para dados com caudas pesadas. No entanto, se o intervalo da distribuição for limitado, ρ está sempre definido.
Robustez da Estatística
A estatística amostral r não é robusta, o que significa que seu valor pode ser enganoso na presença de outliers. O PMCC não é robusto em termos de distribuição nem resistente a outliers (ver Estatística Robusta). A inspeção de um gráfico de dispersão entre X e Y pode revelar situações onde a falta de robustez é um problema, e nesses casos, medidas robustas de associação podem ser mais apropriadas. Contudo, a maioria dos estimadores robustos de associação não são interpretáveis na mesma escala que o coeficiente de correlação de Pearson.
Existem diversas variações do coeficiente de correlação de Pearson, calculadas para atender a propósitos específicos. Essas variantes adaptam a medida de associação a diferentes características dos dados ou contextos de análise.
Coeficiente de Correlação Ajustado
O coeficiente de correlação amostral r não é um estimador não enviesado de ρ. Para dados de uma distribuição normal bivariada, a expectativa E[r] não é igual a ρ. Um estimador aproximadamente não enviesado, radj, pode ser obtido truncando E[r] e resolvendo a equação resultante. Existem diferentes propostas para coeficientes de correlação ajustados, visando corrigir esse viés.
Coeficiente de Correlação Ponderado
Quando as observações têm diferentes graus de importância, um vetor de pesos (w) pode ser usado. Para calcular a correlação entre vetores x e y com um vetor de pesos w (todos de comprimento n), o coeficiente de correlação ponderado incorpora esses pesos no cálculo, dando maior influência às observações mais importantes.
Coeficiente de Correlação Reflexivo
O coeficiente de correlação reflexivo é uma variação do Pearson onde os dados não são centrados em torno de suas médias. A correlação reflexiva populacional é definida de forma similar, mas sem a subtração das médias. É simétrica, mas não é invariante sob translação. A correlação reflexiva amostral é equivalente à similaridade de cosseno, e também existe uma versão ponderada.
Coeficiente de Correlação Escalonado
A correlação escalonada é uma variante do Pearson que restringe intencionalmente o intervalo dos dados para revelar correlações entre componentes rápidos em séries temporais. É definida como a correlação média ao longo de segmentos curtos de dados. Se K é o número de segmentos que cabem no comprimento total do sinal T para uma dada escala s, a correlação escalonada média (r_s) é calculada como a média dos coeficientes de correlação de Pearson (r_k) para cada segmento k.
Distância de Pearson
Uma métrica de distância para duas variáveis X e Y, conhecida como distância de Pearson, pode ser definida a partir de seu coeficiente de correlação como d X , Y = 1 − ρ X , Y {\displaystyle d_{X,Y}=1-\rho _{X,Y}}. Como o PCC varia de [-1, +1], a distância de Pearson varia de [0, 2]. Esta distância tem sido utilizada em análise de clusters e detecção de dados. É importante notar que ela atribui uma distância maior que 1 a correlações negativas, o que pode ser problemático em algoritmos de vizinhos mais próximos, pois ignoraria vizinhos com forte correlação negativa. Uma alternativa é usar a distância de valor absoluto, d X , Y = 1 − | ρ X , Y | {\displaystyle d_{X,Y}=1-|\rho _{X,Y}|}, que considera tanto correlações positivas quanto negativas como associações fortes.
Coeficiente de Correlação Circular
Para variáveis X e Y definidas no círculo unitário (0, 2π), é possível definir um análogo circular do coeficiente de Pearson. Isso é feito transformando os pontos de dados com uma função seno, de modo que o coeficiente de correlação é dado por uma fórmula que utiliza as médias circulares de X e Y. Esta medida é útil em campos como a meteorologia, onde a direção angular dos dados é relevante.
É possível remover as correlações entre um número arbitrário de variáveis aleatórias por meio de uma transformação de dados, mesmo que a relação entre elas não seja linear. Cox & Hinkley apresentam este resultado para distribuições populacionais, e existe um resultado correspondente para reduzir as correlações amostrais a zero. Dada uma matriz X de observações (m vezes) de n variáveis aleatórias, pode-se transformar os dados para que cada variável tenha média zero (D) e, em seguida, para que todas as variáveis tenham média zero e correlação zero entre si (T). A matriz de correlação amostral de T será a matriz identidade. As variáveis transformadas serão não correlacionadas, mas não necessariamente independentes.
