“Graphs are essential to good statistical analisys. Ordinary scatterplots and”tripple” scatterplots are discussed in relation to regression analysis.”

 

Resumo

Vemos os dados de Anscombe, 1973, que é um dos os conjuntos de dados que vêm com o software R. Calculamos diferentes regressões lineares dos quatro conjuntos de dados de Anscombe - eles nos dão os mesmos resultados. Quando olhamos para os gráficos de dispersão correspondentes aos quatro conjuntos de dados, vemos que eles são muito diferentes.

Neste breve tutorial, rodamos uma análise desses dados no R (com maior ênfase) e para aqueles que desejem utilizar os dados em algum outro software, disponibilizo aqui em formato .xlsx

Palavras-chave: Anscombe, Gráficos


 

Introdução

Em 1973, o estatístico Anscombe publicou um clássico artigo no qual argumentou que devemos usar gráficos estatísticos (p.17):

“A computer should make both calculations and graphs. Both sorts of output should be studied; each will contribute to understanding. … Most kinds of statistical calculation rest on assumptions about the behavior of the data. Those assumptions may be false, and then the calculations may be misleading. We ought always to try to check whether the assumptions are reasonably correct; and if they are wrong we ought to be able to perceive in what ways they are wrong. Graphs are very valuable for these purposes.”

Os dados de Anscombe (1973) ilustram a importância da visualização, de examinar os dados graficamente.

Os dados: 4 conjuntos de dados diferentes de \(X^{'}s\) e \(Y^{'}s\)

O R vem com alguns conjuntos de dados; um deles é anscombe. Chamamos o conjunto de dados de ans e vejamos o que contém:

library(tidyverse)

ans<-anscombe

ans
   x1 x2 x3 x4    y1   y2    y3    y4
1  10 10 10  8  8.04 9.14  7.46  6.58
2   8  8  8  8  6.95 8.14  6.77  5.76
3  13 13 13  8  7.58 8.74 12.74  7.71
4   9  9  9  8  8.81 8.77  7.11  8.84
5  11 11 11  8  8.33 9.26  7.81  8.47
6  14 14 14  8  9.96 8.10  8.84  7.04
7   6  6  6  8  7.24 6.13  6.08  5.25
8   4  4  4 19  4.26 3.10  5.39 12.50
9  12 12 12  8 10.84 9.13  8.15  5.56
10  7  7  7  8  4.82 7.26  6.42  7.91
11  5  5  5  8  5.68 4.74  5.73  6.89
str(ans)
'data.frame':   11 obs. of  8 variables:
 $ x1: num  10 8 13 9 11 14 6 4 12 7 ...
 $ x2: num  10 8 13 9 11 14 6 4 12 7 ...
 $ x3: num  10 8 13 9 11 14 6 4 12 7 ...
 $ x4: num  8 8 8 8 8 8 8 19 8 8 ...
 $ y1: num  8.04 6.95 7.58 8.81 8.33 ...
 $ y2: num  9.14 8.14 8.74 8.77 9.26 8.1 6.13 3.1 9.13 7.26 ...
 $ y3: num  7.46 6.77 12.74 7.11 7.81 ...
 $ y4: num  6.58 5.76 7.71 8.84 8.47 7.04 5.25 12.5 5.56 7.91 ...

Nós o convertemos em uma tibble (a versão tidyverse de um dataset) e usamos uma versão resumida de str com glimpse:

ans <- as_tibble(anscombe)
glimpse(ans)
Rows: 11
Columns: 8
$ x1 <dbl> 10, 8, 13, 9, 11, 14, 6, 4, 12, 7, 5
$ x2 <dbl> 10, 8, 13, 9, 11, 14, 6, 4, 12, 7, 5
$ x3 <dbl> 10, 8, 13, 9, 11, 14, 6, 4, 12, 7, 5
$ x4 <dbl> 8, 8, 8, 8, 8, 8, 8, 19, 8, 8, 8
$ y1 <dbl> 8.04, 6.95, 7.58, 8.81, 8.33, 9.96, 7.24, 4.26, 10.84, 4.82, 5.68
$ y2 <dbl> 9.14, 8.14, 8.74, 8.77, 9.26, 8.10, 6.13, 3.10, 9.13, 7.26, 4.74
$ y3 <dbl> 7.46, 6.77, 12.74, 7.11, 7.81, 8.84, 6.08, 5.39, 8.15, 6.42, 5.73
$ y4 <dbl> 6.58, 5.76, 7.71, 8.84, 8.47, 7.04, 5.25, 12.50, 5.56, 7.91, 6.89

Como a tabela é pequena, podemos ver tudo.

ans
# A tibble: 11 × 8
      x1    x2    x3    x4    y1    y2    y3    y4
   <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
 1    10    10    10     8  8.04  9.14  7.46  6.58
 2     8     8     8     8  6.95  8.14  6.77  5.76
 3    13    13    13     8  7.58  8.74 12.7   7.71
 4     9     9     9     8  8.81  8.77  7.11  8.84
 5    11    11    11     8  8.33  9.26  7.81  8.47
 6    14    14    14     8  9.96  8.1   8.84  7.04
 7     6     6     6     8  7.24  6.13  6.08  5.25
 8     4     4     4    19  4.26  3.1   5.39 12.5 
 9    12    12    12     8 10.8   9.13  8.15  5.56
10     7     7     7     8  4.82  7.26  6.42  7.91
11     5     5     5     8  5.68  4.74  5.73  6.89

Vamos resumir esses dados observando as médias aritméticas:

medias<-ans %>%
summarize(
  mediax1 = mean(x1),
  mediax2 = mean(x2),
  mediax3 = mean(x3),
  mediax4 = mean(x4),
  mediay1 = mean(y1),
  mediay2 = mean(y2),
  mediay3 = mean(y3),
  mediay4 = mean(y4))

t(medias)
            [,1]
mediax1 9.000000
mediax2 9.000000
mediax3 9.000000
mediax4 9.000000
mediay1 7.500909
mediay2 7.500909
mediay3 7.500000
mediay4 7.500909

E da mesma maneira, veremos os desvios-padrão:

desvios_padrao<-ans%>%
  summarize(
    desvpadx1=sd(x1),
    desvpadx2=sd(x2),
    desvpadx3=sd(x3),
    desvpadx4=sd(x4),
    desvpady1=sd(y1),
    desvpady2=sd(y2),
    desvpady3=sd(y3),
    desvpady4=sd(y4))

t(desvios_padrao)
              [,1]
desvpadx1 3.316625
desvpadx2 3.316625
desvpadx3 3.316625
desvpadx4 3.316625
desvpady1 2.031568
desvpady2 2.031657
desvpady3 2.030424
desvpady4 2.030579

Os \(X^{'}s\) têm médias = 9 e desvios padrão = 3,317, como pode ser verificado por usando as funções mean e sd. Os \(Y^{'}s\) têm médias = 7,5 e desvios padrão = 2,03.

#a funcao summary, fornece o resumo das estatisticas descritivas do dataset
summary(ans)
       x1             x2             x3             x4           y1               y2              y3              y4        
 Min.   : 4.0   Min.   : 4.0   Min.   : 4.0   Min.   : 8   Min.   : 4.260   Min.   :3.100   Min.   : 5.39   Min.   : 5.250  
 1st Qu.: 6.5   1st Qu.: 6.5   1st Qu.: 6.5   1st Qu.: 8   1st Qu.: 6.315   1st Qu.:6.695   1st Qu.: 6.25   1st Qu.: 6.170  
 Median : 9.0   Median : 9.0   Median : 9.0   Median : 8   Median : 7.580   Median :8.140   Median : 7.11   Median : 7.040  
 Mean   : 9.0   Mean   : 9.0   Mean   : 9.0   Mean   : 9   Mean   : 7.501   Mean   :7.501   Mean   : 7.50   Mean   : 7.501  
 3rd Qu.:11.5   3rd Qu.:11.5   3rd Qu.:11.5   3rd Qu.: 8   3rd Qu.: 8.570   3rd Qu.:8.950   3rd Qu.: 7.98   3rd Qu.: 8.190  
 Max.   :14.0   Max.   :14.0   Max.   :14.0   Max.   :19   Max.   :10.840   Max.   :9.260   Max.   :12.74   Max.   :12.500  

As mesmas regressões de \(Y^{'}s\) nos \(X^{'}s\)

Quando regredimos y1 em x1 e y2 em x2 etc. usando a função lm do R e vemos a saída ao exibir os coeficientes e outros, notamos que os resultados de regressão são os mesmos:

regr1 <- lm(y1 ~ x1, data = ans)
regr2 <- lm(y2 ~ x2, data = ans)
regr3 <- lm(y3 ~ x3, data = ans)
regr4 <- lm(y4 ~ x4, data = ans)

library(texreg)

screenreg(list(regr1,regr2,regr3,regr4)) #Resultado comparativo das quatro regressoes

===================================================
             Model 1   Model 2   Model 3   Model 4 
---------------------------------------------------
(Intercept)   3.00 *    3.00 *    3.00 *    3.00 * 
             (1.12)    (1.13)    (1.12)    (1.12)  
x1            0.50 **                              
             (0.12)                                
x2                      0.50 **                    
                       (0.12)                      
x3                                0.50 **          
                                 (0.12)            
x4                                          0.50 **
                                           (0.12)  
---------------------------------------------------
R^2           0.67      0.67      0.67      0.67   
Adj. R^2      0.63      0.63      0.63      0.63   
Num. obs.    11        11        11        11      
===================================================
*** p < 0.001; ** p < 0.01; * p < 0.05

Veja como os coeficientes de regressão e o \(R^{2}\) são idênticos em todos os conjuntos de dados para as regressões lineares simples de \(Y\) em \(X\).

Diagramas de dispersão muito diferentes

Usamos a função ggplot para traçar os diagramas de dispersão para os 4 conjuntos de ys e xs e avaliar o nível de ajuste das reta de regressão estimada aos pontos:

library(plotly)
library(ggpmisc)
library(ggplot2)


x1y1<- ggplot(ans, aes(x = x1, y = y1)) +
geom_point() +
geom_smooth(method = "lm", se = FALSE)


x2y2<- ggplot(ans, aes(x = x2, y = y2)) +
geom_point() +
geom_smooth(method = "lm", se = FALSE)

x3y3<- ggplot(ans, aes(x = x3, y = y3)) +
geom_point() +
geom_smooth(method = "lm", se = FALSE)


x4y4<- ggplot(ans, aes(x = x4, y = y4)) +
geom_point() +
geom_smooth(method = "lm", se = FALSE)


ggplotly(x1y1)#Diagrama de dispersão de Y1 contra X1
ggplotly(x2y2)#Diagrama de dispersão de Y2 contra X2
ggplotly(x3y3)#Diagrama de dispersão de Y3 contra X3
ggplotly(x4y4)#Diagrama de dispersão de Y4 contra X4
ggpubr::ggscatter(mtcars, x = wt, y = mpg, add = reg.line) +
  stat_cor(label.x = 3, label.y = 34) +
  stat_regline_equation(label.x = 3, label.y = 32)

Quando examinamos as linhas de ajuste de regressão, elas são iguais, mas os gráficos de dispersão são muito diferentes.

  • No segundo gráfico (de cima pra baixo) um termo quadrático deve ser usado para y2 versus x2 porque há curvatura, portanto evidenciando claramente uma relação não-linear presente entre as variáveis.

  • No gráfico de y3 contra x3, um outlier está se distorcendo a inclinação da linha ajustada para cima.

  • Na diagrama de dispersão de y4 contra x4, excluirmos o outlier presente aproximadamente entre os pontos do eixo cartesiano (19,13), concluímos não há relação entre y4 e x4.

O que também é notável é que as linhas mais suaves (smooth) nas figuras a seguir não nos enganam da mesma forma como a regressão linear fez.

library(ggplot2)
library(patchwork)

x1y1 <- ggplot(data=ans,aes(x=x1,y=y1))+
        geom_point()+geom_line()+geom_smooth(method = "lm")
x2y2 <- ggplot(data=ans,aes(x=x2,y=y2))+
        geom_point()+geom_line()+geom_smooth(method = "lm")
x3y3 <- ggplot(data=ans,aes(x=x3,y=y3))+
        geom_point()+geom_line()+geom_smooth(method = "lm")
x4y4 <- ggplot(data=ans,aes(x=x4,y=y4))+
        geom_point()+geom_line()+geom_smooth(method = "lm")

ggplotly(x1y1) 
ggplotly(x2y2)
ggplotly(x3y3)
ggplotly(x4y4)

Esses quatro gráficos lado a lado apresentam a linha azul como a reta de regressão via MQO ajustada e a faixa cinza ao seu redor o intervalo de confiança. Os pontos de dados em preto (e na linha preta que os liga) representam a relação entre os \(X^{'}s\) e \(Y^{'}s\).

O trabalho de Anscombe nos sugere que uma inspeção visual dos resíduos presentes em cada regressão pode fornecer uma melhor noção da função que explicaria tais relacionamentos com maior acurácia, diferentemente daqueles pesquisadores que se preocupam somente em se obter os coeficientes (regressores) e o coeficiente de determinação \(R^{2}\) se esquecendo das armadilhas que as vezes a regressão nos impõe quando não se presta atenção na inferência causal entre as variáveis investigadas.

Lembre-se da atenção e cuidados especiais em relação a confusão de que regressão implica causalidade! Em muitas situações a covariação entre variáveis é ilegítima, na medida em que a relação é na verdade causada por um terceiro fator, que não foi ou não pode ser mensurado.

Outra armadilha envolve o fato de que um modelo bem ajustado não significa necessariamente que o modelo possa ser utilizado para fazer previsões. O analista com conhecimento da matéria em questão deveria estar convencido de que o processo que produziu os dados se manterá estável no futuro, para que possa utilizar o modelo com propósitos de previsão.

 

“É eRRando que se aprende R.” (Jônatan Tatsch)

 


Referências

Anscombe F.J. (1973) Graphs in statistical analysis. Am Stat 27(1):17–21

Maddala, G.S. (2001) Introdução à Econometria. 3a. Ed. LTC, São Paulo, págs 47-48.