Estou tentando entender o erro padrão "clustering" e como executar no R (é trivial no Stata). No RI, não obtive sucesso usando plmou escrevendo minha própria função. Vou usar os diamondsdados do ggplot2pacote.
Eu posso fazer efeitos fixos com variáveis fictícias
> library(plyr)
> library(ggplot2)
> library(lmtest)
> library(sandwich)
> # with dummies to create fixed effects
> fe.lsdv <- lm(price ~ carat + factor(cut) + 0, data = diamonds)
> ct.lsdv <- coeftest(fe.lsdv, vcov. = vcovHC)
> ct.lsdv
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
carat 7871.082 24.892 316.207 < 2.2e-16 ***
factor(cut)Fair -3875.470 51.190 -75.707 < 2.2e-16 ***
factor(cut)Good -2755.138 26.570 -103.692 < 2.2e-16 ***
factor(cut)Very Good -2365.334 20.548 -115.111 < 2.2e-16 ***
factor(cut)Premium -2436.393 21.172 -115.075 < 2.2e-16 ***
factor(cut)Ideal -2074.546 16.092 -128.920 < 2.2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
ou des-significando os lados esquerdo e direito (sem regressores invariantes no tempo aqui) e corrigindo graus de liberdade.
> # by demeaning with degrees of freedom correction
> diamonds <- ddply(diamonds, .(cut), transform, price.dm = price - mean(price), carat.dm = carat .... [TRUNCATED]
> fe.dm <- lm(price.dm ~ carat.dm + 0, data = diamonds)
> ct.dm <- coeftest(fe.dm, vcov. = vcovHC, df = nrow(diamonds) - 1 - 5)
> ct.dm
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
carat.dm 7871.082 24.888 316.26 < 2.2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Não consigo replicar esses resultados com plm, porque não tenho um índice de "tempo" (ou seja, esse não é realmente um painel, apenas clusters que poderiam ter um viés comum em termos de erro).
> plm.temp <- plm(price ~ carat, data = diamonds, index = "cut")
duplicate couples (time-id)
Error in pdim.default(index[[1]], index[[2]]) :
Também tentei codificar minha própria matriz de covariância com erro padrão em cluster usando a explicação da Stata sobre sua clusteropção ( explicada aqui ), que é resolver onde , si o número de clusters, é o resíduo para a observação e é o vetor de linha dos preditores, incluindo a constante (isso também aparece como equação (7.22) na seção transversal de Wooldridge e nos dados do paineluj=ΣcLusterjei*xinceiith
) Mas o código a seguir fornece matrizes de covariância muito grandes. Esses valores são muito altos, devido ao pequeno número de clusters que tenho? Como não consigo
plmcriar clusters com um fator, não sei como fazer o benchmark do meu código.
> # with cluster robust se
> lm.temp <- lm(price ~ carat + factor(cut) + 0, data = diamonds)
>
> # using the model that Stata uses
> stata.clustering <- function(x, clu, res) {
+ x <- as.matrix(x)
+ clu <- as.vector(clu)
+ res <- as.vector(res)
+ fac <- unique(clu)
+ num.fac <- length(fac)
+ num.reg <- ncol(x)
+ u <- matrix(NA, nrow = num.fac, ncol = num.reg)
+ meat <- matrix(NA, nrow = num.reg, ncol = num.reg)
+
+ # outer terms (X'X)^-1
+ outer <- solve(t(x) %*% x)
+
+ # inner term sum_j u_j'u_j where u_j = sum_i e_i * x_i
+ for (i in seq(num.fac)) {
+ index.loop <- clu == fac[i]
+ res.loop <- res[index.loop]
+ x.loop <- x[clu == fac[i], ]
+ u[i, ] <- as.vector(colSums(res.loop * x.loop))
+ }
+ inner <- t(u) %*% u
+
+ #
+ V <- outer %*% inner %*% outer
+ return(V)
+ }
> x.temp <- data.frame(const = 1, diamonds[, "carat"])
> summary(lm.temp)
Call:
lm(formula = price ~ carat + factor(cut) + 0, data = diamonds)
Residuals:
Min 1Q Median 3Q Max
-17540.7 -791.6 -37.6 522.1 12721.4
Coefficients:
Estimate Std. Error t value Pr(>|t|)
carat 7871.08 13.98 563.0 <2e-16 ***
factor(cut)Fair -3875.47 40.41 -95.9 <2e-16 ***
factor(cut)Good -2755.14 24.63 -111.9 <2e-16 ***
factor(cut)Very Good -2365.33 17.78 -133.0 <2e-16 ***
factor(cut)Premium -2436.39 17.92 -136.0 <2e-16 ***
factor(cut)Ideal -2074.55 14.23 -145.8 <2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1511 on 53934 degrees of freedom
Multiple R-squared: 0.9272, Adjusted R-squared: 0.9272
F-statistic: 1.145e+05 on 6 and 53934 DF, p-value: < 2.2e-16
> stata.clustering(x = x.temp, clu = diamonds$cut, res = lm.temp$residuals)
const diamonds....carat..
const 11352.64 -14227.44
diamonds....carat.. -14227.44 17830.22
Isso pode ser feito em R? É uma técnica bastante comum em econometria (há um breve tutorial nesta palestra ), mas não consigo descobrir isso em R. Obrigado!
7
@ricardh, xingue todos os economistas por não verificarem se o termo que eles querem usar já é usado nas estatísticas. Cluster neste contexto significa grupo e não tem nenhuma relação com a análise de cluster, é por isso que rseek forneceu resultados não relacionados. Por isso, removi a marca de cluster. Para análise dos dados do painel, consulte o pacote plm . Ele tem uma bela vinheta, para que você possa encontrar o que deseja. Quanto à sua pergunta, não está claro o que você deseja. Dentro dos erros padrão do grupo?
—
precisa saber é o seguinte
@ricardh, ajudaria muito se você pudesse criar um link para algum manual da Stata, onde essa
—
mpiktas
clusteropção é explicada. Estou certo de que seria possível replicar em R.
+1 para esse comentário. economistas colonizam a terminologia como loucos. Embora às vezes seja difícil escolher o vilão. Eu demorei um pouco, por exemplo, até perceber
—
hans0l0
factorque não tinha nada a ver com isso, factanalmas se refere a variáveis categorizadas. No entanto, cluster em R se refere à análise de cluster, k-means é apenas o método de particionamento: statmethods.net/advstats/cluster.html . Não entendi sua pergunta, mas também acho que o cluster não tem nada a ver com isso.
@mpiktas, @ ran2 - Obrigado! Espero ter esclarecido a pergunta. Em resumo, por que o "cluster de erro padrão" existe se são apenas efeitos fixos, que já existiam?
—
Richard Herron