Estatísticas e Big Data

Sabemos que se um estimador é um estimador imparcial de teta e se sua variância tende a 0 como n tende ao infinito, é um estimador consistente para teta. Mas essa é uma condição suficiente e não necessária. Estou procurando um exemplo de um estimador que seja consistente, mas cuja …

8 probability  variance  mathematical-statistics  unbiased-estimator  consistency 

Tentando replicar os resultados do artigo publicado recentemente, Aghion, Philippe, John Van Reenen e Luigi Zingales. 2013. "Inovação e Propriedade Institucional". American Economic Review, 103 (1): 277-304. (O código de dados e dados está disponível em http://www.aeaweb.org/aer/data/feb2013/20100973_data.zip ). Não estou tendo problemas para recriar as 5 primeiras regressões em R …

8 r  regression  negative-binomial 

Eu tenho uma pergunta sobre como um estatístico normalmente interpretaria uma saída anova. Digamos que tenho saída anova de R. > summary(fitted_data) Call: lm(formula = V1 ~ V2) Residuals: Min 1Q Median 3Q Max -2.74004 -0.33827 0.04062 0.44064 1.22737 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 2.11405 0.32089 6.588 …

8 r  self-study  anova  interpretation 

Eu tenho dados que se parecem um pouco com isso: ID Status 01 A 02 G 03 E ... ... 100 G Você entendeu a ideia, eu acho. Eu tenho esses dados de duas populações separadas (coortes) e quero comparar a distribuição da variável status em uma população com a …

8 r  hypothesis-testing  categorical-data  chi-squared 

Eu estou procurando construir um modelo preditivo em que a variável de resultado seja binária e a entrada seja uma série temporal. Para torná-lo mais concreto, o modelo preverá se um cliente agita (deixou a empresa; codificado como 1 ou 0) com base no valor gasto com a empresa nos …

8 data-mining  data-transformation  dimensionality-reduction  signal-processing 

Estou tentando decompor uma série temporal de nnn observações vcvc\bf{\mathrm{v_c}} na estrutura n×nn×nn \times n variância-covariância ∑∑\sum e uma série aleatória vv\bf{\mathrm{v}} . Portanto, posso derivar a matriz de variância-covariância ∑∑\sum da função de autocorrelação de vcvc\bf{\mathrm{v_c}} . Esta será uma matriz de Toeplitz, que é semidefinida positiva. Portanto, sou …

8 time-series  covariance-matrix 

Estou tentando entender qual é a diferença entre um HMM padrão e um HMM Bayesiano. A Wikipedia menciona brevemente como é o modelo, mas preciso de um tutorial mais detalhado. Alguém conhece um documento ou uma implementação que eu possa examinar? Também tenho problemas com a terminologia usada. O que …

8 bayesian  hidden-markov-model 

Estou trabalhando em um projeto de software que envolve a criação de um visualizador para simulações de inundações. Como parte deste projeto, criei um gradiente de água que mostra a profundidade da água em pontos específicos. Para definir quais valores representarão quais cores, analiso os dados e obtenho os valores …

8 data-visualization  data-transformation 

Eu tenho 65 amostras de dados 21-dimensionais (colados aqui ) e estou construindo a matriz de covariância a partir dele. Quando computado em C ++, recebo a matriz de covariância colada aqui . E quando computado no Matlab a partir dos dados (como mostrado abaixo), recebo a matriz de covariância …

8 clustering  matlab  covariance  distance-functions  matrix-inverse 

Quero estimar parâmetros dos modelos de mistura de Dirichlet usando a amostra de Gibbs e tenho algumas perguntas sobre isso: Uma mistura de distribuições de Dirichlet é equivalente a um processo de Dirichlet? Quais são as principais diferenças, se não? Além disso, se eu quiser estimar os parâmetros de uma …

8 bayesian  estimation  gibbs  dirichlet-distribution 

Estou usando o lme4pacote no R para fazer alguma modelagem logística de efeitos mistos. Meu entendimento era que a soma de cada efeito aleatório deveria ser zero. Quando eu uso modelos mistos lineares de brinquedo lmer, os efeitos aleatórios geralmente são < confirmando minha crença de que alguns dos modelos …

8 r  lme4-nlme  random-effects-model  glmm 

Ao lidar com dados com fatores R, pode ser usado para calcular as médias de cada grupo com a função lm (). Isso também fornece os erros padrão para as médias estimadas. Mas esse erro padrão difere do que recebo de um cálculo manualmente. Aqui está um exemplo (retirado daqui …

8 r  categorical-data  mean  lm 

Eu tenho uma pergunta filosófica a respeito do viés variável omitido. Temos o modelo de regressão típico (modelo de população) onde as amostras são e, em seguida condições pelas quais as estimativas do OLS se comportam muito bem.( Y , X 1 , . . . , X n )Y= …

8 regression  model-selection  assumptions  bias 

Estou familiarizado com o uso de insights da Random Matrix Theory para determinar o número de componentes principais do PCA de uma matriz de covariância / correlação a ser usada para formar fatores. Se o autovalor associado ao primeiro PC for grande, significa que os autovalores restantes devem ser pequenos …

8 correlation  pca  covariance  eigenvalues  random-matrix 

Eu tenho um problema em que y= a + by=a+by = a + b Eu observo y, mas nem nem . Eu quero estimarbumaaabbb b = f( x ) + ϵb=f(x)+ϵb = f(x) + \epsilon Eu posso estimar , usando algum tipo de modelo de regressão. Isso me dá . …

8 missing-data  multiple-imputation  expectation-maximization