Estatísticas e Big Data

Considere regressão linear múltipla. Essa pergunta pode ser enganosamente simples, mas estou tentando entender intuitivamente por que, digamos, se eu tenho preditores X1 e X2, as interações entre esses preditores podem ser capturadas adequadamente por X1 * X2. Eu sei que os termos de interação são modelados como produtos, apenas …

8 multiple-regression  feature-selection  interaction 

Recentemente, recebi um comentário de um revisor de uma revista que me pediu para relatar como eu lidei com outliers e franjas . Eu não tinha ouvido falar do termo "franjas" e, quando pesquisei no Google, havia alguns artigos, mas nenhuma definição concisa. Por isso, pensei que seria bom ter …

8 terminology  outliers 

A pergunta a seguir se baseia na discussão encontrada nesta página . Dada uma variável de resposta y, uma variável explicativa contínua xe um fator fac, é possível definir um Modelo Aditivo Geral (GAM) com uma interação entre xe facusando o argumento by=. De acordo com o arquivo de ajuda …

8 r  interaction  gam  mgcv 

Suspeito que esta seja uma pergunta bastante incomum e exploratória, por isso, tenha paciência comigo. Gostaria de saber se é possível aplicar a idéia de amostragem importante à amostragem de Gibbs. Aqui está o que quero dizer: na amostragem de Gibbs, alteramos o valor de uma variável (ou bloco de …

8 mcmc  gibbs  importance-sampling 

Regressão e aprendizado de máquina são usados ​​nas ciências naturais para testar hipóteses, estimar parâmetros e fazer previsões ajustando modelos aos dados. No entanto, quando tenho um modelo a priori , não quero fazer nenhum ajuste - por exemplo, um modelo de um sistema físico determinístico calculado a partir dos …

8 modeling  simulation  goodness-of-fit  model-comparison 

Na seleção de uma largura de banda para um estimador de densidade de kernel, a largura de banda crítica de acordo com o meu entendimento é: "Para todo número k, onde 1<k<n, podemos encontrar a largura mínima, de h(k)modo que a estimativa da densidade do kernel tenha no máximo k …

8 econometrics  kernel-smoothing 

Uma pergunta de exercício faz Sejam rvs com uma distribuição normal comum com . Calcule o coeficiente de dependência da cauda superior para todos .X1,X2X1,X2X_1, X_2N(0,1)N(0,1)N(0,1)Corr(X1,X2)=ρCorr⁡(X1,X2)=ρ\operatorname{Corr}(X_1, X_2) = \rhoρ∈[−1,1]ρ∈[−1,1]\rho \in [-1, 1] O que significa dizer que eles têm uma distribuição normal "comum"? Meu primeiro pensamento foi que eles queriam …

8 probability  random-variable  heavy-tailed 

Recentemente, eu encontrei o seguinte estimador de quantil para uma variável aleatória contínua em um artigo (não estatístico, aplicado): para um vetor de 100 xxx , o quantil de 1% é estimado com min(x)min(x)\min(x) . Aqui está como ele funciona: abaixo está um gráfico de densidade de kernel das realizações …

8 quantiles 

Suponha que observemos os dados e gostaríamos de ajustar um modelo de regressão para . Infelizmente, às vezes é medido com erros cuja média é diferente de zero.Y, XY,XY, XE [ Y|X]E[Y|X]\mathbf{E}[Y \,|\, X]YYY Deixe indicando se é medido com erros médios clássicos de zero ou erros médios diferentes de …

8 regression  bias  measurement-error  weighted-regression 

Essa é mais uma questão histórica: quem inventou a notação por denotar independência (condicional)?⊥⊥⊥⊥\perp \!\!\! \perp

8 probability  notation  history 

Suponha que você ajuste um modelo . Existem implicações práticas para a estimativa do efeito da interação se e estiverem correlacionados?y= x1+ x2+ x1× x2y=x1+x2+x1×x2y = x_1 + x_2 + x_1\times x_2x1x1x_1x2x2x_2 Entendo que poderia haver problemas de colinearidade se e estiverem muito correlacionados, mas isso não deve afetar o …

8 regression  correlation  interaction 

Estou tendo dificuldades para acessar a mesma página que meu supervisor quando se trata de validar meu modelo. Analisei os resíduos (observados em relação aos valores ajustados) e usei isso como argumento para discutir os resultados obtidos pelo meu modelo, no entanto, meu supervisor insiste que a única maneira de …

8 r  references  glmm  validation  glmmtmb 

Eu tenho uma variável aleatória Y= eX1 + eXY=eX1+eXY = \frac{e^{X}}{1 + e^{X}} e eu seiX∼ N( μ , σ2)X∼N(μ,σ2)X \sim N(\mu, \sigma^2). Existe uma maneira de calcular E(Y)E(Y)\mathbb{E}(Y) ? Eu tentei descobrir a integral, mas não fiz muito progresso. Isso é possível?

8 logistic  normal-distribution  expected-value 

Suponha que e são duas variáveis ​​aleatórias que possuem RVs binários como seus componentes (portanto ) e ambos ( e ) são intercambiáveis, ou seja,X=(X1,...,Xn),:(Ω,A,P)→({0,1}n,2{0,1}n)X=(X1,...,Xn),:(Ω,A,P)→({0,1}n,2{0,1}n)X=(X_1, ..., X_n),: (\Omega, A,P)\to (\{0,1\}^n, 2^{{\{0,1\}}^n})Y=(Y1,...,Yn):(Ω,A,P)→({0,1}n,2{0,1}n)Y=(Y1,...,Yn):(Ω,A,P)→({0,1}n,2{0,1}n)Y=(Y_1, ..., Y_n):(\Omega, A,P)\to (\{0,1\}^n, 2^{{\{0,1\}}^n})Xi(ω)∈{0,1},Yi(ω)∈{0,1}Xi(ω)∈{0,1},Yi(ω)∈{0,1}X_i(\omega)\in\{0,1\}, Y_i(\omega) \in \{0,1\}XXXYYYP( ( X1, . . . , Xn) = ( x1, . …

8 bayesian  exchangeability 

Eu recebi esta pergunta em um questionário, ele perguntou qual seria o erro de treinamento para um classificador KNN quando K = 1. O que significa treinamento para um classificador KNN? Meu entendimento sobre o classificador KNN era que ele considera todo o conjunto de dados e atribui a qualquer …

8 classification  supervised-learning  k-nearest-neighbour