Estatísticas e Big Data

Eu estava lendo esta página em Princeton.edu . Eles estão executando uma regressão logística (com R). Em algum momento, eles calculam a probabilidade de obter um desvio residual maior do que aquele que obtiveram em uma com graus de liberdade iguais aos graus de liberdade do modelo. Copiando e colando …

8 regression  hypothesis-testing  logistic  generalized-linear-model  chi-squared 

Estou tentando ver se as variáveis ​​xey juntas ou separadamente afetam significativamente Q_7 (o histograma acima). Fiz um teste de normalidade Shapiro-Wilk e fiz o seguinte shapiro.test(Q_7) ## data: Q_7 ## W = 0.68439, p-value < 2.2e-16 Com esta distribuição, a seguinte regressão funcionará? Ou há outro teste que eu …

8 regression  assumptions 

É comum ter uma técnica de regressão diferente nas folhas de uma árvore de regressão (por exemplo, regressão linear)? Eu tenho procurado por ele na última hora, mas tudo o que encontro são implementações que têm um valor constante nas folhas das árvores. Existe uma razão pela qual isso é …

8 cart  nonlinear-regression 

\newcommand{\P}{\mathbb{P}} Estou preocupado com dados observacionais nos quais a atribuição do tratamento pode ser explicada extremamente bem. Por exemplo, uma regressão logística de P(A=1|X)=(1+exp(−(Xβ)))−1P(A=1|X)=(1+exp⁡(−(Xβ)))−1\P(A =1 |X) = (1+ \exp(-(X\beta)))^{-1} wehre AAA atribuição tratamento e XXX covariáveis tem ajuste muito bom com muito alto teste AUC>.80AUC>.80AUC >.80 ou mesmo >.90>.90>.90 . …

8 missing-data  causality  propensity-scores  survey-weights 

Após uma pergunta feita anteriormente, os fatores de inflação de variação (VIFs) podem ser expressos como é a versão em escala de tamanho da unidade deWXVIFj=Var(b^j)σ2=[w′jwj−w′jW−j(W′−jW−j)−1W′−jwj]−1VIFj=Var(b^j)σ2=[wj′wj−wj′W−j(W−j′W−j)−1W−j′wj]−1 \textrm{VIF}_j = \frac{\textrm{Var}(\hat{b}_j)}{\sigma^2} = [\mathbf{w}_j^{\prime} \mathbf{w}_j - \mathbf{w}_j^{\prime} \mathbf{W}_{-j} (\mathbf{W}_{-j}^{\prime} \mathbf{W}_{-j})^{-1} \mathbf{W}_{-j}^{\prime} \mathbf{w}_j]^{-1} WW\mathbf{W}XX\mathbf{X} Alguém pode me mostrar como chegar daqui à equação é …

8 multiple-regression  vif 

Para uma variável aleatória não negativa , como provar que está diminuindo em ?XXXE(Xn)1nE(Xn)1nE(X^n)^{\frac1n}nnn

8 mathematical-statistics  random-variable  moments 

Estou usando o PCA para analisar várias séries temporais espacialmente relacionadas, e parece que o primeiro vetor próprio corresponde à derivada da tendência média da série (exemplo ilustrado abaixo). Estou curioso para saber por que o primeiro vetor próprio se relaciona com a derivada da tendência em oposição à própria …

8 time-series  pca  spatial  eigenvalues 

Eu entendo que a fórmula para probabilidade de convergência é e eu posso resolver problemas usando a fórmula. Alguém pode explicá-lo intuitivamente (como eu tenho cinco anos), principalmente no que é ?P[|Xn−X∞|>ϵ]→0P[|Xn−X∞|>ϵ]→0P[|X_n − X_\infty| \gt \epsilon ]\to 0ϵϵ\epsilon

8 probability  convergence  intuition 

Conforme observado por Wand e Jones (1995), a maioria dos kernels padrão pode ser vista como um caso de K( x ; p ) = { 22 p + 1B (p+1,p+1) }- 1( 1 - x2)p1{ | x | < 1 }K(x;p)={22p+1B(p+1,p+1)}−1(1−x2)p1{|x|<1} K(x;p) = \{ 2^{2p+1} \; \mathrm{B}(p+1,p+1) \}^{-1} \; …

8 distributions  kernel-smoothing  beta-distribution 

Digamos que eu possa conhecer o SVD de alguma matriz :X = U S V TXXXX=USVTX=USVTX = USV^T Se eu tenho uma matriz ortogonal (ou seja, é quadrada e tem colunas ortonormais), o SVD de éA X AAAAAAAXAXAXA XA=USWTXA=USWTXA = USW^T onde .W=ATVW=ATVW = A^TV Mas algo pode ser dito …

8 pca  svd  matrix-decomposition 

Eu tenho um conjunto de dados de medições de temperatura da água tiradas de um grande corpo de água em intervalos irregulares durante um período de décadas. (Galveston Bay, TX, se você estiver interessado) Aqui está o chefe dos dados: STATION_ID DATE TIME LATITUDE LONGITUDE YEAR MONTH DAY SEASON MEASUREMENT …

8 time-series  seasonality  trend  unevenly-spaced-time-series 

Vi o seguinte em um livro didático e tenho dificuldades para entender o conceito. Eu entendo que é normalmente distribuído com E ( ) = 0 e Var ( ) = .XnXnX_nXnXnX_nXnXnX_n1n1n\frac{1}{n} No entanto, não entendo por que multiplicar por tornaria o padrão normal.XnXnX_nn−−√n\sqrt n

8 self-study  normal-distribution  expected-value  moments 

Estou tentando comparar a variabilidade em duas amostras que são bastante diferentes em escala (capacidade dos alunos de diferentes tipos de estabelecimentos de ensino (creche, ensino fundamental e médio). Minha abordagem é calcular o desvio padrão para cada amostra e depois dividir esse valor. pela média da amostra. Eu não …

8 standard-deviation  terminology 

Eu enfrentei uma distribuição limitadora com covariância zero entre duas variáveis, mas a correlação delas é . Existe tal distribuição? Como isso pode ser explicado?111 Você está certo, posso precisar dar mais detalhes. OK, X e Y são distribuição normal bivariada com diferentes variações e médias (livres de n) mas …

8 distributions  correlation  covariance  asymptotics  bivariate 

Na entrada da Wikipedia para o critério de informação Akaike , lemos em Comparação com BIC (critério de informação bayesiano) que ... AIC / AICc tem vantagens teóricas sobre BIC ... AIC / AICc é derivado de princípios de informação; O BIC não é ... O BIC tem um prioritário …

8 model-selection  aic  prior  information-theory  bic