Estatísticas e Big Data

Minha pergunta é sobre o número necessário de simulações para o método de análise de Monte Carlo. Tanto quanto vejo o número necessário de simulações para qualquer erro de porcentagem permitido (por exemplo, 5) é EEEn={100⋅zc⋅std(x)E⋅mean(x)}2,n={100⋅zc⋅std(x)E⋅mean(x)}2, n = \left\{\frac{100 \cdot z_c \cdot \text{std}(x)}{E \cdot \text{mean}(x)} \right\}^2 , onde é o …

10 standard-deviation  monte-carlo  power-analysis 

Usei a estatística GAP para estimar k clusters em R. No entanto, não tenho certeza se a interpreto bem. A partir da trama acima, presumo que devo usar 3 clusters. No segundo lote, devo escolher 6 grupos. É uma interpretação correta da estatística GAP? Eu ficaria grato por qualquer explicação.

10 clustering 

Há uma suposição de normalidade quando se trata de considerar modelos OLS e é que os erros sejam normalmente distribuídos. Estive navegando pelo Cross Validated e parece que Y e X não precisam ser normais para que os erros sejam normais. Minha pergunta é por que, quando temos erros distribuídos …

10 regression  statistical-significance  assumptions  normality-assumption 

No cálculo VIF usual para uma regressão linear, cada variável independente / explicativa é tratada como a variável dependente em uma regressão de mínimos quadrados ordinária. ieXjXjX_j Xj=β0+∑i=1,i≠jnβiXiXj=β0+∑i=1,i≠jnβiXi X_j = \beta_0 + \sum_{i=1, i \neq j}^n \beta_i X_i Os valores de são armazenados para cada uma das regressões e o …

10 regression  variance  multicollinearity  gam  vif 

Eu tenho algumas experiências com modelagem de séries temporais, na forma de modelos ARIMA simples e assim por diante. Agora eu tenho alguns dados que exibem clustering de volatilidade e gostaria de tentar começar ajustando um modelo GARCH (1,1) nos dados. Eu tenho uma série de dados e acho que …

10 r  regression  garch 

Estou tentando fazer testes A / B da maneira bayesiana, como em Programação Probabilística para Hackers e testes A / B bayesianos . Ambos os artigos pressupõem que o tomador de decisão decide qual das variantes é melhor com base apenas na probabilidade de algum critério, por exemplo, ; portanto, …

10 bayesian  beta-binomial 

Eu tenho uma série de distribuições de cauda pesada e inclinadas à esquerda que gostaria de mostrar. Existem 42 distribuições ao longo de três factores (referidas como A, Be Cabaixo). Além disso, a variação está encolhendo entre os fatores B. O problema que tenho é que é difícil diferenciar as …

10 data-visualization  multivariate-analysis  heteroscedasticity  skewness  boxplot 

Após a queima, podemos usar diretamente as iterações do MCMC para estimativa de densidade, como plotagem de um histograma ou estimativa de densidade do kernel? Minha preocupação é que as iterações do MCMC não sejam necessariamente independentes, embora sejam no máximo identicamente distribuídas. E se aplicarmos o desbaste adicional às …

10 distributions  mcmc  asymptotics 

Um módulo on-line que estou estudando afirma que nunca se deve usar a correlação de Pearson com dados de proporção. Por que não? Ou, se às vezes está bom ou sempre bem, por que?

10 correlation  proportion  compositional-data 

Esta questão está relacionada ao artigo Geometria Diferencial de Famílias Exponenciais Curvas - Curvaturas e Perda de Informação por Amari. O texto é o seguinte. Seja uma variedade dimensional de distribuições de probabilidade com um sistema de coordenadas , onde é assumido ...Sn={pθ}Sn={pθ}S^n=\{p_{\theta}\}nnnθ=(θ1,…,θn)θ=(θ1,…,θn)\theta=(\theta_1,\dots,\theta_n)pθ(x)>0pθ(x)>0p_{\theta}(x)>0 Podemos considerar cada ponto de como portador …

10 mathematical-statistics  statistical-learning  geometry  information-geometry 

Digamos que tenho o seguinte modelo: Poisson(λ)∼{λ1λ2if t<τif t≥τPoisson(λ)∼{λ1if t<τλ2if t≥τ\text{Poisson}(\lambda) \sim \begin{cases} \lambda_1 & \text{if } t \lt \tau \\ \lambda_2 & \text{if } t \geq \tau \end{cases} E deduzo os posteriores para e mostrados abaixo a partir dos meus dados. Existe uma maneira bayesiana de dizer (ou quantificar) …

10 distributions  bayesian  poisson-distribution 

A fórmula que você precisa especificar para treinar um modelo multinível (usando lmerda lme4 Rbiblioteca) sempre me entende. Eu li inúmeros livros e tutoriais, mas nunca entendi direito. Então, aqui está um exemplo deste tutorial que eu gostaria de ver formulado em uma equação. Estamos tentando modelar a frequência da …

10 r  multilevel-analysis  lme4-nlme 

Eu obtive três modelos reduzidos de um modelo completo original usando seleção para a frente eliminação para trás Técnica de penalização L1 (LASSO) Para os modelos obtidos usando seleção direta / eliminação reversa, obtive a estimativa validada cruzada do erro de previsão usando o CVlmpacote DAAGdisponível em R. Para o …

10 cross-validation  model-selection  lasso  stepwise-regression 

Estou testando a independência de duas variáveis, A e B, estratificadas por C. A e B são variáveis ​​binárias e C é categórica (5 valores). Executando o teste exato de Fisher para A e B (todos os estratos combinados), recebo: ## (B) ## (A) FALSE TRUE ## FALSE 1841 85 …

10 categorical-data  interpretation  inference  contingency-tables  fishers-exact 

Eu vi duas representações diferentes do estimador de regressão quantil que são Q ( βq) = ∑i : yEu≥ x′Euβnq∣yEu-x′Euβq∣ + ∑i : yEu&lt; x′Euβn( 1- q) ∣YEu-x′Euβq∣Q(βq)=∑Eu:yEu≥xEu′βnq∣yEu-xEu′βq∣+∑Eu:yEu&lt;xEu′βn(1 1-q)∣yEu-xEu′βq∣Q(\beta_{q}) = \sum^{n}_{i:y_{i}\geq x'_{i}\beta} q\mid y_i - x'_i \beta_q \mid + \sum^{n}_{i:y_{i}< x'_{i}\beta} (1-q)\mid y_i - x'_i \beta_q \mid e Q ( …

10 proof  quantile-regression  equivalence