Estatísticas e Big Data

Meu objetivo é ver que o algoritmo K-means é de fato o algoritmo de Expectativa-Maximização para misturas Gaussianas, em que todos os componentes têm covariância no limite como .σ2Iσ2I\sigma^2 Ilimσ→0limσ→0\lim_{\sigma \to 0} Suponha que temos um conjunto de dados {x1,…,xN}{x1,…,xN}\{x_1, \dots ,x_N\} de observações de variável aleatória XXX . A …

8 self-study  k-means  expectation-maximization  gaussian-mixture 

Esta questão é levantada pelo meu supervisor e não sei explicar. Normalmente, o nível de confiança aceito é 0,95, o que significa que a probabilidade de erro do tipo 1 é de 5%. Mas a potência geralmente aceita é 0,8 (Cohen, 1988), o que significa que a probabilidade de erro …

8 effect-size  power 

Ambas as respostas nesses tópicos, uma e duas afirmam que deve ser transformado antes de aplicar qualquer outra transformação aos preditores. De fato, o capítulo sobre transformações de Weisberg concentra-se mais em DV do que em preditores, assim como a página de manual powerTransform () do pacote de carros R.YYY …

8 regression  data-transformation 

Assumindo que existem um instrumento binário ZiZiZ_i que pode ser utilizado para estimar o efeito da variável endógena DiDiD_i sobre o resultado YiYiY_i . Suponha que o instrumento tenha um primeiro estágio significativo, seja designado aleatoriamente, atenda à restrição de exclusão e atenda à monotonicidade, conforme descrito em Angrist e …

8 mathematical-statistics  econometrics  proof  instrumental-variables 

Eu tenho vários dados intermitentes. Com base nesses dados, eu gostaria de comparar vários métodos de previsão (Suavização exponencial, Média móvel, Croston e Syntetos-Boylan) e decidir se Croston ou Syntetos Boylan é melhor que SES ou MA para dados intermitentes ou não. A medida que eu gostaria de comparar é …

8 forecasting  method-comparison  crostons-method  intermittent-time-series 

Priores não informativos são preferidos nos casos em que o viés não é aceitável (por exemplo, salas de audiências, etc.) No entanto, parece-me que faria sentido usar uma abordagem freqüentista. Por que a abordagem bayesiana tem um prévio não informativo? Obrigado!

8 bayesian  prior  uninformative-prior 

Ajustamos uma função não linear aos dados observados. O próximo passo deve ser a avaliação da qualidade do ajuste dessa função (como para modelos lineares).R2R2R^2 Quais são as formas usuais de medir isso? Editar 1: O encaixe foi realizado da seguinte maneira: Executar uma regressão linear com variáveis independentes A …

8 goodness-of-fit  nonlinear 

Estou procurando artigos que falem sobre "por que o baixo valor de é aceitável em ciências sociais ou em pesquisas educacionais". Por favor, aponte-me para o diário certo, se você souber um.R2R2R^2

8 correlation  references  r-squared  social-science 

Quero fazer a classificação do documento, representando cada documento como um conjunto de recursos. Eu sei que existem muitas maneiras: BOW, TFIDF, ... Desejo usar a Alocação de Dirichlet Latente (LDA) para extrair as palavras-chave de tópico de CADA documento. o documento é representado por estas palavras de tópico. Mas …

8 feature-selection  text-mining  topic-models  latent-dirichlet-alloc 

Existem muitas regras para selecionar uma largura ideal de compartimento em um histograma 1D (veja, por exemplo ) Estou procurando uma regra que aplique a seleção das larguras ideais de barras iguais em histogramas bidimensionais . Existe essa regra? Talvez uma das regras conhecidas dos histogramas 1D possa ser facilmente …

8 optimization  histogram 

Estou usando o pacote metafor em R. Eu ajustei um modelo de efeitos aleatórios com um preditor contínuo da seguinte maneira SIZE=rma(yi=Ds,sei=SE,data=VPPOOLed,mods=~SIZE) Qual produz a saída: R^2 (amount of heterogeneity accounted for): 63.62% Test of Moderators (coefficient(s) 2): QM(df = 1) = 9.3255, p-val = 0.0023 Model Results: se zval …

8 r  meta-analysis  meta-regression 

A função de probabilidade de uma distribuição lognormal é: f(x;μ,σ)∝∏ni11σxiexp(−(lnxi−μ)22σ2)f(x;μ,σ)∝∏i1n1σxiexp⁡(−(ln⁡xi−μ)22σ2)f(x; \mu, \sigma) \propto \prod_{i_1}^n \frac{1}{\sigma x_i} \exp \left ( - \frac{(\ln{x_i} - \mu)^2}{2 \sigma^2} \right ) e o Prior de Jeffreys é: p(μ,σ)∝1σ2p(μ,σ)∝1σ2p(\mu,\sigma) \propto \frac{1}{\sigma^2} então, combinar os dois dá: f(μ,σ2|x)=∏ni11σxiexp(−(lnxi−μ)22σ2)⋅σ−2f(μ,σ2|x)=∏i1n1σxiexp⁡(−(ln⁡xi−μ)22σ2)⋅σ−2f(\mu,\sigma^2|x)= \prod_{i_1}^n \frac{1}{\sigma x_i} \exp \left ( - \frac{(\ln{x_i} - …

8 bayesian  prior  posterior  conjugate-prior  uninformative-prior 

Antes de postar esta pergunta, naveguei por outras perguntas neste Stack, e isso provavelmente será um passeio no parque para quem lê! Mas a descrição deste Stack inclui análise e visualização de dados, então espero que este esteja no lugar certo! </preapology> Estou usando um Raspberry Pi com um ímã …

8 data-visualization  dataset 

Dizer que tenho um vector aleatório e Σ ≠ σ 2 I . Ou seja, os elementos de Y (dado X β ) estão correlacionados.Y∼N(Xβ,Σ)Y∼N(Xβ,Σ)Y\sim N(X\beta,\Sigma)Σ≠σ2IΣ≠σ2I\Sigma\neq\sigma^2 IYYYXβXβX\beta O estimador natural de é ( X ' Σ - 1 X ) - 1 X ' Σ - um Y , e …

8 experiment-design  covariance-matrix  determinant 

Eu tenho um modelo para obter estimativas bayesianas do tamanho da população e probabilidade de detecção em uma distribuição binomial baseada apenas no número observado de objetos observados : para . Por simplicidade, assumimos que N é fixado no mesmo valor desconhecido para cada y_i . Neste exemplo, y = …

8 bayesian  mcmc  hierarchical-bayesian  stan