Estatísticas e Big Data

Estou procurando o método ideal de binning (discretização) de uma variável contínua em relação a uma variável binária de resposta (destino) e com o número máximo de intervalos como parâmetro. exemplo: eu tenho um conjunto de observações de pessoas com variáveis ​​"height" (numeral contínuo) e "has_back_pains" (binário). Eu quero discretizar …

11 r  dataset  optimization  discrete-data  binning 

Estou trabalhando na derivação de um posterior Normal-Wishart, mas estou preso em um dos parâmetros (o posterior da matriz de escala, veja na parte inferior). Apenas por contexto e integridade, aqui está o modelo e o restante das derivações: xiμΛ∼N(μ,Λ)∼N(μ0,(κ0Λ)−1)∼W(υ0,W0)xi∼N(μ,Λ)μ∼N(μ0,(κ0Λ)−1)Λ∼W(υ0,W0)\begin{align} x_i &\sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Lambda})\\ \boldsymbol{\mu} &\sim \mathcal{N}(\boldsymbol{\mu_0}, (\kappa_0 \boldsymbol{\Lambda})^{-1})\\ \boldsymbol{\Lambda} …

11 bayesian  posterior 

Este é um gráfico de mosaico do conjunto de dados da tabela de contingência HairEyeColordescrito aqui . Como interpreto as cores que representam resíduos? Qual é a diferença entre os resíduos altos e positivos de Pearson (mostrados em azul) versus os baixos e negativos mostrados em vermelho?

11 data-visualization  chi-squared  residuals  contingency-tables 

Eu ajustei um modelo mais recente com o seguinte (embora composto): Random effects: Groups Name Std.Dev. day:sample (Intercept) 0.09 sample (Intercept) 0.42 Residual 0.023 Eu realmente gostaria de criar um intervalo de confiança para cada efeito usando a seguinte fórmula: (n−1)s2χ2α/2,n−1,(n−1)s2χ21−α/2,n−1(n−1)s2χα/2,n−12,(n−1)s2χ1−α/2,n−12 \frac{(n-1)s^2}{\chi^2_{\alpha/2, n-1}},\frac{(n-1)s^2}{\chi^2_{1-\alpha/2,n-1}} Existe uma maneira de obter convenientemente os …

11 lme4-nlme  mixed-model 

Eu tenho um conjunto de dados que consiste em 717 observações (linhas) que são descritas por 33 variáveis ​​(colunas). Os dados são padronizados pela z-scoring de todas as variáveis. Não há duas variáveis ​​linearmente dependentes ( ). Também removi todas as variáveis ​​com variação muito baixa (menor que ). A …

11 matlab  factor-analysis  covariance  covariance-matrix 

Suponha que duas classes e C 2 tenham um atributo x e tenham distribuição N ( 0 , 0,5 ) e N ( 1 , 0,5 ) . se tivermos igual P anterior ( C 1 ) = P ( C 2 ) = 0,5 para a seguinte matriz de …

11 machine-learning  classification  bayesian  normal-distribution  bivariate 

O teste de Sharipo-Wilk, de acordo com a wikipedia , testa a hipótese nula ( ) "A população é normalmente distribuída".H0 0H0H_0 Estou procurando um teste de normalidade semelhante com "A população não é normalmente distribuída".H0 0H0H_0 Tendo esse teste, desejo calcular um valor- para rejeitar no nível de significância …

11 hypothesis-testing  goodness-of-fit  normality-assumption  equivalence 

Estou tentando especificar uma fórmula para um modelo linear de efeitos mistos (com lme4) para o meu design experimental, mas não tenho certeza se estou fazendo certo. O design: basicamente estou medindo um parâmetro de resposta nas plantas. Eu tenho 4 níveis de tratamento e 2 níveis de irrigação. As …

11 r  experiment-design  mixed-model 

Tenho uma distribuição de valores obviamente bimodal, que procuro ajustar. Os dados podem ser ajustados bem com 2 funções normais (bimodal) ou com 3 funções normais. Além disso, há uma razão física plausível para ajustar os dados com 3. Quanto mais parâmetros forem introduzidos, mais perfeito será o ajuste, como …

11 distributions  normal-distribution  model-selection  overfitting 

Aqui está a pergunta: Você lança um dado justo de 6 lados iterativamente até que a soma dos dados seja maior ou igual a M. Qual é a média e o desvio padrão da soma menos M quando M = 300? Devo escrever um código para responder a esse tipo …

11 self-study  standard-deviation  dice 

Estou interessado em saber como os Filtros Kalman podem ser usados ​​para atribuir valores ausentes nos Dados de Séries Temporais. Também é aplicável se faltarem alguns pontos consecutivos no tempo? Não consigo encontrar muito sobre esse assunto. Quaisquer explicações, comentários e links são bem-vindos e apreciados!

11 data-imputation  kalman-filter 

Eu construí um modelo de glm em R e o testei usando um grupo de teste e treinamento, por isso estou confiante de que funciona bem. Os resultados de R são: Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -2.781e+00 1.677e-02 -165.789 < 2e-16 *** Coeff_A 1.663e-05 5.438e-06 3.059 0.00222 …

11 r  generalized-linear-model  chi-squared 

Estou tentando a análise fatorial confirmatória (CFA) usando lavaan. Estou tendo dificuldade para interpretar a saída produzida por lavaan. Eu tenho um modelo simples - quatro fatores, cada um suportado por itens dos dados coletados da pesquisa. Os fatores estão alinhados com o que é medido pelos itens, na medida …

11 r  sem  confirmatory-factor  lavaan 

Eu gerei um gráfico qq usando o código a seguir. Eu sei que qq plot é usado para verificar se os dados são distribuídos normalmente ou não. Minha pergunta é o que os rótulos dos eixos xey indicam no gráfico qq e qual é esse valor de r quadrado indicando …

11 probability  normal-distribution  mathematical-statistics  descriptive-statistics  qq-plot 

Acabei de ser apresentado à distribuição Tweedie (veja isto ou isto ), mas estou tendo dificuldade em encontrar qual é a função de link para um modelo linear generalizado Tweedie. Pensamentos?

11 distributions  generalized-linear-model  tweedie-distribution