Estatísticas e Big Data

Eu li as seguintes postagens que responderam à pergunta que eu ia fazer: Use o modelo Floresta aleatória para fazer previsões a partir dos dados do sensor Árvore de decisão para previsão de saída Aqui está o que eu fiz até agora: comparei a regressão logística com as florestas aleatórias …

8 random-forest  prediction 

Em uma distribuição de Poisson, a média é igual à variância. Eu gostaria de encontrar um intervalo de confiança da variação. Meu raciocínio abaixo está correto? Usando o teorema do limite central, construo um intervalo de confiança de 95% para a média Portanto, Parece-me que o a desigualdade deve funcionar …

8 confidence-interval  variance  poisson-distribution 

Esta é uma derivação desta pergunta: Como comparar dois grupos com várias medidas para cada indivíduo com R? Nas respostas (aprendi corretamente), aprendi que a variação dentro do sujeito não afeta as inferências feitas sobre as médias de grupo e não há problema em simplesmente tomar as médias das médias …

8 r  confidence-interval  mixed-model  jags  error-propagation 

Tentando provar que isso não pertence à família exponencial. f(y|a)=4(y+a)(1+4a);0&lt;y&lt;1,a&gt;0f(y|a)=4(y+a)(1+4a);0&lt;y&lt;1,a&gt;0f(y|a)=4\frac{(y+a)}{(1+4a)} ; 0 < y < 1 , a>0 Aqui está a minha abordagem: f(y|a)=4(y+a)e−log(1+4a)f(y|a)=4(y+a)e−log(1+4a)f(y|a) = 4(y+a)e^{-log(1+4a)} f(y|a)=(4y)(1+ay)e−log(1+4a)f(y|a)=(4y)(1+ay)e−log(1+4a)f(y|a) = (4y)(1+\frac{a}{y})e^{-log(1+4a)} Comparando isto com a forma padrão, e , que tem de ser uma função de apenas , não pode ser definida …

8 self-study  pdf  exponential-family 

Eu tenho um problema de regressão com 5-6k variáveis. Divido meus dados em três conjuntos não sobrepostos: treinamento, validação e teste. Treino usando apenas o conjunto de treinamento e gere muitos modelos diferentes de regressão linear escolhendo um conjunto diferente de 200 variáveis ​​para cada modelo (eu tento cerca de …

8 regression  cross-validation  model-selection  r-squared  overfitting 

Eu sei que é possível quando você realiza uma regressão linear múltipla para calcular o intervalo de confiança no R-quadrado e no R-quadrado ajustado. Alguém sabe como fazer isso com R?

8 r  confidence-interval  r-squared 

Desculpas se esta é uma pergunta muito básica. Se tivermos dados que normalmente não são distribuídos (por exemplo, enviesados, o teste Shapiro-Wilk é significativo) e recorrermos a métodos baseados em classificação (por exemplo, teste Wilcoxon Signed Rank), então precisamos nos preocupar com discrepâncias? Imagine, por exemplo, plotar os dados usando …

8 outliers  ranks 

Eu tenho um conjunto de dados que contém algumas centenas de transações de três fornecedores que operam em mais de 100 países durante um período de três anos. Descobrimos que o país de vendas não é um fator significativo nos preços alcançados (os produtos são mais ou menos commodities globais). …

8 r  time-series  multiple-regression 

Por exemplo, a estatística de teste calculada para o teste ANOVA é comparada a uma distribuição F, enquanto um meio de comparação do teste t compara a estatística do teste a uma distribuição t.

8 hypothesis-testing  distributions 

Um modelo "de última geração" para a distribuição de gols marcados em uma partida de futebol é o de Dixon e Robinson (1998) "Um modelo de processo de nascimento para partidas de futebol de associação", responsável por dois fenômenos principais: 1) Mais gols são marcados no final dos jogos do …

8 monte-carlo  poisson-process 

Assim, parece-me que a função de pesos em lm dá mais peso às observações quanto maior o valor de 'peso' da observação associada, enquanto a função lme em lme faz exatamente o oposto. Isso pode ser verificado com uma simulação simples. #make 3 vectors- c is used as an uninformative …

8 r  regression  mixed-model  weighted-regression 

Considere o seguinte ajuste: fit3a=glmnet(x,g4,family="multinomial",type.multinomial="grouped") Como indico quais colunas xsão categóricas / multinomiais? Existe uma opção para especificar o índice das variáveis ​​agrupadas? A documentação descreve a opção da type.multinomialseguinte maneira: Se "agrupado", uma penalidade de laço agrupado é usada nos coeficientes multinomiais para uma variável. Isso garante que eles …

8 categorical-data  glmnet 

É possível realizar uma seleção aproximada de bayesianos (1) de hiperparâmetros (por exemplo, escala de covariância) com o código GPML, em vez de maximizar a probabilidade marginal (2)? Eu acho que o uso de métodos MCMC para resolver as integrais que envolvem hiperparâmetros anteriores deve levar a melhores resultados ao …

8 bayesian  model-selection  gaussian-process  hyperparameter 

Eu tenho duas perguntas, Pergunta 1: Como posso mostrar que a distribuição posterior é uma distribuição beta se a probabilidade é binomial e a anterior é beta Pergunta 2: Como as escolhas dos parâmetros anteriores afetam a posterior? Eles não deveriam ser todos iguais? É possível responder a essas perguntas …

8 r  self-study  bayesian  prior  posterior 

Tenho dados de pesquisas categóricas sobre as atitudes das pessoas em relação a uma determinada área política de 13 países. A variável de resposta é categórica e inclui 4 respostas distintas que não podem ser solicitadas. Eu gostaria de construir um modelo multinomial de múltiplos níveis de interceptação aleatória e …

8 regression  logistic  multinomial