Estatísticas e Big Data

Quais gráficos de diagnóstico (e talvez testes formais) você considera mais informativos para regressões em que o resultado é uma variável de contagem? Estou especialmente interessado em Poisson e nos modelos binomiais negativos, bem como nos modelos com inflado zero e obstáculos de cada um. A maioria das fontes que …

88 generalized-linear-model  residuals  negative-binomial  zero-inflation  poisson-regression 

Estou trabalhando com uma grande quantidade de séries temporais. Essas séries temporais são basicamente medidas de rede que ocorrem a cada 10 minutos, e algumas são periódicas (ou seja, a largura de banda), enquanto outras não são (ou seja, a quantidade de tráfego de roteamento). Eu gostaria de um algoritmo …

88 time-series  outliers  mathematical-statistics  real-time 

Se estivermos montando um glmer, podemos receber um aviso informando que o modelo está encontrando dificuldades para convergir ... por exemplo >Warning message: In checkConv(attr(opt, "derivs"), opt$par, ctrl = control$checkConv, : Model failed to converge with max|grad| = 0.00389462 (tol = 0.001) Outra maneira de verificar a convergência discutida neste …

88 r  mixed-model  lme4-nlme 

Ajustar uma regressão logística usando lme4 termina com Error in mer_finalize(ans) : Downdated X'X is not positive definite. Uma causa provável desse erro é aparentemente uma deficiência de classificação. O que é deficiência de classificação e como devo resolvê-la?

87 r  logistic  lme4-nlme 

Eu sei que o k-means não é supervisionado e é usado para agrupar etc, e que o k-NN é supervisionado. Mas eu queria saber diferenças concretas entre os dois?

86 machine-learning  k-means  k-nearest-neighbour 

Dado que o software pode fazer o cálculo exato do teste de Fisher tão facilmente hoje em dia , existe alguma circunstância em que, teoricamente ou praticamente, o teste do qui-quadrado seja realmente preferível ao teste exato de Fisher? As vantagens do teste exato de Fisher incluem: escala para tabelas …

86 chi-squared  contingency-tables  fishers-exact 

Suponha que eu tenha um conjunto de dados de amostra de uma distribuição desconhecida ou complexa e que deseje realizar alguma inferência em uma estatística dos dados. Minha inclinação padrão é apenas para gerar um monte de amostras de bootstrap com substituição e calcular o meu estatística em cada amostra …

86 hypothesis-testing  confidence-interval  bootstrap 

Sei grosseiramente e informalmente o que é um intervalo de confiança. No entanto, parece que não consigo entender um detalhe bastante importante: de acordo com a Wikipedia: Um intervalo de confiança não prevê que o valor real do parâmetro tenha uma probabilidade específica de estar no intervalo de confiança, dados …

86 confidence-interval  definition 

O wiki discute os problemas que surgem quando a multicolinearidade é um problema na regressão linear. O problema básico é que a multicolinearidade resulta em estimativas instáveis ​​de parâmetros, o que dificulta a avaliação do efeito de variáveis ​​independentes sobre variáveis ​​dependentes. Eu entendo as razões técnicas por trás dos …

85 regression  intuition  multicollinearity 

É sempre válido incluir uma interação bidirecional em um modelo sem incluir os efeitos principais? E se sua hipótese for apenas sobre a interação, você ainda precisa incluir os principais efeitos?

85 regression  modeling  interaction  regression-coefficients 

Gosto do livro de G van Belle sobre Regras de Estatística , e em menor grau Erros Comuns em Estatística (e Como Evitá-las) de Phillip I Good e James W. Hardin. Eles abordam as armadilhas comuns na interpretação dos resultados de estudos experimentais e observacionais e fornecem recomendações práticas para …

85 modeling  eda  rule-of-thumb 

Todos sabemos que o mantra "correlação não implica causalidade", que é tocado em todos os estudantes de estatística do primeiro ano. Existem alguns bons exemplos aqui para ilustrar a ideia. Mas às vezes correlação faz implica causalidade. O exemplo a seguir é retirado desta página da Wikipedia Por exemplo, alguém …

85 correlation  causality 

Eu tenho encaixar alguns modelos de efeitos mistos (particularmente modelos longitudinais) usando lme4em Rmas gostaria de realmente dominar os modelos e o código que se passa com eles. No entanto, antes de mergulhar com os dois pés (e comprar alguns livros), quero ter certeza de que estou aprendendo a biblioteca …

85 r  mixed-model  lme4-nlme 

É sabido que a mediana é resistente a valores discrepantes. Se for esse o caso, quando e por que usaríamos a média em primeiro lugar? Uma coisa em que posso pensar talvez seja entender a presença de discrepantes, ou seja, se a mediana estiver longe da média, a distribuição será …

84 mathematical-statistics  mean  median 

Eu sou novo no aprendizado de máquina e tenho tentado descobrir como aplicar redes neurais à previsão de séries temporais. Encontrei recursos relacionados à minha consulta, mas ainda estou um pouco perdido. Eu acho que uma explicação básica sem muitos detalhes ajudaria. Digamos que tenho alguns valores de preço para …

83 time-series  forecasting  neural-networks