Estatísticas e Big Data

Alguém pode me dizer a diferença entre usar aov()e lme()analisar dados longitudinais e como interpretar os resultados desses dois métodos? Abaixo, eu analisar o mesmo conjunto de dados usando aov()e lme()e tem 2 resultados diferentes. Com aov(), obtive um resultado significativo no tempo por interação com o tratamento, mas, ao …

13 r  mixed-model  repeated-measures  panel-data 

Preciso de uma fórmula para a probabilidade de um evento em uma distribuição n-variável de Bernoulli com P ( X i = 1 ) = p i probabilidades para um único elemento e para pares de elementos P ( X i = 1 ∧ X j = 1 ) = …

13 multivariate-analysis  discrete-data 

Estou experimentando a classificação de dados em grupos. Sou bastante novo neste tópico e estou tentando entender o resultado de algumas das análises. Usando exemplos do Quick-R , vários Rpacotes são sugeridos. Eu tentei usar dois desses pacotes ( fpcusando a kmeansfunção e mclust). Um aspecto desta análise que eu …

13 r  clustering 

Gostaria de obter os coeficientes para o problema do LASSO | | Y- Xβ| | +λ | | β| |1.||Y-Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. O problema é que as funções glmnet e lars dão respostas diferentes. Para a função glmnet, peço os coeficientes deem vez de apenas , mas ainda recebo respostas diferentes.λ …

13 r  machine-learning  regression  lasso  regularization 

Os dados: trabalhei recentemente na análise das propriedades estocásticas de um campo espaço-temporal de erros de previsão de produção de energia eólica. Formalmente, pode-se dizer que é um processo indexado duas vezes no tempo (comteh) e uma vez no espaço (p) comHsendo o número de tempos de espera (igual a …

13 forecasting  data-mining  stochastic-processes  spatial  spatio-temporal 

Recentemente, me formei com mestrado em modelagem médica e biológica, acompanhada de engenharia matemática como pano de fundo. Embora meu programa educacional incluísse uma quantidade significativa de cursos de estatística matemática (veja abaixo uma lista), que gerenciei com notas bastante altas, freqüentemente acabo completamente perdida olhando a teoria e as …

13 mathematical-statistics  bioinformatics  computational-statistics 

Em resposta a um crescente corpo de estatísticos e pesquisadores que criticam a utilidade do teste de hipótese nula (NHT) para a ciência como um esforço cumulativo, a Força-Tarefa da Associação Americana de Psicologia em Inferência Estatística evitou uma proibição total do NHT, mas sugeriu que os pesquisadores relatam tamanhos …

13 bayesian  confidence-interval  effect-size  inference 

Eu tenho um conjunto de jogadores. Eles jogam um contra o outro (em pares). Pares de jogadores são escolhidos aleatoriamente. Em qualquer jogo, um jogador ganha e outro perde. Os jogadores jogam entre si um número limitado de jogos (alguns jogadores jogam mais, outros menos). Então, eu tenho dados (quem …

13 goodness-of-fit  ranking  rating 

Quais são os prós e os contras do uso do LARS [1] versus o uso da descida de coordenadas para ajustar a regressão linear regularizada por L1? Estou interessado principalmente em aspectos de desempenho (meus problemas tendem a ter Nentre centenas e milhares e p<20.) No entanto, quaisquer outras idéias …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Atualmente, estou trabalhando como assistente de ensino na minha universidade, em um curso introdutório de estatística (para estudantes de medicina). Off-line, existem muitos livros disponíveis com informações para ajudar o professor. No entanto, o que estou interessado em saber é se você pode me direcionar para qualquer (bom) recurso que …

13 probability  references  inference  descriptive-statistics  teaching 

Ontem fiz essa pergunta no StackOverflow e obtive uma resposta, mas concordamos que parece um pouco imprudente e pode haver uma maneira melhor de analisar isso. A pergunta: eu gostaria de calcular os erros padrão de Newey-West (HAC) para um vetor (neste caso, um vetor de retorno de estoque). A …

13 r  standard-error  autocorrelation  heteroscedasticity 

Faço um monte de relatórios imobiliários e o preço médio é frequentemente relatado, principalmente pelo NAR (National Association Of Realtors). O melhor que posso dizer é que eles recebem apenas as medianas dos preços dos imóveis em cada área. Minha pergunta é: como deve ser calculada a mediana nacional, dadas …

13 median 

Eu tenho dois conjuntos de dados que são aproximadamente centrados em torno de zero, mas eu suspeito que eles tenham caudas diferentes. Conheço alguns testes para comparar a distribuição com uma distribuição normal, mas gostaria de comparar diretamente as duas distribuições. Existe um teste simples para comparar a gordura da …

13 hypothesis-testing  distributions  kurtosis  fat-tails 

Esta pode ser uma pergunta ingênua, mas aqui vai. Se eu tiver um conjunto de dados empíricos e ajustar uma densidade de kernel a ele, e obter um novo valor único, possivelmente proveniente do mesmo processo que gerou o conjunto de dados original, posso atribuir uma probabilidade de que esse …

13 kde 

Gostaria de automatizar a escolha do burn-in para uma cadeia MCMC, por exemplo, removendo as primeiras n linhas com base em um diagnóstico de convergência. Até que ponto essa etapa pode ser automatizada com segurança? Mesmo se eu ainda verificar a autocorrelação, o rastreamento mcmc e os pdfs, seria bom …

13 r  bayesian  mcmc