Estatísticas e Big Data

Parece que se eu tiver um modelo de regressão como yi∼β0+β1xi+β2x2i+β3x3iyi∼β0+β1xi+β2xi2+β3xi3y_i \sim \beta_0 + \beta_1 x_i+\beta_2 x_i^2 +\beta_3 x_i^3Posso ajustar um polinômio bruto e obter resultados não confiáveis ​​ou ajustar um polinômio ortogonal e obter coeficientes que não têm uma interpretação física direta (por exemplo, não posso usá-los para encontrar …

14 regression  linear-model  regression-coefficients  polynomial 

Eu tenho um conjunto de dados de casos de incidentes por temporada de uma doença rara. Por exemplo, digamos que houve 180 casos na primavera, 90 no verão, 45 no outono e 210 no inverno. Estou lutando para saber se é apropriado anexar erros padrão a esses números. Os objetivos …

14 poisson-distribution  standard-error  count-data 

Realizei um experimento em que criei famílias diferentes, provenientes de duas populações de fontes diferentes. Cada família recebeu um dos dois tratamentos. Após o experimento, medi várias características em cada indivíduo. Para testar um efeito do tratamento ou da fonte, bem como sua interação, usei um modelo linear de efeitos …

14 r  anova  variance  lme4-nlme 

Desenvolvi um sistema de prova de conceito para reconhecimento de som usando modelos mfcc e markov oculto. Dá resultados promissores quando testo o sistema em sons conhecidos. Embora o sistema, quando um som desconhecido seja inserido, retorne o resultado com a correspondência mais próxima e a pontuação não seja tão …

14 machine-learning  hidden-markov-model  pattern-recognition 

Estou usando o libsvm e notei que toda vez que chamo svmtrain (), crio um novo modelo e parece que não há opção para colocar dados em um modelo existente. Isso é possível, no entanto? Eu simplesmente não estou vendo esse aspecto no libsvm?

14 svm  libsvm 

Estou analisando dados de 300.000 alunos em 175 escolas com um modelo logístico de efeitos mistos lineares (interceptações aleatórias). Cada aluno ocorre exatamente uma vez e os dados duram 6 anos. Como particiono a variação entre os níveis da escola e do aluno, de maneira semelhante à VPC / ICC …

14 mixed-model  binary-data 

Claramente, isso é apenas uma questão de definição ou convenção e de quase nenhuma importância prática. Se for definido como seu valor tradicional de 0,05, um valor de p de 0,0500000000000 ... é considerado estatisticamente significativo ou não? A regra para definir significância estatística é geralmente considerada como p < …

14 hypothesis-testing  statistical-significance  definition 

Se você ajustar um modelo linear ou um modelo misto, existem diferentes tipos de codificação disponíveis para transformar uma variedade categórica ou nominal em um número de variáveis ​​para as quais os parâmetros são estimados, como a dummy conding (o padrão R) e a codificação de efeitos. Ouvi dizer que …

14 regression  mixed-model  categorical-data  contrasts  categorical-encoding 

Inspirado por essa pergunta , estou me perguntando se algum trabalho foi feito sobre modelos de tópicos para grandes coleções de textos extremamente curtos. Minha intuição é que o Twitter seja uma inspiração natural para esses modelos. No entanto, a partir de algumas experiências limitadas, parece que os modelos de …

14 references  text-mining  topic-models  natural-language 

Estou usando o spotfire (S ++) para análise estatística no meu projeto e preciso executar a regressão logística multinomial para um grande conjunto de dados. Eu sei que o melhor algoritmo teria sido mlogit, mas infelizmente isso não está disponível no s ++. No entanto, eu tenho uma opção de …

14 generalized-linear-model  logistic 

Eu sou um estudante de graduação em ciência da computação. Fiz algumas análises fatoriais exploratórias para um projeto de pesquisa. Meus colegas (que lideram o projeto) usam o SPSS, enquanto eu prefiro o R. Isso não importou até que descobrimos uma grande discrepância entre os dois pacotes estatísticos. Estamos usando …

14 r  spss  factor-analysis 

Quais são algumas abordagens para classificar dados com um número variável de recursos? Como exemplo, considere um problema em que cada ponto de dados é um vetor de pontos xey, e não temos o mesmo número de pontos para cada instância. Podemos tratar cada par de pontos xey como uma …

14 machine-learning  missing-data 

Desejo executar uma regressão logística binária para modelar a presença ou ausência de conflito (variável dependente) de um conjunto de variáveis ​​independentes durante um período de 10 anos (1997-2006), com cada ano tendo 107 observações. Meus independentes são: degradação da terra (categórica para 2 tipos de degradação); aumento da população …

14 regression  time-series  logistic  spatial  ecology 

Um sistema de recomendação mede a correlação entre classificações de usuários diferentes e gera recomendações para um determinado usuário sobre os itens que podem ser do seu interesse. No entanto, os gostos mudam com o tempo, portanto , as classificações antigas podem não refletir as preferências atuais e vice-versa. Você …

14 recommender-system 

Na próxima semana, temos um estagiário de uma escola local em casa. O conceito por trás de seu curto estágio é ter uma idéia de como o mundo real funciona e com o que certos empregos lidam, como é o trabalho diário etc. Agora eu me perguntava, o que se …

14 machine-learning  teaching