Estatísticas e Big Data

Parece que os especialistas em visualização de dados geralmente desaprovam os gráficos de medidores (veja aqui: Como você chama um gráfico que se parece com um gráfico de meia torta com uma agulha indicando uma porcentagem? ). O principal motivo é que um gráfico de medidores tem uma baixa proporção …

18 data-visualization 

Estou trabalhando em um aplicativo de pesquisa de saúde aberto, planejado para ser usado em países em desenvolvimento. A idéia básica é que as entrevistas da pesquisa sejam de crowdsourcing - elas são realizadas por voluntários desorganizados que enviam dados dos formulários das entrevistas realizadas usando seus dispositivos móveis, e …

18 sampling 

Eu tenho alguma variável distribuída não gaussiana e preciso verificar se há diferenças significativas entre os valores dessa variável em 5 grupos diferentes. Realizei a análise de variância unidirecional de Kruskal-Wallis (que foi significativa) e depois tive que verificar quais grupos eram significativamente diferentes. Como os grupos são classificados (os …

18 hypothesis-testing  post-hoc  wilcoxon-mann-whitney  kruskal-wallis  dunn-test 

Aprendi que a soma de variáveis ​​aleatórias exponenciais segue a distribuição gama. Mas em todo lugar que leio a parametrização é diferente. Por exemplo, o Wiki descreve o relacionamento, mas não diga o que seus parâmetros realmente significam? Forma, escala, taxa, 1 / taxa? Distribuição exponencial: ~xxxexp(λ)exp(λ)exp(\lambda) f(x|λ)=λe−λxf(x|λ)=λe−λxf(x|\lambda )=\lambda {{e}^{-\lambda …

18 distributions  probability  gamma-distribution 

Atualmente, essa questão não se encaixa no nosso formato de perguntas e respostas. Esperamos que as respostas sejam apoiadas por fatos, referências ou conhecimentos, mas essa pergunta provavelmente solicitará debate, argumentos, pesquisas ou discussão prolongada. Se você acha que essa pergunta pode ser melhorada e possivelmente reaberta, visite o centro …

18 machine-learning  text-mining  natural-language 

Estou confuso sobre como calcular a perplexidade de uma amostra de validação ao fazer a Alocação de Dirichlet Latente (LDA). Os artigos sobre o assunto brotam, me fazendo pensar que estou perdendo algo óbvio ... A perplexidade é vista como uma boa medida de desempenho para a LDA. A idéia …

18 text-mining  topic-models 

Há palavras de "Os elementos do aprendizado estatístico" na página 91: Os centróides K no espaço de entrada p-dimensional abrangem no subespaço dimensional K-1 e, se p for muito maior que K, será uma queda considerável na dimensão. Eu tenho duas perguntas: Por que os centróides K no espaço de …

18 machine-learning  discriminant-analysis 

Duas perguntas relacionadas de mim. Eu tenho um quadro de dados que contém o número de pacientes em uma coluna (intervalo de 10 a 17 pacientes) e 0s e 1s mostrando se um incidente aconteceu naquele dia. Estou usando um modelo binomial para regredir a probabilidade de incidente no número …

18 binomial  generalized-linear-model  offset 

Eu realizei com R uma ANOVA e obtive diferenças significativas. No entanto, ao verificar quais pares eram significativamente diferentes usando o procedimento de Tukey, não obtive nenhum deles. Como isso pode ser possível? Aqui está o código: fit5_snow<- lm(Response ~ Stimulus, data=audio_snow) anova(fit5_snow) > anova(fit5_snow) Analysis of Variance Table Response: …

18 anova  post-hoc  tukey-hsd 

"Margem de erro" é o mesmo que "erro padrão"? Um exemplo (simples) para ilustrar a diferença seria ótimo!

18 definition 

Planejo fazer um estudo de simulação em que comparo o desempenho de várias técnicas de correlação robustas com diferentes distribuições (distorcidas, com outliers, etc.). Com robusto , quero dizer o caso ideal de ser robusto contra a) distribuições distorcidas, b) discrepantes ec) caudas pesadas. Junto com a correlação de Pearson …

18 r  correlation  robust  spearman-rho  winsorizing 

Eu estou olhando para usar o laço como um método para selecionar recursos e ajustar um modelo preditivo com um alvo binário. Abaixo está um código com o qual eu estava jogando para testar o método com regressão logística regularizada. Minha pergunta é: recebo um grupo de variáveis ​​"significativas", mas …

18 logistic  importance  glmnet 

Em particular, como devem ser calculados os erros padrão dos efeitos fixos em um modelo linear de efeitos mistos (no sentido freqüentista)? Fui levado a acreditar que as estimativas típicas ( ), como as apresentadas em Laird e Ware [1982], darão aos SE que são subestimados em tamanho porque os …

18 r  mixed-model  random-effects-model 

Estou procurando artigos ou textos que comparem e discutam (empiricamente ou teoricamente): Algoritmos de árvores de Boosting e Decision , como Random Forests ou AdaBoost , e GentleBoost, aplicados a árvores de decisão. com Métodos de aprendizado profundo, como Máquinas Boltzmann Restritas , Memória Temporal Hierárquica , Redes Neurais Convolucionais …

18 machine-learning  deep-learning  cart  rbm  adaboost 

Costuma-se argumentar que a estrutura bayesiana tem uma grande vantagem na interpretação (sobre frequentista), porque calcula a probabilidade de um parâmetro dado os dados - vez de como no exemplo quadro freqüentista. Por enquanto, tudo bem.p ( x | θ )p ( θ | x )p(θ|x)p(\theta|x)p ( x | θ …

18 bayesian  interpretation  prior  likelihood  posterior