Estatísticas e Big Data

Resumo : A tentativa de encontrar o melhor método resume a semelhança entre dois conjuntos de dados alinhados usando um único valor. Detalhes : Minha pergunta é melhor explicada com um diagrama. Os gráficos abaixo mostram dois conjuntos de dados diferentes, cada um com valores rotulados nfe nr. Os pontos …

12 similarities 

Estou estudando reconhecimento de padrões e aprendizado de máquina e me deparei com a seguinte pergunta. Considere um problema de classificação de duas classes com igual probabilidade de classe anterior P(D1)=P(D2)=12P(D1)=P(D2)=12P(D_1)=P(D_2)= \frac{1}{2} e a distribuição de instâncias em cada classe dada por p(x|D1)=N([00],[2001]),p(x|D1)=N([00],[2001]), p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 …

12 machine-learning  self-study  classification  discriminant-analysis 

Espero que não haja resposta definitiva para essa pergunta. Mas eu usei vários algoritmos de aprendizado de máquina no passado e estou tentando aprender sobre redes bayesianas. Gostaria de entender sob que circunstância ou para quais tipos de problemas você escolheria usar a Rede Bayesiana em detrimento de outras abordagens?

12 machine-learning  bayesian-network 

Suponha a seguinte situação: temos um número grande (por exemplo, 20) com tamanho de grupo pequeno (por exemplo, n = 3). Percebi que, se eu gerar valores a partir da distribuição uniforme, os resíduos parecerão aproximadamente normais, mesmo que a distribuição de erros seja uniforme. O seguinte código R demonstra …

12 anova  normal-distribution  small-sample 

Eu estava lendo uma postagem de blog do estatístico William Briggs, e a seguinte afirmação me interessou para dizer o mínimo. O que você acha disso? O que é um intervalo de confiança? É uma equação, é claro, que fornecerá um intervalo para seus dados. Destina-se a fornecer uma medida …

12 confidence-interval  frequentist  philosophical 

Eu li que a regressão de crista pode ser alcançada simplesmente adicionando linhas de dados à matriz de dados original, onde cada linha é construída usando 0 para as variáveis ​​dependentes e a raiz quadrada de kkk ou zero para as variáveis ​​independentes. Uma linha extra é então adicionada para …

12 logistic  generalized-linear-model  ridge-regression 

Estou com problemas para entender em que situação a abordagem do MCMC é realmente útil. Estou passando por um exemplo de brinquedo do livro de Kruschke "Fazendo análise de dados bayesiana: um tutorial com R e BUGS". O que eu entendi até agora é que precisamos de uma distribuição de …

12 mcmc 

Na minha exposição em sala de aula à mineração de dados, o método de validação foi introduzido como uma maneira de avaliar o desempenho do modelo. No entanto, quando fiz minha primeira aula sobre modelos lineares, isso não foi introduzido como um meio de validação ou avaliação de modelo. Minha …

12 regression  validation  model-evaluation  out-of-sample 

Existe alguma diferença entre os termos "rede neural" e "perceptron"?

12 machine-learning  neural-networks  terminology  perceptron 

Bahman Bahmani e cols. introduziu k-means ||, que é uma versão mais rápida do k-means ++. Este algoritmo é retirado da página 4 de seu artigo , Bahmani, B., Moseley, B., Vattani, A., Kumar, R. e Vassilvitskii, S. (2012). K-means escalável ++. Anais da Fundação VLDB , 5 (7), 622-633. …

12 clustering  k-means 

A questão: o bootstrapping é superior ao jackknifing; no entanto, estou me perguntando se há casos em que o jackknifing é a única ou pelo menos uma opção viável para caracterizar a incerteza das estimativas de parâmetros. Além disso, em situações práticas, o quão tendencioso / impreciso é o canivete …

12 machine-learning  cross-validation  bootstrap  maximum-entropy  jackknife 

Suponha que a variável aleatória UUU siga uma distribuição uniforme uniforme com os parâmetros 0 e 10 (ou seja, U∼U(0,10)U∼U(0,10)U \sim \rm{U}(0,10) ) Agora, vamos denotar A o evento que UUU = 5 e B o evento que UUU é igual a 555 ou 6. De acordo com o meu …

12 conditional-probability  continuous-data  uniform 

Estou interessado nas descobertas deste artigo de 2009: Por que (as melhores) mulheres são tão boas no xadrez? Taxas de participação e diferenças de gênero em domínios intelectuais Este artigo tenta explicar por que os melhores jogadores de xadrez do sexo masculino parecem ser muito melhores do que as melhores …

12 population  extreme-value 

Eu me deparei com várias questões práticas ao modelar dados de contagem de pesquisas experimentais usando um experimento dentro do assunto. Descrevo brevemente o experimento, os dados e o que fiz até agora, seguidos pelas minhas perguntas. Quatro filmes diferentes foram exibidos para uma amostra de entrevistados em sequência. Após …

12 generalized-linear-model  negative-binomial  glmm  poisson-regression  overdispersion 

TL; DR: a lme4otimização parece linear no número de parâmetros do modelo por padrão e é muito mais lenta que um glmmodelo equivalente com variáveis ​​dummy para grupos. Existe algo que eu possa fazer para acelerar isso? Estou tentando ajustar um modelo de logit hierárquico bastante grande (~ 50k linhas, …

12 r  mixed-model  optimization  lme4-nlme  numerics