Estatísticas e Big Data

Supondo que eu tenha ajustado alguns modelos usando preditores (e a variável de resposta) do mesmo conjunto de dados. Que mudanças no modelo tornarão irracional comparar os modelos com base na AIC? 1) Supondo que, se eu logar transformar a variável dependente, é justo compará-la com um modelo em que …

9 aic 

O ECDF unidimensional é bastante fácil de calcular. No entanto, quando se trata de duas dimensões ou mais, os recursos on-line se tornam escassos e difíceis de alcançar. Alguém pode sugerir, definir e / ou apresentar algoritmos eficientes (implementação não pronta) para calcular ECDF multivariado?

9 ecdf  multivariate-distribution 

Estou tentando reconciliar diferentes definições da função de custo / perda do SVM de margem flexível na forma primária. Existe um operador "max ()" que eu não entendo. Eu aprendi sobre o SVM há muitos anos no livro de graduação em nível " Introdução à mineração de dados " de …

9 machine-learning  classification  svm  data-mining  loss-functions 

No contexto do aprendizado de máquina, digamos que você tenha um problema no qual as classes da população real não são equilibradas - por exemplo, a Classe A ocorre 80% das vezes e a Classe B ocorre 20% das vezes. Nesse caso, é geralmente melhor ter um determinado algoritmo ML …

9 machine-learning  unbalanced-classes 

Estou participando de uma competição no momento. Sei que é meu trabalho fazer isso bem, mas talvez alguém queira discutir meu problema e sua solução aqui, pois isso também pode ser útil para outras pessoas em seu campo. Treinei um modelo xgboost (um modelo baseado em árvore e um linear …

9 machine-learning  boosting  overfitting  bias-correction 

Entendo que o abandono é usado para reduzir o excesso de adaptação na rede. Esta é uma técnica de generalização. Na rede neural convolucional, como posso identificar o sobreajuste? Uma situação em que consigo pensar é quando obtenho uma precisão de treinamento muito alta em comparação à precisão de teste …

9 machine-learning  overfitting  conv-neural-network  dropout 

Eu tenho ~ 1 milhão de pontos de dados. Aqui está o link para o arquivo data.txt. Cada um deles pode ter um valor entre 0 e 145. É um conjunto de dados discreto. Abaixo está o histograma do conjunto de dados. No eixo x é a contagem (0-145) e …

9 r  statistical-significance  goodness-of-fit  negative-binomial 

Eu quero realizar análises de sentimentos em textos, já passei por vários artigos, alguns deles estão usando "Naive Bayes" e outros são "Rede Neural Recorrente (LSTM)" , por outro lado, vi uma biblioteca python para análise de sentimentos que é nltk. Ele usa "Naive Bayes" alguém pode explicar qual é …

8 machine-learning  neural-networks  python  natural-language 

Uma maçã está localizado no vértice AAA do pentágono ABCDEABCDEABCDE , e um sem-fim está localizado dois vértices de distância, em CCC . Todos os dias o verme rasteja com igual probabilidade a um dos dois vértices adjacentes. Assim, depois de um dia, o sem-fim é no vértice BBB ou …

8 probability  markov-process 

Infelizmente, há um problema estatístico. Eu não tenho idéia por onde começar (estou estudando por conta própria, para que não haja ninguém que eu possa perguntar, se eu não entender alguma coisa. A questão é N ( um , b 2 ) ; a = 0 ; b 2 = …

8 self-study  normal-distribution  random-variable 

Meu entendimento de como a covariância funciona é que os dados correlacionados devem ter uma covariância um pouco alta. Me deparei com uma situação em que meus dados parecem correlacionados (como mostrado no gráfico de dispersão), mas a covariância é quase zero. Como a covariância dos dados pode ser zero …

8 python  descriptive-statistics  covariance 

Problema: quero realizar uma amostragem de Gibbs para inferir algumas posteriores em um grande conjunto de dados. Infelizmente, meu modelo não é muito simples e, portanto, a amostragem é muito lenta. Eu consideraria abordagens variacionais ou paralelas, mas antes de ir tão longe ... Pergunta: Gostaria de saber se poderia …

8 sampling  bootstrap  mcmc  large-data  gibbs 

Antecedentes : Israel (e o Oriente Médio em geral) está repleto de protestos. Estou curioso, quando recebi uma foto, para estimar quantas pessoas estão nessa foto (geralmente uma foto de uma grande multidão). Que modelagem pode oferecer alguma solução para esse problema? (e, é claro, isso pode ser feito com …

8 r  image-processing  pattern-recognition 

Eu tenho um conjunto de dados muito grande, onde repeti medições ao longo do tempo para locais individuais. Alguns locais podem ter 10 pontos de dados e outros possuem apenas 1 ponto de dados. Eu me encaixo em um modelo misto e uso locais como efeitos aleatórios. Minha pergunta é: …

8 mixed-model  multilevel-analysis 

Eu tenho dados que são equivalentes a: shopper_1 = ['beer', 'eggs', 'water',...] shopper_2 = ['diapers', 'beer',...] ... Eu gostaria de fazer uma análise sobre esse conjunto de dados para obter uma matriz de correlação que teria uma implicação semelhante a: se você comprou x, é provável que você compre y. …

8 correlation  econometrics  python  cross-correlation