Estatísticas e Big Data

No aprendizado de máquina, as pessoas falam sobre função objetiva, função de custo, função de perda. Eles são apenas nomes diferentes da mesma coisa? Quando usá-los? Se eles nem sempre se referem à mesma coisa, quais são as diferenças?

80 machine-learning  terminology  artificial-intelligence 

Estou interessado em encontrar o melhor método possível para determinar quantas caixas devo usar em um histograma. Meus dados devem variar de 30 a 350 objetos, no máximo, e, em particular, estou tentando aplicar limiar (como o método de Otsu) em que objetos "bons", dos quais eu deveria ter menos …

80 rule-of-thumb  histogram 

Preciso determinar a divergência KL entre dois gaussianos. Estou comparando meus resultados com esses , mas não consigo reproduzir o resultado deles. Meu resultado está obviamente errado, porque o KL não é 0 para KL (p, p). Gostaria de saber onde estou cometendo um erro e perguntar se alguém pode …

79 normal-distribution  kullback-leibler 

Como a eleição é um evento único, não é um experimento que pode ser repetido. Então, o que exatamente significa tecnicamente a afirmação "Hillary tem 75% de chance de ganhar" ? Estou buscando uma definição estatisticamente correta, não intuitiva ou conceitual. Sou um fã amador de estatísticas que está tentando …

79 probability  prediction  politics 

Estou lendo O Livro do Por, da Judea Pearl, e está ficando sob minha pele 1 . Especificamente, parece-me que ele está criticando incondicionalmente as estatísticas "clássicas" , argumentando que as estatísticas nunca são capazes de investigar relações causais, que nunca estão interessadas em relações causais e que as estatísticas …

79 causality 

O site de inteligência artificial define o aprendizado fora da política e dentro da política da seguinte maneira: "Um aluno fora da política aprende o valor da política ideal independentemente das ações do agente. Q-learning é um aluno fora da política. Um aluno fora da política aprende o valor da …

79 machine-learning  reinforcement-learning  artificial-intelligence 

Como você saberia se seus dados (de alta dimensão) exibem agrupamentos suficientes para que os resultados de kmeans ou outro algoritmo de agrupamento sejam realmente significativos? Para o algoritmo k-means, em particular, quanto de redução na variação dentro do cluster deve haver para que os resultados reais do cluster sejam …

78 clustering  k-means 

Estou interessado em aprender R barato. Qual é o melhor recurso / livro / tutorial gratuito para aprender R?

78 r  references 

Estou interessado em calcular a área sob a curva (AUC), ou a estatística c, manualmente para um modelo de regressão logística binária. Por exemplo, no conjunto de dados de validação, tenho o valor verdadeiro da variável dependente, retenção (1 = retido; 0 = não retido), bem como um status de …

78 regression  logistic  classification  roc  auc 

Estou começando a se envolver com o uso de glmnetcom LASSO Regressão onde meu desfecho de interesse é dicotômica. Criei um pequeno quadro de dados simulado abaixo: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p …

78 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

Eu estou querendo saber qual é o valor em pegar uma variável preditora contínua e dividi-la (por exemplo, em quintis), antes de usá-la em um modelo. Parece-me que, ao separar a variável, perdemos informações. É só assim que podemos modelar efeitos não lineares? Se mantivéssemos a variável contínua e não …

78 regression  modeling  continuous-data  binning  regression-strategies 

Eu tenho um aplicativo em que seria útil agrupar um conjunto de dados barulhento antes de procurar efeitos de subgrupos nos clusters. Olhei pela primeira vez para o PCA, mas são necessários ~ 30 componentes para atingir 90% da variabilidade; portanto, agrupar apenas alguns PCs descartará muita informação. Eu tentei …

78 clustering  interpretation  k-means  tsne 

Eu tenho uma variável nominal (tópicos diferentes de conversa, codificados como topic0 = 0, etc.) e várias variáveis ​​de escala (DV), como a duração de uma conversa. Como posso derivar correlações entre as variáveis ​​nominais e de escala?

77 correlation  continuous-data  categorical-data 

Estou usando R para fazer cluster K-significa. Estou usando 14 variáveis ​​para executar K-means Qual é uma maneira bonita de traçar os resultados dos meios K? Existem implementações existentes? Ter 14 variáveis ​​complica a plotagem dos resultados? Encontrei algo chamado GGcluster que parece legal, mas ainda está em desenvolvimento. Também …

77 data-visualization  classification  k-means  unsupervised-learning 

Meu entendimento é que não pode ser negativo, pois é o quadrado de R. No entanto, executei uma regressão linear simples no SPSS com uma única variável independente e uma variável dependente. Minha saída do SPSS me fornece um valor negativo para . Se eu fosse calcular isso manualmente a …

77 regression  spss  r-squared