Estatísticas e Big Data

Alguém pode me dizer como interpretar os gráficos de 'resíduos versus ajustado', 'q-q normal', 'localização da escala' e 'resíduos versus alavancagem'? Estou instalando um GLM binomial, salvando-o e plotando-o.

30 r  logistic  data-visualization  generalized-linear-model  qq-plot 

Eu tenho dois exemplos que eu quero testar (usando python) se eles são desenhados da mesma distribuição. Para fazer isso, uso a função estatística ks_2samp de scipy.stats. Retorna 2 valores e encontro dificuldades em interpretá-los. Ajuda por favor!

30 python 

Em matemática, existem ramos como álgebra, análise, topologia, etc. No aprendizado de máquina, há aprendizado supervisionado, não supervisionado e de reforço. Dentro de cada uma dessas ramificações, existem ramificações mais refinadas que dividem ainda mais os métodos. Estou tendo problemas para traçar um paralelo com as estatísticas. Quais seriam os …

30 self-study  classification 

No Paradoxo tradicional do aniversário, a pergunta é "quais são as chances de duas ou mais pessoas em um grupo de pessoas compartilharem um aniversário". Estou preso em um problema que é uma extensão disso.nnn Em vez de saber a probabilidade de duas pessoas compartilharem um aniversário, preciso estender a …

29 probability  combinatorics  birthday-paradox 

Se duas variáveis ​​aleatórias e não estão correlacionadas, também podemos saber que e não correlacionam? Minha hipótese é sim.XXXYYYX2X2X^2YYY X,YX,YX, Y não correlacionado significa , ouE[XY]=E[X]E[Y]E[XY]=E[X]E[Y]E[XY]=E[X]E[Y] E[XY]=∫xyfX(x)fY(y)dxdy=∫xfX(x)dx∫yfY(y)dy=E[X]E[Y]E[XY]=∫xyfX(x)fY(y)dxdy=∫xfX(x)dx∫yfY(y)dy=E[X]E[Y] E[XY]=\int xy f_X(x)f_Y(y)dxdy=\int xf_X(x)dx\int yf_Y(y)dy=E[X]E[Y] Isso também significa o seguinte? E[X2Y]=∫x2yfX(x)fY(y)dxdy=∫x2fX(x)dx∫yfY(y)dy=E[X2]E[Y]E[X2Y]=∫x2yfX(x)fY(y)dxdy=∫x2fX(x)dx∫yfY(y)dy=E[X2]E[Y] E[X^2Y]=\int x^2y f_X(x)f_Y(y)dxdy=\int x^2f_X(x)dx\int yf_Y(y)dy=E[X^2]E[Y]

29 random-variable  independence 

Qual é o ponto da análise de séries temporais? Existem muitos outros métodos estatísticos, como regressão e aprendizado de máquina, que têm casos de uso óbvios: a regressão pode fornecer informações sobre o relacionamento entre duas variáveis, enquanto o aprendizado de máquina é ótimo para previsão. Mas, enquanto isso, não …

29 time-series  arima 

Se os hessianos são tão bons em otimização (veja, por exemplo, o método de Newton ), por que parar aí? Vamos usar o terceiro, quarto, quinto e sexto derivados? Por que não?

29 optimization  gradient-descent  hessian 

Eu tive um curso on-line, onde aprendi, que as classes desequilibradas nos dados de treinamento podem levar a problemas, porque os algoritmos de classificação seguem a regra da maioria, pois produz bons resultados se o desequilíbrio for excessivo. Em uma tarefa, era necessário equilibrar os dados via subamostragem da classe …

29 machine-learning  classification  unbalanced-classes 

Suponha que eu tenha dois grupos de dados, rotulados como A e B (cada um contendo, por exemplo, 200 amostras e 1 recurso), e quero saber se eles são diferentes. Eu poderia: a) realize um teste estatístico (por exemplo, teste t) para verificar se eles são estatisticamente diferentes. b) use …

29 machine-learning  hypothesis-testing  t-test  unsupervised-learning  supervised-learning 

A ideia da análise adaptativa dos dados é que você altere seu plano para analisar os dados à medida que aprende mais sobre eles. No caso da análise exploratória de dados (EDA), geralmente é uma boa ideia (você geralmente procura padrões imprevistos nos dados), mas, para um estudo confirmatório, isso …

29 hypothesis-testing  overfitting  eda  out-of-sample  differential-privacy 

Uma metanálise inclui vários estudos, os quais relataram um valor de P superior a 0,05. É possível que a metanálise geral relate um valor de P menor que 0,05? Sob que circunstâncias? (Tenho certeza de que a resposta é sim, mas gostaria de uma referência ou explicação.)

29 statistical-significance  meta-analysis  combining-p-values 

Vou explicar meu problema com um exemplo. Suponha que você queira prever a renda de um indivíduo, com alguns atributos: {Idade, Sexo, País, Região, Cidade}. Você tem um conjunto de dados de treinamento como esse train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

Não estou claro a razão pela qual normalizamos a imagem da CNN por (image - mean_image)? Obrigado!

29 deep-learning  conv-neural-network  image-processing 

As apresentações aos modelos gráficos as descrevem como "... um casamento entre a teoria dos grafos e a teoria das probabilidades". Eu entendo a parte da teoria das probabilidades, mas tenho problemas para entender onde exatamente a teoria dos grafos se encaixa. Que idéias da teoria dos grafos ajudaram a …

29 graphical-model  graph-theory  distributions 

Penso que este é um tópico fascinante e não o compreendo completamente. Que lei da física faz para que tantos fenômenos naturais tenham distribuição normal? Parece mais intuitivo que eles teriam distribuição uniforme. É tão difícil para mim entender isso e sinto que estou perdendo algumas informações. Alguém pode me …

29 distributions  normal-distribution  normality-assumption  uniform