Estatísticas e Big Data

Você pode sugerir alguns bons filmes que envolvem matemática, probabilidades etc.? Um exemplo é 21 . Eu também estaria interessado em filmes que envolvem algoritmos (por exemplo, descriptografia de texto). Em geral, filmes "nerds" com teorias científicas famosas, mas nenhuma ficção científica ou documentário. Desde já, obrigado!

41 probability  references 

Assuma que são dadas dois objectos cujas localizações exacta é desconhecida, mas está distribuído de acordo com a distribuição normal com parâmetros conhecidos (por exemplo, e . Podemos assumir que ambos são normais bivariados, de modo que as posições são descritas por uma distribuição sobre coordenadas (ie e são vetores …

41 normal-distribution  distance-functions 

Eu já li / ouvi muitas vezes que o tamanho da amostra de pelo menos 30 unidades é considerado como "amostra grande" (suposições de normalidade de médias geralmente se mantêm devido ao CLT, ...). Portanto, em meus experimentos, eu normalmente gero amostras de 30 unidades. Você pode me dar alguma …

41 references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb 

Conheço os testes de normalidade, mas como faço para testar o "Poisson-ness"? Eu tenho uma amostra de ~ 1000 números inteiros não negativos, que eu suspeito serem retirados de uma distribuição de Poisson, e eu gostaria de testar isso.

41 hypothesis-testing  distributions  poisson-distribution  goodness-of-fit 

Se você olhar para Wolfram Alpha Ou esta página da Wikipedia Lista de países por idade mediana Claramente, a mediana parece ser a estatística de escolha quando se trata de idades. Não sou capaz de explicar por que razão a média aritmética seria uma estatística pior. Por que é tão? …

41 mean  median 

Se duas variáveis ​​têm correlação 0, por que elas não são necessariamente independentes? As variáveis ​​correlacionadas com zero são independentes em circunstâncias especiais? Se possível, estou procurando uma explicação intuitiva, não altamente técnica.

41 correlation  independence 

Estou executando o classify no Weka para um determinado conjunto de dados e notei que, se estou tentando prever um valor nominal, a saída mostra especificamente os valores previstos correta e incorretamente. No entanto, agora estou executando-o para um atributo numérico e a saída é: Correlation coefficient 0.3305 Mean absolute …

41 machine-learning  error  weka  mse  rms 

Atualmente, estou pesquisando a Pesquisa aleatória de otimização de hiper-parâmetros de Bengio e Bergsta [1], onde os autores afirmam que a pesquisa aleatória é mais eficiente do que a pesquisa em grade para obter desempenho aproximadamente igual. Minha pergunta é: as pessoas aqui concordam com essa afirmação? No meu trabalho, …

41 machine-learning  hyperparameter  optimization 

Existe uma diferença profunda entre uma distribuição normal e uma gaussiana, eu já vi muitos trabalhos usando-os sem distinção e geralmente os refiro a eles como a mesma coisa. No entanto, meu IP recentemente me disse que normal é o caso específico do gaussiano com média = 0 e std …

41 normal-distribution  terminology 

Suponha que e sejam função de densidade e função de distribuição da distribuição normal padrão.ϕ ( ⋅ )ϕ(⋅)\phi(\cdot)Φ ( ⋅ )Φ(⋅)\Phi(\cdot) Como se pode calcular a integral: ∫∞- ∞Φ ( w - umb) ϕ(w)d w∫−∞∞Φ(w−ab)ϕ(w)dw\int^{\infty}_{-\infty}\Phi\left(\frac{w-a}{b}\right)\phi(w)\,\mathrm dw

41 mathematical-statistics  normal-distribution  integral 

Eu gostaria de saber como interpretar uma diferença dos valores da medida f. Sei que f-measure é uma média equilibrada entre precisão e recordação, mas estou perguntando sobre o significado prático de uma diferença nas medidas f. Por exemplo, se um classificador C1 tem uma precisão de 0,4 e outro …

41 classification  precision-recall 

Admito que sou relativamente novo em escores de propensão e análise causal. Uma coisa que não é óbvia para mim como iniciante é como o "equilíbrio" usando escores de propensão é matematicamente diferente do que acontece quando adicionamos covariáveis ​​em uma regressão? O que há de diferente na operação e …

41 regression  multivariate-analysis  causality  propensity-scores 

Especificamente, suponho que me pergunto sobre essa afirmação: As principais versões futuras do TensorFlow permitirão que os gradientes fluam para a entrada de etiquetas no backprop por padrão. O que é mostrado quando eu uso tf.nn.softmax_cross_entropy_with_logits. Na mesma mensagem, exorta-me a dar uma olhada tf.nn.softmax_cross_entropy_with_logits_v2. Examinei a documentação, mas apenas …

41 machine-learning  supervised-learning  tensorflow  backpropagation 

Tenho formação em ciência da computação, mas estou tentando me ensinar ciência de dados resolvendo problemas na internet. Eu tenho trabalhado nesse problema nas últimas duas semanas (aproximadamente 900 linhas e 10 recursos). Eu estava inicialmente usando regressão logística, mas agora mudei para florestas aleatórias. Quando executo meu modelo de …

41 random-forest  overfitting 

Estou tentando realizar uma análise de regressão logística R. Eu participei de cursos que cobrem este material usando o STATA. Estou achando muito difícil replicar a funcionalidade no R. É maduro nesta área? Parece haver pouca documentação ou orientação disponível. A produção do odds ratio parece exigir a instalação epicalce …

41 r  logistic  odds-ratio