Estatísticas e Big Data

(Sou novato em estatísticas. Sou matemático e programador e estou tentando criar algo como um ingênuo filtro bayesiano de spam.) Eu notei em muitos lugares que as pessoas tendem a quebrar o denominador na equação do Teorema de Bayes. Então, em vez disso: P( A | B ) ⋅ P( …

23 bayesian 

Qual é a maneira mais fácil de entender o reforço? Por que não aumenta classificadores muito fracos "até o infinito" (perfeição)?

23 machine-learning  boosting 

Como posso encontrar o PDF (função de densidade de probabilidade) de uma distribuição, considerando o CDF (função de distribuição cumulativa)?

23 distributions  pdf  cdf 

Quais métodos posso usar para inferir uma distribuição se conhecer apenas três percentis? Por exemplo, eu sei que em um determinado conjunto de dados, o quinto percentil é 8.135, o 50. ° é 11.259 e o 95. ° é 23.611. Quero poder passar de qualquer outro número para seu percentil. …

23 r  regression  quantiles 

Quais são os estimadores de probabilidade máxima para os parâmetros da distribuição t de Student? Eles existem em forma fechada? Uma rápida pesquisa no Google não me deu nenhum resultado. Hoje estou interessado no caso univariado, mas provavelmente terei que estender o modelo para várias dimensões. EDIT: Na verdade, estou …

23 estimation  maximum-likelihood  t-distribution 

Em uma regressão linear múltipla com regressores altamente correlacionados, qual é a melhor estratégia a ser usada? É uma abordagem legítima adicionar o produto de todos os regressores correlacionados?

23 regression  multicollinearity 

Freqüentemente, no curso de meu (auto) estudo de estatística, encontrei a terminologia " álgebra gerada por uma variável aleatória". Não entendo a definição na Wikipedia , mas o mais importante é que não entendo a intuição. Por que / quando precisamos de álgebras sigma geradas por variáveis ​​aleatórias? Qual é …

23 probability  random-variable  sigma-algebra 

Alguém pode explicar estatísticas suficientes em termos muito básicos? Eu tenho experiência em engenharia e já passei por muitas coisas, mas não consegui encontrar uma explicação intuitiva.

23 machine-learning  mathematical-statistics  intuition 

Eu tenho tentado entender a idéia de anteriores conjugados nas estatísticas bayesianas por um tempo, mas simplesmente não entendo. Alguém pode explicar a idéia nos termos mais simples possíveis, talvez usando o "prior gaussiano" como exemplo?

23 bayesian  conditional-probability  conjugate-prior 

Estou tentando aprender um aprendizado reforçado e esse tópico é realmente confuso para mim. Fiz uma introdução às estatísticas, mas simplesmente não conseguia entender esse tópico intuitivamente.

22 variance  simulation  monte-carlo  unbiased-estimator  importance-sampling 

Por que a autocorrelação é tão importante? Eu entendi o princípio disso (eu acho ..), mas como também existem exemplos em que nenhuma autocorrelação ocorre, eu me pergunto: tudo na natureza não é de alguma forma autocorrelacionado? O último aspecto é mais voltado para uma compreensão geral da autocorrelação, porque, …

22 autocorrelation 

(Pedimos desculpas antecipadamente pelo uso da linguagem leiga e não da estatística). Se eu quiser medir as chances de rolar cada lado de uma matriz física específica de seis lados para cerca de +/- 2% com uma confiança razoável de certeza, quantos rolos de matriz de amostra seriam necessários? ou …

22 probability  inference  pdf  dice 

Existe uma discussão semelhante aqui (a função de custo da rede neural não é convexa? ), Mas não consegui entender os pontos nas respostas e minha razão para perguntar novamente, esperando que isso esclareça alguns problemas: Se estou usando soma de função de custo diferença de quadrados, sou em última …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

Pergunta: Quando (para quais tipos de problemas de visualização de dados) os mapas de calor são mais eficazes? (Em particular, mais eficaz do que todas as outras técnicas de visualização possíveis?) Quando os mapas de calor são menos eficazes? Existem padrões ou regras gerais comuns que se pode usar para …

22 data-visualization  heatmap 

Nós rolamos um dado de 6 lados um grande número de vezes. Calculando a diferença (valor absoluto) entre um rolo e o rolo anterior, espera-se que as diferenças sejam distribuídas uniformemente? Para ilustrar com 10 rolos: roll num result diff 1 1 0 2 2 1 3 1 1 4 …

22 distributions  uniform