Estatísticas e Big Data

De acordo com as referências Livro 1 , Livro 2 e papel . Foi mencionado que existe uma equivalência entre a regressão regularizada (Ridge, LASSO e Elastic Net) e suas fórmulas de restrição. Também examinei o Cross Validated 1 e o Cross Validated 2 , mas não vejo uma resposta …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Se Uniforme e Bin , a média posterior de é dada por .p ∼p∼p \sim( 0 , 1 )(0,1)(0,1)X∼X∼X \sim( n , p )(n,p)(n, p)pppX+ 1n + 2X+1n+2\frac{X+1}{n+2} Existe um nome comum para esse estimador? Descobri que resolve muitos problemas das pessoas e gostaria de poder apontar as pessoas para …

11 bayesian  terminology  laplace-smoothing 

fundo Em ciência da computação, matemática e, às vezes, em outros campos, exemplos "esotéricos" não podem ser apenas divertidos, mas úteis para ilustrar certos conceitos, por exemplo: Bogosort e Slowsort são algoritmos de classificação muito ineficientes que podem ser usados ​​para entender as propriedades dos algoritmos, principalmente quando comparados a …

11 hypothesis-testing  teaching  humor 

Recentemente, tomei consciência de que métodos "sem probabilidade" são analisados ​​na literatura. No entanto, não sei ao certo o que significa um método de inferência ou otimização sem probabilidade . No aprendizado de máquina, o objetivo geralmente é maximizar a probabilidade de alguns parâmetros se ajustarem a uma função, por …

11 machine-learning  deep-learning  maximum-likelihood  generative-models  abc 

Nas estatísticas freqüentistas, um intervalo de confiança de 95% é um procedimento de produção de intervalo que, se repetido um número infinito de vezes, conteria o parâmetro verdadeiro em 95% das vezes. Por que isso é útil? Intervalos de confiança geralmente são mal compreendidos. Eles não são um intervalo em …

11 hypothesis-testing  bayesian  mathematical-statistics  confidence-interval  frequentist 

Tanto quanto eu entendo, é (pelo menos, é assim que a Wikipedia o define ). Mas encontrei esta declaração de Efron * (ênfase adicionada): A cadeia de Markov Monte Carlo (MCMC) é a grande história de sucesso das estatísticas bayesianas da atualidade. O MCMC e seu método irmão "amostragem de …

11 mcmc  gibbs 

Por que o símbolo escolhido para denotar a correlação do momento do produto de Pearson?rrr

11 correlation  history 

Gostaria de testar meu modelo treinado em um conjunto de dados desequilibrado. Existe algum algoritmo disponível para gerar dados sintéticos a partir de um conjunto de dados rotulado equilibrado (spam / não spam)?

11 unbalanced-classes  synthetic-data 

(Esta pergunta é inspirada neste comentário de Xi'an .) É sabido que, se a distribuição anterior for adequada e a probabilidade for bem definida, a distribuição posterior é apropriado quase certamente.π(θ)π(θ)\pi(\theta)L(θ|x)L(θ|x)L(\theta | x)π(θ|x)∝π(θ)L(θ|x)π(θ|x)∝π(θ)L(θ|x)\pi(\theta|x)\propto \pi(\theta) L(\theta|x) Em alguns casos, usamos uma probabilidade moderada ou exponenciada, levando a uma pseudo-posterior π~(θ|x)∝π(θ)L(θ|x)απ~(θ|x)∝π(θ)L(θ|x)α\tilde\pi(\theta|x)\propto \pi(\theta) …

11 bayesian  prior  posterior 

Frequentemente as pessoas falam sobre empréstimos de informações ou compartilhamento de informações em modelos hierárquicos bayesianos. Não consigo obter uma resposta direta sobre o que isso realmente significa e se é exclusivo dos modelos hierárquicos bayesianos. Eu meio que entendi a idéia: alguns níveis em sua hierarquia compartilham um parâmetro …

11 machine-learning  bayesian  multilevel-analysis  terminology  hierarchical-bayesian 

Se segue uma distribuição Cauchy, também segue exatamente a mesma distribuição que ; veja esta discussão .XXXY=X¯=1n∑ni=1XiY=X¯=1n∑i=1nXiY = \bar{X} = \frac{1}{n} \sum_{i=1}^n X_iXXX Esta propriedade tem um nome? Existem outras distribuições para as quais isso é verdade? EDITAR Outra maneira de fazer esta pergunta: seja uma variável aleatória com densidade …

11 distributions  expected-value  central-limit-theorem  cauchy 

Realizei uma regressão linear que resultou com um resultado significativo, porém, quando verifiquei o gráfico de dispersão quanto à linearidade, não estava confiante de que os dados fossem lineares. Existem outras maneiras de testar a linearidade sem inspecionar o gráfico de dispersão? A regressão linear poderia ser significativa se não …

11 regression 

Estou trabalhando em um projeto que envolve a leitura de etiquetas RFID e a comparação da intensidade do sinal que o leitor vê quando você altera a configuração da antena (número de antenas, posição, etc ...). Como parte do projeto, preciso comparar as configurações para ver quais são mais eficazes. …

11 data-transformation  linear-model  descriptive-statistics 

Meu curso de estatísticas me ensinou que uma variável aleatória discreta tem um número finito de opções ... Eu não tinha percebido isso. Eu teria pensado, como um conjunto de números inteiros, que poderia ser infinito. Pesquisando e pesquisando várias páginas da web, incluindo algumas de cursos universitários, não foi …

11 random-variable  discrete-data 

Seja uma sequência de variáveis ​​aleatórias independentemente e identicamente distribuídas com a função de densidade de probabilidade; Mostre queX1,X2,…X1,X2,…X_1,X_2,\ldotsf(x)={12x2e−x0if x>0;otherwise.f(x)={12x2e−xif x>0;0otherwise. f(x) = \left\{ \begin{array}{ll} \frac{1}{2}x^2 e^{-x} & \mbox{if $x>0$};\\ 0 & \mbox{otherwise}.\end{array} \right. limn→∞P[X1+X2+…+Xn≥3(n−n−−√)]≥12limn→∞P[X1+X2+…+Xn≥3(n−n)]≥12\lim_{n\to \infty} P[X_1+X_2+\ldots+X_n\ge 3(n-\sqrt{n})] \ge \frac{1}{2} O que eu tentei À primeira vista, eu pensei que …

11 probability  self-study