Estatísticas e Big Data

Eu estava lendo um tutorial sobre densidades marginais quando me deparei com este exemplo (reformulado). Uma pessoa está atravessando a rua e queremos calcular a probabilidade de ser atropelado por um carro que passava, dependendo da cor do semáforo. Seja H se a pessoa é atingida ou não, e L …

7 conditional-probability  joint-distribution 

Na página 146 da Análise Bayesiana de Dados de Gelman, Gelman discute o valor p Bayesiano como uma maneira de verificar o ajuste do modelo. A idéia é comparar os dados observados ( ) com os dados que poderiam ter sido gerados pelo modelo se replicarmos o experimento ( ).yyyyr …

7 bayesian  p-value  goodness-of-fit 

Qual é a maneira mais inteligente de provar que o número de somas exponenciais independentes em um intervalo fixo é distribuído como uma variável aleatória de Poisson? Eu posso fazer isso de uma maneira, mas gostaria de saber se existe outra maneira de obter mais pontos de estilo. Deixe . …

7 poisson-distribution  exponential  queueing 

Estou tentando aprender mais sobre a teoria da máquina do kernel e descobri que preciso aprender muita matemática básica e, portanto, estou procurando bons recursos para isso. Em particular: eu tenho o livro Schölkopf and Smola's Learning with Kernels e eles começam a discutir transformações de Fourier, funções de Green, …

7 machine-learning  self-study  references  kernel-trick 

Seja e duas variáveis ​​aleatórias normais. Escreva e , para corrigir idéias.X1 1X1X_1X2X2X_2X1 1∼ N(μ1 1,σ21 1)X1∼N(μ1,σ12)X_1\sim N(\mu_1, \sigma^2_1)X2∼ N(μ2,σ22)X2∼N(μ2,σ22)X_2\sim N(\mu_2, \sigma^2_2) Considere as variáveis ​​aleatórias log-normais correspondentes: , .Z1 1= exp(X1 1)Z1=exp⁡(X1)Z_1 = \exp(X_1)Z2= exp(X2)Z2=exp⁡(X2)Z_2 = \exp(X_2) Pergunta: qual é a distribuição do produto das duas variáveis ​​aleatórias, ou …

7 distributions  normal-distribution  lognormal 

Eu vi essa fórmula em um livro: a norma Frobenius ao quadrado da matriz original menos seu SVD truncado (que pode ser visto como o erro de aproximação) é igual à soma dos valores singulares ao quadrado.XX\mathbf XXkXk\mathbf X_k Por que é que? Como provar isso?

7 svd  approximation 

Ao executar uma análise bayesiana, uma coisa a verificar é a autocorrelação das amostras MCMC. Mas não entendo o que está causando essa autocorrelação. Aqui , eles estão dizendo que Amostras de alta autocorrelação [do MCMC] geralmente são causadas por fortes correlações entre variáveis. Gostaria de saber quais são as …

7 correlation  bayesian  autocorrelation  mcmc  jags 

Não sei como gerar covariáveis ​​dependentes do tempo em R para usar a regressão cox. Eu sei que você precisa reorganizar seu conjunto de dados em intervalos entre os horários dos eventos. Eu acredito que posso fazer isso com os tutoriais flutuando. Depois disso, embora eu esteja preso. O que …

7 data-transformation  cox-model  time-varying-covariate 

Eu tenho uma variável que eu sei que tem variação finita (e, portanto, também média finita). É sempre verdade que sua variação permanece finita após o dimensionamento de ?XXX0≤Y≤10≤Y≤10 \le Y \le 1 Observe que e não são necessariamente independentes.XXXYYY Edit: Eu acredito que o "pior caso" é quando e …

7 mathematical-statistics  variance  bounds 

Eu sou novo no aprendizado profundo. Eu estou tentando entender alguns conceitos. Sei que "média" é um valor médio e "variância" é um desvio da média. Li alguns artigos de pesquisa, todos dizem que pré-processamos nossos dados primeiro. Mas como esses conceitos estão relacionados ao pré-processamento de imagens? Por que …

7 classification  variance  mean  deep-learning  image-processing 

Na regressão linear do cume e do laço, um passo importante é escolher o parâmetro de ajuste lambda, geralmente eu uso a pesquisa de grade na escala de log de -6-> 4, funciona bem no cume, mas no laço, devo levar em conta a ordem da magnitude da saída y? …

7 regression  cross-validation  lasso  regularization  ridge-regression 

Estou implementando uma mistura variada de baunilha de gaussianos multivariados, conforme o capítulo 10 do Reconhecimento de padrões e aprendizado de máquina (Bishop, 2007). A abordagem bayesiana requer a especificação de (hiper) parâmetros para o Gaussian-inverso-Wishart antes: α0 0α0\alpha_0 (parâmetro de concentração do Dirichlet anterior); ν0 0ν0\nu_0 (graus de liberdade …

7 machine-learning  bayesian  prior  gaussian-mixture  variational-bayes 

Abaixo está um gráfico de dispersão (limitado a US $ 10.000) representando a doação média que um projeto recebe versus a contagem de palavras do ensaio de solicitação de financiamento para todos os projetos representados nos dados de escolha de doadores abertos . Há um padrão perceptível, que tentei caracterizar …

7 regression  data-visualization  curve-fitting  scatterplot 

Dado o estado moderno das tecnologias e ferramentas de aprendizado de máquina (por exemplo, TensorFlow, Theano etc.), parece que o limiar de entrada diminuiu recentemente e é suficiente ser capaz de programar, por exemplo, Python, para criar coisas interessantes. Outra fonte que suporta esse ponto é a Especialização em aprendizado …

7 machine-learning  neural-networks  deep-learning 

Existe consenso no campo da estatística de que um livro é a melhor fonte absoluta e cobre completamente todos os aspectos do GLM - detalhando tudo, desde estimativa até inferência?

7 generalized-linear-model  estimation  references  inference