Estatísticas e Big Data

Estou procurando recursos (não precisa ser um livro único) que cubram alguns dos casos mais desafiadores de design experimental e análise estatística. Alguns dos casos que eu gostaria de abordar: 1. Casos em que as unidades de randomização são diferentes das unidades de análise Exemplo: eu gerencio uma plataforma de …

9 references  experiment-design 

Considere a perda quadrática , com o dado previamente que . Seja a probabilidade. Encontre o estimador de Bayes .L(θ,δ)=(θ−δ)2L(θ,δ)=(θ−δ)2L(\theta,\delta)=(\theta-\delta)^2π(θ)π(θ)\pi(\theta)π(θ)∼U(0,1/2)π(θ)∼U(0,1/2)\pi(\theta)\sim U(0,1/2)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπδπ\delta^\pi Considere a perda quadrática ponderada que com anterior . Seja seja a probabilidade. Encontre o estimador de Bayes .Lw(θ,δ)=w(θ)(θ−δ)2Lw(θ,δ)=w(θ)(θ−δ)2L_w(\theta,\delta)=w(\theta)(\theta-\delta)^2w(θ)=I(−∞,1/2)w(θ)=I(−∞,1/2)w(\theta)=\mathbb{I}_{(-\infty,1/2)}π1(θ)=I[0,1](θ)π1(θ)=I[0,1](θ)\pi_1(\theta)=\mathbb{I}_{[0,1]}(\theta)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπ1δ1π\delta^\pi_1 Compare eδπδπ\delta^\piδπ1δ1π\delta^\pi_1 Primeiro, notei que , …

9 self-study  bayesian  estimation  hierarchical-bayesian  loss-functions 

No seu papel em autoencoders para classificação texto Hinton e Salakhutdinov demonstrado o lote produzido por 2-dimensional LSA (que está intimamente relacionado com a PCA): . Aplicando o PCA a dados de dimensão ligeiramente alta absolutamente diferentes, obtive um gráfico de aparência semelhante: (exceto neste caso, eu realmente queria saber …

9 data-visualization  pca 

Está enraizado no ensino de disciplinas aplicadas, como a medicina, que as medições de quantidades biomédicas na população seguem uma "curva de sino" normal. Uma pesquisa no Google da string "assumimos uma distribuição normal" retorna resultados! Eles parecem "dado o pequeno número de pontos extremos de dados, assumimos uma distribuição …

9 normal-distribution  assumptions  normality-assumption  lognormal 

Suponha que eu queira treinar uma rede neural profunda para executar classificação ou regressão, mas quero saber o quão confiante será a previsão. Como eu consegui isso? Minha idéia é calcular a entropia cruzada para todos os dados de treinamento, com base em seu desempenho de previsão nos medidores neurais …

9 machine-learning  neural-networks 

Estou aprendendo sobre o aprendizado profundo (especificamente CNNs) e como normalmente exige uma enorme quantidade de dados para evitar o ajuste excessivo. No entanto, também me disseram que quanto maior a capacidade / mais parâmetros de um modelo, mais dados são necessários para evitar o ajuste excessivo. Portanto, minha pergunta …

9 machine-learning  neural-networks  deep-learning  conv-neural-network 

Li os classificadores algébricos: uma abordagem genérica para validação cruzada rápida, treinamento on-line e paralelo e fiquei impressionado com o desempenho dos algoritmos derivados. No entanto, parece que além de Naive Bayes (e GBMs) não existem muitos algoritmos adaptados à estrutura. Existem outros trabalhos que trabalharam em diferentes classificadores? (SVMs, …

9 cross-validation  references  random-forest  computational-statistics  naive-bayes 

Entendo como funciona a convolução, mas não entendo como as convoluções 1D são aplicadas aos dados 2D. Neste exemplo, você pode ver uma convolução 2D em dados 2D. Mas como seria se houvesse uma convolução em 1D? Apenas um kernel 1D deslizando da mesma maneira? E se o passo fosse …

9 conv-neural-network 

Todos sabemos que os Geradores de Números Aleatórios nos computadores não geram números aleatórios verdadeiros, mas geram números pseudo-aleatórios. Além disso, alguns RNGs são melhores que outros, e alguns são implementados melhor que outros. Quais são alguns exemplos de quando um RNG ruim foi usado ou um RNG mal implementado …

9 random-generation  history 

É sabido que a independência de variáveis ​​aleatórias implica correlação zero, mas a correlação zero não precisa implicar independência. Encontrei muitos exemplos matemáticos que demonstram dependência, apesar da correlação zero. Existem exemplos da vida real para apoiar esse fato?

9 correlation  independence  intuition 

A questão é baseada no artigo intitulado: Reconstrução de imagens em tomografia óptica difusa usando o modelo de transporte-difusão radiativa acoplada Link para Download Os autores aplicam EM algoritmo com l1l1l_1 sparsity regularização de um vector desconhecida μμ\mu para estimar os pixels de uma imagem. O modelo é dado por …

9 self-study  bayesian  maximum-likelihood  expectation-maximization  moving-average 

Como atribuo mais peso a observações mais recentes em R? Eu assumo isso como uma pergunta ou desejo comumente solicitado, mas tenho dificuldade em descobrir exatamente como implementar isso. Eu tentei procurar muito por isso, mas não consigo encontrar um bom exemplo prático. No meu exemplo, eu teria um grande …

9 r  time-series  regression  random-forest 

O problema é: Derive o gradiente em relação à camada de entrada para uma rede neural de camada única oculta usando sigmoid para entrada -> oculta, softmax para oculta -> saída, com perda de entropia cruzada. Eu posso passar a maior parte da derivação usando a regra de cadeia, mas …

9 neural-networks  gradient 

Usando R em alguns dados e tentando ver se meus dados são heterocedásticos ou não, encontrei duas implementações do teste Breusch-Pagan, bptest (package lmtest) e ncvTest (package car). No entanto, estes produzem resultados diferentes. Qual é a diferença entre os dois? Quando você deve optar por usar um ou outro? …

9 r  regression  heteroscedasticity  assumptions  breusch-pagan 

Nos modelos de séries temporais, como ARMA-GARCH, para selecionar o atraso ou a ordem apropriada do modelo, são utilizados diferentes critérios de informação, como AIC, BIC, SIC, etc. A minha pergunta é muito simples, porque donot usamos ajustado R2R2R^2 para escolher o modelo apropriado? Podemos selecionar modelo que levam à …

9 regression  time-series  model-selection  aic  bic