Estatísticas e Big Data

Nos comentários abaixo de um post meu , Glen_b e eu estávamos discutindo como distribuições discretas necessariamente têm média e variação dependentes. Para uma distribuição normal, faz sentido. Se eu disser a você , você não tem idéia do que é, e se eu disser a , você não tem …

9 distributions  variance  mean  independence  moments 

Descrição geral Um estimador eficiente (que tem variação de amostra igual ao limite Cramér – Rao) maximiza a probabilidade de estar próximo ao parâmetro verdadeiro ?θθ\theta Digamos que comparemos a diferença ou diferença absoluta entre a estimativa e o parâmetro verdadeiroΔ^=θ^- θΔ^=θ^-θ\hat\Delta = \hat \theta - \theta A distribuição de …

9 mathematical-statistics  unbiased-estimator  sufficient-statistics  stochastic-ordering 

Seja um espaço de probabilidade e deixe seja um vetor aleatório. Seja a distribuição de , uma medida Borel em .( Ω , F, P)(Ω,F,P)(\Omega, \mathcal{F}, P)X: Ω → RnX:Ω→RnX : \Omega \to \mathbb{R}^nPX= X∗PPX=X∗PP_X = X_* PXXXRnRn\mathbb{R}^n A função característica de é a função definida para (a variável aleatória …

9 mgf  characteristic-function 

Seja e sejam variáveis ​​aleatórias exponenciais independentes e identicamente distribuídas com rate . Deixe .X1X1X_1X2X2X_2λλ\lambdaS2=X1+X2S2=X1+X2S_2 = X_1 + X_2 P: Mostre que possui PDF .S2S2S_2fS2(x)=λ2xe−λx,x≥0fS2(x)=λ2xe-λx,x≥0 0f_{S_2}(x) = \lambda^2 x \text{e}^{-\lambda x},\, x\ge 0 Observe que se os eventos ocorrerem de acordo com um processo de Poisson (PP) com taxa , …

9 self-study  distributions  convolution  exponential-distribution 

Minha pergunta é sobre classificação binária, por exemplo, separar bons clientes de clientes ruins, mas não regressão ou classificação não-binária. Nesse contexto, uma floresta aleatória é um conjunto de árvores de classificação. Para cada observação, toda árvore vota um "sim" ou "não", e o voto médio de todas as árvores …

9 r  machine-learning  classification  random-forest 

A Análise Bayesiana de Dados (p. 64) diz, sobre um modelo normal : uma densidade anterior vaga e sensível para e σ , assumindo independência anterior dos parâmetros de localização e escala, é uniforme em ( μ , log σ ) ou, equivalente, p ( μ , σ 2 ) …

9 probability  bayesian 

Um autoencoder variacional (VAE) fornece uma maneira de aprender a distribuição de probabilidade relacionando uma entrada à sua representação latente . Em particular, o codificador mapeia uma entrada para uma distribuição em . Um codificador típico produzirá parâmetros , representando a distribuição gaussiana ; essa distribuição é usada como nossa …

9 neural-networks  deep-learning  autoencoders  variational-bayes 

Estou lendo o aprendizado prático de máquina com o Scikit-Learn e o TensorFlow: conceitos, ferramentas e técnicas para criar sistemas inteligentes . Então, não sou capaz de descobrir a diferença entre votação forçada e votação suave no contexto de métodos baseados em conjuntos. Cito descrições deles no livro. As duas …

9 machine-learning  ensemble 

Estou lendo um aprendizado profundo de Ian Goodfellow et al. Ele introduz o viés como que e são o parâmetro estimado e o parâmetro real subjacente, respectivamente.B i a s ( θ ) = E( θ^) - θBEuumas(θ)=E(θ^)-θBias(\theta)=E(\hat\theta)-\thetaθ θθ^θ^\hat\thetaθθ\theta A consistência, por outro lado, é definida por o que significa …

9 estimation  bias  unbiased-estimator  consistency 

Pergunta : Eu ajustei um modelo probabilístico (rede bayesiana) para modelar uma variável de resultado binário. Gostaria de criar um gráfico de calibração de alta resolução (por exemplo, spline) corrigido para sobreajuste com o bootstrapping. Existe um procedimento padrão para calcular essa curva? Considerações : eu poderia fazer isso facilmente …

9 bootstrap  splines  regression-strategies  calibration 

Atualmente, estou trabalhando em uma tarefa de previsão de demanda, com dados de dezenas de milhares de produtos em algumas milhares de lojas. Mais especificamente, tenho alguns anos de dados diários de vendas por produto em cada loja, e meu objetivo é prever as vendas futuras de cada item em …

9 time-series  forecasting  predictive-models 

Existem vários sites que descrevem a descida do gradiente para encontrar os parâmetros para a regressão linear simples ( aqui está um deles). O Google também a descreve em seu novo curso de ML (para o público). No entanto, na Wikipedia , são fornecidas as seguintes fórmulas para calcular os …

9 regression  scikit-learn  gradient-descent 

Defina X:=X:=X:= "a moeda tem probabilidade 1 de pousar cabeças" Suponha que alguém tenha a crença anterior: P(X)=1P(X)=1P(X)= 1 . No entanto, depois de jogar a moeda, uma vez que ela cai na coroa ( E:=E:=E:= "coroa caiu na moeda"). Como um bayesiano deve atualizar suas crenças para permanecer coerente? …

9 probability  bayesian  philosophical 

O título já diz tudo - quantos parâmetros treináveis ​​existem em uma camada GRU? Esse tipo de pergunta surge muito ao tentar comparar modelos de diferentes tipos de camadas RNN, como unidades de memória de longo prazo (LSTM) versus GRU, em termos de desempenho por parâmetro. Como um número maior …

9 neural-networks  rnn  gru 

Estou lendo Thinking, Fast and Slow, de Daniel Kahneman, e me deparei com o seguinte texto Alguns anos atrás, tive uma oportunidade incomum de examinar de perto a ilusão de habilidade financeira. Fui convidado a falar com um grupo de consultores de investimentos em uma empresa que fornecia consultoria financeira …

9 regression  time-series  correlation