Estatísticas e Big Data

Essa pergunta da comunidade do estouro da matemática pediu "exemplos de argumentos ruins que envolvem a aplicação de teoremas matemáticos em contextos não matemáticos" e produziu uma lista fascinante de matemática aplicada patologicamente. Estou pensando em exemplos semelhantes de usos patológicos da inferência bayesiana. Alguém já encontrou artigos acadêmicos, posts …

11 bayesian 

Tenho uma série temporal mensal com uma intervenção e gostaria de quantificar o efeito dessa intervenção no resultado. Sei que a série é bastante curta e o efeito ainda não está concluído. Os dados cds <- structure(c(2580L, 2263L, 3679L, 3461L, 3645L, 3716L, 3955L, 3362L, 2637L, 2524L, 2084L, 2031L, 2256L, 2401L, …

11 r  regression  arima  intervention-analysis 

Estou tentando entender como os valores ajustados são calculados para os modelos ARMA (p, q). Eu já encontrei uma pergunta aqui sobre valores ajustados dos processos ARMA, mas não consegui entender isso. Se eu tiver um modelo ARMA (1,1), ou seja, Xt=α1Xt−1+ϵt−β1ϵt−1Xt=α1Xt−1+ϵt−β1ϵt−1X_t = \alpha_1X_{t-1}+\epsilon_t - \beta_1 \epsilon_{t-1} e recebo uma …

11 arma 

Sou novato em aprendizado de máquina (também algumas estatísticas), aprendendo conhecimento (algoritmos de aprendizado supervisionado / não supervisionado, métodos de otimização relevantes, regularizações, algumas filosofias (como compensação de desvios de variação)?) Por um tempo. Eu sei que sem nenhuma prática real, eu não obteria uma compreensão profunda dessas coisas de …

11 machine-learning  algorithms 

Considere um modelo linear de interceptação aleatória. Isso é equivalente à regressão linear GEE com uma matriz de correlação de trabalho intercambiável. Suponhamos que os preditores são e X 3 e os coeficientes para estes são preditores β 1 , β 2 , e β 3 . Qual é a …

11 mixed-model 

Essa pergunta me ocorreu quando participei de uma palestra pública sobre questões não resolvidas em matemática. É sabido que ainda existem muitas questões matemáticas por resolver. Isso me fez pensar em quais são os problemas não resolvidos nas estatísticas. Depois de passar algum tempo pesquisando esse tópico no google, não …

11 self-study  philosophical 

Pergunta de lição de casa: Considere o modelo Ising 1-d. Vamos . x i é -1 ou +1x = ( x1, . . . xd)x=(x1,...xd)x = (x_1,...x_d)xEuxix_i π( X ) α e∑39.i = 1xEuxi + 1π(x)∝e∑i=139xixi+1\pi(x) \propto e^{\sum_{i=1}^{39}x_ix_{i+1}} Crie um algoritmo de amostragem de gibbs para gerar amostras aproximadamente a …

11 self-study  sampling  mcmc  gibbs 

Esta pergunta é derivada desta sobre a "regra .632". Estou escrevendo com referência particular à resposta / notação do user603 na medida em que simplifica as coisas. Essa resposta começa com uma amostra do tamanho n,n,n, com substituição, de nnn itens distintos na coleção (chame) de N. A probabilidade de …

11 probability  sampling 

Se for uma pergunta duplicada, aponte para o caminho certo, mas as perguntas semelhantes que encontrei aqui não foram suficientemente semelhantes. Suponha que eu estime o modeloY=α+βX+uY=α+βX+uY=\alpha + \beta X + u e encontre esse . No entanto, verifica-se que , e eu suspeito e, em particular, que . Portanto, …

11 r  regression  hypothesis-testing  econometrics 

Eu estou querendo saber como uma variável instrumental aborda o viés de seleção na regressão. Aqui está o exemplo que eu estou discutindo : Na Econometria Principalmente Inofensiva , os autores discutem uma regressão IV relacionada ao serviço militar e ganhos mais tarde na vida. A pergunta é: "O serviço …

11 regression  econometrics  bias  causality  instrumental-variables 

Suponha que uma variável aleatória escalar pertença a uma família exponencial de parâmetro vetorial com pdfXXX fX(x|θ)=h(x)exp(∑i=1sηi(θ)Ti(x)−A(θ))fX(x|θ)=h(x)exp⁡(∑i=1sηi(θ)Ti(x)−A(θ)) f_X(x|\boldsymbol \theta) = h(x) \exp\left(\sum_{i=1}^s \eta_i({\boldsymbol \theta}) T_i(x) - A({\boldsymbol \theta}) \right) onde θ=(θ1,θ2,⋯,θs)Tθ=(θ1,θ2,⋯,θs)T{\boldsymbol \theta} = \left(\theta_1, \theta_2, \cdots, \theta_s \right )^T é o vetor de parâmetro e T(x)=(T1(x),T2(x),⋯,Ts(x))TT(x)=(T1(x),T2(x),⋯,Ts(x))T\mathbf{T}(x)= \left(T_1(x), T_2(x), \cdots,T_s(x) \right)^T …

11 variance  mean  exponential-family  sufficient-statistics 

Um webinar outro dia, realizado por uma empresa de testes a / b, solicitou que o "Data Scientist" residente explicasse que você deveria validar seus resultados executando novamente o experimento. A premissa era que, se você selecionar 95% de confiança, há 5% (1/20) de chance de um falso positivo. Se …

11 probability  hypothesis-testing  statistical-significance  ab-test 

Por técnicas de regularização, estou me referindo a laço, regressão de crista, rede elástica e similares. Considere um modelo preditivo de dados de assistência médica que contenha dados demográficos e de diagnóstico em que está sendo previsto o tempo de internação. Para alguns indivíduos, há várias observações de LOS (ou …

11 multiple-regression  random-effects-model  regularization 

Preciso apresentar informações sobre os principais preditores de votação de um candidato usando dados de uma pesquisa de opinião pública. Fiz uma regressão logística usando todas as variáveis ​​importantes, mas não consigo encontrar uma boa maneira de apresentar essas informações. Meu cliente não se importa apenas com o tamanho do …

11 logistic  data-visualization  survey 

Seja uma distribuição uniforme e uma distribuição normal. O que pode ser dito sobre ? Existe uma distribuição para isso?Y XXXXYYYXYXY\frac X Y Descobri que a proporção de dois normais com zero médio é Cauchy.

11 probability  normal-distribution  uniform  ratio