Estatísticas e Big Data

Tenho uma experiência prática bastante boa com amostragem de Metropolis-Hastings e Gibbs, mas quero obter uma melhor compreensão matemática desses algoritmos. Quais são alguns bons livros ou artigos que provam a exatidão desses amostradores (mais algoritmos também seriam ótimos)?

10 bayesian  references  mcmc 

Eu tenho uma pergunta sobre a abordagem das diferenças nas diferenças com a seguinte equação padrão: que tratar é uma variável fictícia para o grupo e pós tratados. y= a + b1 1tratar + b2post + b3tratar ⋅ post + uy=uma+b1 1tratar+b2postar+b3tratar⋅postar+você y= a + b_1\text{treat}+ b_2\text{post} + b_3\text{treat}\cdot\text{post} + …

10 regression  multiple-regression  causality 

Considere o contexto de um cluster de dendrograma. Vamos chamar de divergências originais as distâncias entre os indivíduos. Após a construção do dendrograma, definimos a dissimilaridade copenética entre dois indivíduos como a distância entre os grupos aos quais esses indivíduos pertencem. Algumas pessoas consideram que a correlação entre as dissimilaridades …

10 clustering  classification 

Eu encontrei muitas fórmulas mostrando como encontrar o tempo médio de sobrevivência para uma distribuição exponencial ou Weibull, mas estou tendo consideravelmente menos sorte para as funções de sobrevivência log-normal. Dada a seguinte função de sobrevivência: S(t)=1−ϕ[ln(t)−μσ]S(t)=1−ϕ[ln⁡(t)−μσ]S(t) = 1 - \phi \left[ {{{\ln (t) - \mu } \over \sigma }} …

10 survival 

Estou tentando encontrar a melhor maneira de prever o valor do pagamento para uma agência de cobrança. A variável dependente é diferente de zero quando um pagamento foi feito. Compreensivelmente, há um número esmagador de zeros porque a maioria das pessoas não pode ser alcançada ou não pode pagar a …

10 regression  predictive-models  logistic 

Modelos de moedas tendenciosas normalmente têm um parâmetro . Uma maneira de estimar partir de uma série de empates é usar uma distribuição beta anterior e computar a distribuição posterior com probabilidade binomial.θθ = P( Cabeça | θ )θ=P(Head|θ)\theta = P(\text{Head} | \theta)θθ\theta Nas minhas configurações, devido a algum processo …

10 time-series  bayesian  kalman-filter 

Existe uma razão intuitiva para que os efeitos aleatórios sejam reduzidos em relação ao seu valor esperado no modelo misto linear geral?

10 mixed-model  random-effects-model 

Eu ajustei um modelo lognormal usando R com um conjunto de dados. Os parâmetros resultantes foram: meanlog = 4.2991610 sdlog = 0.5511349 Gostaria de transferir esse modelo para o Scipy, que nunca usei antes. Usando o Scipy, consegui obter uma forma e escala de 1 e 3,1626716539637488e + 90 - …

10 r  python  numpy  scipy 

Percebi que quando tento encontrar os valores críticos para o Mann-Whitney U usando R, os valores são sempre 1 + valor crítico. Por exemplo, para , o valor crítico (bicaudal) é 8, enquanto para , a (bicaudal) ) o valor crítico é 22 (verifique as tabelas ), mas:α = 0,05 …

10 r  hypothesis-testing  nonparametric  wilcoxon-mann-whitney 

Estou fazendo uma ANOVA de sentido único (por espécie) com contrastes personalizados. [,1] [,2] [,3] [,4] 0.5 -1 0 0 0 5 1 -1 0 0 12.5 0 1 -1 0 25 0 0 1 -1 50 0 0 0 1 onde eu comparo a intensidade 0,5 contra 5, 5 …

10 r  anova  contrasts  generalized-least-squares 

Estes são os meus dados de treinamento: 200.000 exemplos x 10.000 recursos. Portanto, minha matriz de dados de treinamento é - 200.000 x 10.000. Consegui salvar isso em um arquivo simples sem problemas de memória, salvando todos os conjuntos de dados um por um (um exemplo após o outro) enquanto …

10 machine-learning  dataset  algorithms  python 

Suponha que eu tenho 400 estudantes (que estão em uma grande universidade) que precisam fazer um projeto de ciência da computação e que precisam trabalhar sozinhos (sem grupo de estudantes). Um exemplo de projeto poderia ser "implementando um algoritmo de transformação rápida de fourier no fortran" (eu sei, isso não …

10 hypothesis-testing  clustering 

Eu tenho o modelo para a regressão logística para multiclasse, que é dada por P( Y= j | X( I )) = exp( θTjX( I ))1 + ∑km = 1exp( θTmX( I ))P(Y=j|X(i))=exp⁡(θjTX(i))1+∑m=1kexp⁡(θmTX(i)) P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})} onde k é o número de classes teta é o parâmetro a …

10 logistic  multinomial 

O modelo de regressão de Poisson inflado com zero é definido para uma amostra por e assume ainda que os parâmetros e atendem(y1,…,yn)(y1,…,yn)(y_1,\ldots,y_n)Yi={0kwith probability pi+(1−pi)e−λiwith probability (1−pi)e−λiλki/k!Yi={0with probability pi+(1−pi)e−λikwith probability (1−pi)e−λiλik/k! Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! \end{cases}λ=(λ1,…,λn)λ=(λ1,…,λn)\mathbf{\lambda} = (\lambda_1, …

10 generalized-linear-model  maximum-likelihood  poisson-distribution  expectation-maximization  latent-variable 

Estou tentando analisar o lead-lag entre as séries temporais de dois preços das ações. Em análises regulares de séries temporais, podemos fazer a correlação cruzada, VECM (Granger Causality). No entanto, como lidar com o mesmo em séries temporais com espaçamento irregular. A hipótese é que um dos instrumentos lidera o …

10 r  time-series  cross-correlation  unevenly-spaced-time-series