Estatísticas e Big Data

Tenho um problema para entender por que a inferência bayesiana leva a problemas intratáveis. O problema é frequentemente explicado assim: O que não entendo é por que essa integral precisa ser avaliada em primeiro lugar: parece-me que o resultado da integral é simplesmente uma constante de normalização (como o conjunto …

15 bayesian  inference 

Depois de ler esta postagem no blog sobre modelos estruturais de séries temporais bayesianas, eu queria analisar isso no contexto de um problema para o qual eu havia usado o ARIMA anteriormente. Eu tenho alguns dados com alguns componentes sazonais conhecidos (mas barulhentos) - existem definitivamente componentes anuais, mensais e …

15 r  time-series  bayesian  mcmc  bsts 

Suponha que tenhamos um processo de Bernoulli com probabilidade de falha (que será pequena, digamos, ) a partir da qual coletamos amostras até encontrar falhas. Assim, estimamos a probabilidade de falha como que N é o número de amostras.qqqq≤0.01q≤0.01q \leq 0.01101010q^:=10/Nq^:=10/N\hat{q}:=10/NNNN Pergunta : q^q^\hat{q} uma estimativa parcial de qqq ? …

15 estimation  bernoulli-distribution 

Acabei de ler este artigo da BBC sobre o formato de qualificação na Fórmula 1. Os organizadores desejam tornar a qualificação menos previsível, ou seja, aumentar a variação estatística no resultado. Desprezando alguns detalhes irrelevantes, no momento os pilotos são classificados pela melhor volta única de (por concretismo) duas tentativas. …

15 variance 

Hoje, eu estava brincando com um pequeno conjunto de dados e realizei uma regressão OLS simples que esperava falhar devido à perfeita multicolinearidade. No entanto, não. Isso implica que meu entendimento da multicolinearidade está errado. Minha pergunta é: onde estou errado? Eu acho que posso mostrar que uma das minhas …

15 multiple-regression  least-squares  multicollinearity 

Atualmente, estou tentando aplicar um modelo linear ( family = gaussian) a um indicador de biodiversidade que não pode assumir valores inferiores a zero, é inflado a zero e é contínuo. Os valores variam de 0 a um pouco acima de 0,25. Como conseqüência, há um padrão bastante óbvio nos …

15 regression  zero-inflation  tobit-regression  tweedie-distribution 

Venho estudando estatística de muitos livros nos últimos 3 anos e, graças a este site, aprendi muito. No entanto, uma pergunta fundamental ainda permanece sem resposta para mim. Pode ter uma resposta muito simples ou muito difícil, mas sei com certeza que requer algum entendimento profundo das estatísticas. Ao ajustar …

15 modeling  inference  aic 

No livro "Bioestatística para manequins" na página 40, li: O erro padrão (SE abreviado) é uma maneira de indicar o quão precisa é sua estimativa ou medida de algo. e Intervalos de confiança fornecem outra maneira de indicar a precisão de uma estimativa ou medida de algo. Mas não está …

15 confidence-interval  standard-error  measurement-error  accuracy 

Suponhamos que X1,X2,...,XnX1,X2,...,XnX_1, X_2,...,X_n seja iid de N(μ,σ2)N(μ,σ2)N(\mu,\sigma^2) com desconhecido μ∈Rμ∈R\mu \in \mathcal Re σ2>0σ2>0\sigma^2>0 Seja Z=X1−X¯S,Z=X1−X¯S,Z=\frac{X_1-\bar{X}}{S},S é o desvio padrão aqui. Pode-se demonstrar que ZZZ possui o pdf de Lebesgue f(z)=n−−√Γ(n−12)π−−√(n−1)Γ(n−22)[1−nz2(n−1)2]n/2−2I(0,(n−1)/n√)(|Z|)f(z)=nΓ(n−12)π(n−1)Γ(n−22)[1−nz2(n−1)2]n/2−2I(0,(n−1)/n)(|Z|)f(z)=\frac{\sqrt{n} \Gamma\left(\frac{n-1}{2}\right)}{\sqrt{\pi}(n-1)\Gamma\left(\frac{n-2}{2}\right)}\left[1-\frac{nz^2}{(n-1)^2}\right]^{n/2-2}I_{(0,(n-1)/\sqrt{n})}(|Z|) Minha pergunta é como obter este pdf? A questão é daqui em diante no exemplo 3.3.4 para …

15 self-study  umvue 

Eu tenho um exemplo trabalhado (em R), que estou tentando entender melhor. Estou usando o Limma para criar um modelo linear e estou tentando entender o que está acontecendo passo a passo nos cálculos de alteração de dobras. Estou principalmente tentando descobrir o que acontece para calcular os coeficientes. Pelo …

15 r  regression  linear-model 

Pegue os 5 sólidos platônicos de um conjunto de dados de Dungeons & Dragons. Estes consistem em dados de 4 lados, 6 lados (convencional), 8 lados, 12 lados e 20 lados. Todos começam no número 1 e contam até 1 em seu total. Role-os todos de uma vez, pegue a …

15 distributions  dice 

JUSTIFICATIVA: Pule com segurança - está aqui para referência e para legitimar a pergunta. A abertura deste artigo diz: "O famoso teste de contingência qui-quadrado de Karl Pearson é derivado de outra estatística, chamada estatística z, com base na distribuição Normal. As versões mais simples do χ2χ2\chi^2 podem ser matematicamente …

15 chi-squared  proportion  z-test 

Estou pensando em usar uma versão LSTM ( memória de curto prazo ) de uma rede neural recorrente (RNN) para modelar dados de séries temporais. À medida que o comprimento da sequência dos dados aumenta, a complexidade da rede aumenta. Estou, portanto, curioso que comprimento de sequências seria possível modelar …

15 neural-networks  deep-learning  lstm 

Eu construí algumas redes neurais (MLP (totalmente conectadas), Elman (recorrente)) para tarefas diferentes, como jogar Pong, classificar dígitos manuscritos e outras coisas ... Além disso, tentei criar algumas primeiras redes neurais convolucionais, por exemplo, para classificar notas manuscritas de vários dígitos, mas sou completamente novo para analisar e agrupar textos, …

15 clustering  neural-networks  feature-selection  text-mining  self-organizing-maps 

Eu acho que uma boa maneira de lembrar a fórmula é pensar na fórmula assim: A probabilidade de algum evento A ter um resultado específico, dado o resultado de um evento independente B = a probabilidade de ambos os resultados ocorrerem simultaneamente / o que quer que disséssemos que a …

15 bayesian  bayes