Estatísticas e Big Data

Os economistas geralmente falam sobre uma série temporal sendo integrada à ordem k, I (k) . k sendo o número mínimo de diferenças necessárias para obter uma série temporal estacionária. Quais métodos ou testes estatísticos podem ser usados ​​para determinar, dado um nível de confiança, a ordem de integração de …

16 time-series 

Recentemente, dois colegas de trabalho diferentes usaram um tipo de argumento sobre diferenças entre condições que me parecem incorretas. Ambos os colegas de trabalho usam estatísticas, mas não são estatísticos. Eu sou um novato em estatística. Nos dois casos, argumentei que, como não havia diferença significativa entre duas condições em …

16 statistical-significance 

Eu estava revisando a documentação do Stan, que pode ser baixada aqui . Eu estava particularmente interessado na implementação do diagnóstico Gelman-Rubin. O artigo original Gelman & Rubin (1992) define o potencial fator de redução de escala (PSRF) da seguinte maneira: Deixe que Xi,1,…,Xi,NXi,1,…,Xi,NX_{i,1}, \dots , X_{i,N} ser o iii …

16 mcmc  convergence  gibbs  metropolis-hastings  stan 

Estou tentando ler as pesquisas na área de regressão de alta dimensão; quando ppp é maior do que nnn , isto é, p>>np>>np >> n . Parece que o termo logp/nlog⁡p/n\log p/n aparece frequentemente em termos de taxa de convergência para estimadores de regressão. β^β^\hat{\beta}1n∥Xβ^−Xβ∥22=OP(σlogpn−−−−−√∥β∥1).1n‖Xβ^−Xβ‖22=OP(σlog⁡pn‖β‖1). \dfrac{1}{n}\|X\hat{\beta} - X \beta\|_2^2 = …

16 regression  lasso  convergence  high-dimensional 

Esta é uma questão de terminologia. Às vezes, vejo as pessoas se referirem às redes neurais profundas como "perceptrons de várias camadas", por que isso? Um perceptron, fui ensinado, é um classificador de camada única (ou regressor) com uma saída de limiar binário usando uma maneira específica de treinar os …

16 neural-networks  perceptron 

Estou procurando informações preliminares não informativas para a distribuição beta para trabalhar com um processo binomial (acerto / acerto). No começo, pensei em usar α=1,β=1α=1,β=1\alpha=1, \beta=1 que gera um PDF uniforme ou Jeffrey antes de α=0.5,β=0.5α=0.5,β=0.5\alpha=0.5, \beta=0.5 . Mas, na verdade, estou procurando priors que tenham o efeito mínimo em …

16 bayesian  prior  beta-distribution  uninformative-prior 

Na prática, o uso de um teste T padrão para verificar a significância de um coeficiente de regressão linear é prática comum. A mecânica do cálculo faz sentido para mim. Por que a distribuição T pode ser usada para modelar a estatística de teste padrão usada no teste de hipótese …

16 regression  hypothesis-testing  linear-model  t-distribution 

Eu tenho um conjunto de 150 recursos, e muitos deles estão altamente correlacionados entre si. Meu objetivo é prever o valor de uma variável discreta, cujo intervalo é de 1 a 8 . O tamanho da minha amostra é 550 e estou usando a validação cruzada 10 vezes . AFAIK, …

16 regression  lasso  regularization  ridge-regression  elastic-net 

Eu tenho um grande conjunto de dados de poluição que foram registrados a cada 10 minutos durante 2 anos, no entanto, existem várias lacunas nos dados (incluindo algumas que duram algumas semanas por vez). Os dados parecem bastante sazonais e há uma grande variação durante o dia em comparação com …

16 time-series  missing-data  data-imputation 

Minha pergunta é: Qual é a relação matemática entre a distribuição Beta e os coeficientes do modelo de regressão logística ? Para ilustrar: a função logística (sigmóide) é dada por f(x)=11+exp(−x)f(x)=11+exp⁡(−x)f(x) = \frac{1}{1+\exp(-x)} e é usado para modelar probabilidades no modelo de regressão logística. Seja AAA um resultado pontuado dicotômico …

16 regression  logistic  mathematical-statistics  beta-distribution 

Qual é a diferença entre cadeias de Markov e processos de Markov? Estou lendo informações conflitantes: às vezes a definição se baseia em se o espaço de estados é discreto ou contínuo e, outras vezes, se o tempo é discreto ou contínuo. Slide 20 deste documento : Um processo de …

16 terminology  stochastic-processes  markov-process 

Se os dados forem 1d, a variação mostrará até que ponto os pontos de dados são diferentes um do outro. Se os dados forem multidimensionais, obteremos uma matriz de covariância. Existe uma medida que fornece um número único de como os pontos de dados são diferentes entre si em geral …

16 variance  covariance  covariance-matrix 

Eu construí uma curva ROC para um sistema de diagnóstico. A área sob a curva foi então estimada não parametricamente como AUC = 0,89. Quando tentei calcular a precisão na configuração de limite ideal (o ponto mais próximo do ponto (0, 1)), obtive a precisão do sistema de diagnóstico em …

16 roc  reliability  accuracy  auc 

A regressão de classificação reduzida e a regressão de componentes principais são apenas casos especiais de mínimos quadrados parciais? Este tutorial (Página 6, "Comparação de objetivos") afirma que, quando fazemos mínimos quadrados parciais sem projetar X ou Y (ou seja, "não parcial"), ele se torna uma regressão de classificação reduzida …

16 regression  pca  dimensionality-reduction  partial-least-squares  reduced-rank-regression 

Fig 1. Função logística Fig 2. Função Sigmoide é mais como um tipo generalizado de função sigmóide em que você poderia ter um valor máximo mais alto?

16 logistic