Estatísticas e Big Data

Estou estimando 15 parâmetros do meu modelo usando uma abordagem bayesiana e um método de Markov Chain Monte Carlo (MCMC). Meus dados após a execução de uma cadeia MCMC de 100000 amostras são, portanto, uma tabela 100000 × 15 de valores de parâmetros. Quero encontrar regiões de maior densidade de …

8 bayesian  mcmc  monte-carlo  credible-interval  highest-density-region 

Encontrei em algum lugar que o conjunto de testes não deve ser usado como um conjunto de validação. Por quê? O conjunto de validação é acionado quando os parâmetros do modelo são fixados e o aprendizado ocorre apenas através do backprop no lote de treinamento. Então, por que não posso …

8 machine-learning  neural-networks  cross-validation  deep-learning 

Estou estudando econometria na terceira edição da 'Introdução à Econometria', de James H. Stock e Mark W. Watson. Na página 166, ele se diverte na versão beta do estoque. Diz Esses betas são tipicamente estimados por regressão OLS do excesso de retorno real das ações contra o excesso de retorno …

8 regression  finance 

Estou usando um método de mínimos quadrados não linear para ajustar uma função analítica a alguns dados experimentais. Eu tenho que fornecer alguns valores iniciais de adivinhação para o algoritmo, então estou tentando descobrir como fazer isso automaticamente (em vez de a olho nu, que é o que tenho feito). …

8 time-series  variance 

Estou tentando seguir a revisão de Princeton da teoria da probabilidade . Eles definem Fisher’s score functioncomo a primeira derivada da função log-verossimilhança e dizem que a pontuação é um vetor aleatório. Por exemplo, para a distribuição geométrica: u(π)=n(1π−y¯1−π)u(π)=n(1π−y¯1−π) u(\pi) = n\left(\frac{1}{\pi} - \frac{\bar{y}}{1-\pi} \right) E eu posso ver que …

8 likelihood  geometric-distribution  fisher-scoring 

Eu tenho a seguinte pergunta em mãos. Suponha (x1,y1),(x2,y2),⋯,(x10,y10)(x1,y1),(x2,y2),⋯,(x10,y10)(x_1,y_1),(x_2,y_2),\cdots,(x_{10},y_{10}) representa um conjunto de observações bi-variáveis (X,Y)(X,Y)(X,Y) de tal modo que x2=x3=⋯=x10≠x1.x2=x3=⋯=x10≠x1.x_2=x_3=\cdots =x_{10}\ne x_1. Em que condições a linha de regressão com mínimos quadrados da YYY em XXX ser idêntico à linha de desvio mínimo absoluto? Eu sei que dizemos que …

8 regression  self-study  least-squares  least-absolute-deviations 

Estou coletando um grupo de seqüências de tempo multivariadas. Por exemplo, existem 2000 séries temporais. Cada série temporal é de 12 dimensões. Existem modelos / algoritmos sistemáticos que podem agrupar séries temporais multivariadas? Por exemplo, gostaria de identificar algumas séries temporais muito diferentes das outras. Além disso, para o monitoramento …

8 machine-learning  time-series  clustering  multivariate-analysis  sequential-pattern-mining 

Dada a experiência a seguir, qual é o método estatístico correto para responder à pergunta abaixo: Um participante recebe as imagens consecutivamente e é obrigado a responder se viu um objeto ou um rosto após cada foto. Em cada tentativa (apresentação da imagem), a imagem apresentada (1 de 210 faces …

8 hypothesis-testing  logistic  multiple-comparisons  paired-data 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 3 anos . Os dados que consistem em 30 valores são armazenados em uma série temporal time. Após …

8 r  time-series  forecasting  arima 

Eu estava tentando modelar uma variável dependente de contagem com exposição desigual. Glms clássicos usariam log (exposição) como deslocamento, também o gbm, mas o xgboost não permite o deslocamento até agora ... Tentando encontrar uma desvantagem neste exemplo em validação cruzada ( onde o deslocamento ocorre na regressão binomial negativa …

8 r  caret  poisson-regression  offset  xgboost 

Eu gerei uma visualização t-SNE de um conjunto de dados (cerca de 10 recursos numéricos padronizados (média = 0, sd = 1)) e cheguei a um gráfico bidimensional a seguir. Não tenho uma boa intuição de por que os pontos estão alinhados em uma espécie de grupos em forma de …

8 data-visualization  tsne 

Suponha que eu queira encontrar uma distribuição normal truncada, mas em vez de ser definida em um intervalo , em que , sua definição está em um intervalo , onde .( a , b )(a,b)(a,b)- ∞ &lt; a &lt; b &lt; ∞−∞&lt;a&lt;b&lt;∞-\infty<a<b<\infty( a , b ) ∪ ( c , …

8 probability  distributions  truncated-normal 

Atualmente, estou analisando grandes conjuntos de dados com várias características (como cidade). Eu queria encontrar uma medida que dissesse essencialmente o quanto ou a menor variação existente entre os dados. Isso seria muito mais útil do que simplesmente obter uma contagem do número de elementos distintos. Por exemplo, considere os …

8 distributions  categorical-data  variance  ecology 

(Esta postagem é uma repostagem de uma pergunta que eu postei ontem (agora excluída), mas tentei reduzir o volume de palavras e simplificar o que estou perguntando) Espero obter ajuda na interpretação de um script e saída do kmeans que criei. Isso ocorre no contexto da análise de texto. Criei …

8 r  clustering  k-means  text-mining 

Normalmente, eu estou muito familiarizado com como fazer testes de hipóteses, mas nunca vi uma hipótese alternativa em que seja igual a um valor específico. Como alguém procederia nessa situação? Este é um exemplo que me deparei:μμ\mu "Supondo normalidade com variância , teste a hipótese nula \ mu = 60.0 …

8 hypothesis-testing  self-study