Estatísticas e Big Data

Provavelmente isso está demonstrando uma falta de entendimento fundamental de como as correlações parciais funcionam. Eu tenho 3 variáveis, x, y, z. Quando controlo z, a correlação entre x e y aumenta sobre a correlação entre x e y quando z não foi controlado. Isso faz sentido? Costumo pensar que, …

14 correlation 

Aqui está algum contexto. Estou interessado em determinar como duas variáveis ​​ambientais (temperatura, níveis de nutrientes) afetam o valor médio de uma variável de resposta em um período de 11 anos. A cada ano, existem dados de mais de 100 mil locais. O objetivo é determinar se, durante o período …

14 time-series  regression  sample-size  small-sample 

para os seguintes 3 valores 222,1122,45444 WolframAlpha dá 0,706 Excel, usando =SKEW(222,1122,45444)dá 1.729 O que explica a diferença?

14 excel  software  descriptive-statistics  mathematica 

Como ouvi falar do classificador AdaBoost mencionado repetidamente no trabalho, queria ter uma idéia melhor de como ele funciona e quando alguém pode usá-lo. Fui em frente e li vários artigos e tutoriais que encontrei no Google, mas há aspectos do classificador que ainda estou tendo problemas para entender: A …

14 machine-learning  boosting  adaboost 

Atualmente, estou trabalhando em um projeto no qual gere valores aleatórios usando conjuntos de pontos com baixa discrepância / quase aleatória , como conjuntos de pontos Halton e Sobol. Estes são vetores essencialmente dimensionais que imitam variáveis ​​uniformes dimensionais (0,1), mas têm uma propagação melhor. Em teoria, eles devem ajudar …

14 hypothesis-testing  monte-carlo  random-generation  randomness 

Esta é uma pergunta de acompanhamento da que eu perguntei alguns dias atrás . Eu sinto que isso coloca uma inclinação diferente sobre o assunto, então listamos uma nova pergunta. A questão é: posso comparar a magnitude dos coeficientes entre os modelos com diferentes variáveis ​​dependentes? Por exemplo, em uma …

14 regression  logistic 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 2 anos . Às vezes, preciso obter apenas a primeira linha de um conjunto de dados agrupada por …

14 r  dataset  aggregation  plyr 

Estou lutando para encontrar um método para reduzir o número de categorias em dados nominais ou ordinais. Por exemplo, digamos que eu queira criar um modelo de regressão em um conjunto de dados que possua vários fatores nominais e ordinais. Embora não tenha problemas com esta etapa, frequentemente encontro situações …

14 r  categorical-data  dimensionality-reduction  many-categories 

Digamos que tenho duas distribuições que quero comparar em detalhes, ou seja, de uma maneira que torne a forma, a escala e a mudança facilmente visíveis. Uma boa maneira de fazer isso é plotar um histograma para cada distribuição, colocá-los na mesma escala X e empilhar um embaixo do outro. …

14 data-visualization  histogram  pdf  binning 

Passeio aleatório Metropolis-Hasitings com proposta simétrica tem a propriedade de que a probabilidade de aceitaçãoq( x | y) = g( | y- x |)q(x|y)=g(|y-x|)q(x|y)= g(|y-x|) P( Um c c e p t y ) = min { 1 , f( y) / f( x ) }P(umaccept y)=min{1,f(y)/f(x)}P(accept\ y) = \min\{1, …

14 mcmc  metropolis-hastings 

É fácil produzir uma variável aleatória com distribuição Dirichlet usando variáveis ​​Gamma com o mesmo parâmetro de escala. E se: Xi∼Gamma(αi,β)Xi∼Gamma(αi,β) X_i \sim \text{Gamma}(\alpha_i, \beta) Então: (X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn)(X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn) \left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \text{Dirichlet}(\alpha_1,\;\ldots\;,\alpha_n) Problema O que acontece se os parâmetros da escala não forem iguais? XEu∼ Gama ( …

14 expected-value  dirichlet-distribution  gamma-distribution  integral 

Espero que não seja uma pergunta boba. Digamos que eu tenha uma distribuição contínua arbitrária. Eu também tenho uma estatística e gostaria de usar essa distribuição arbitrária para obter um valor-p para essa estatística. Percebo que no R é fácil fazer isso, desde que sua distribuição se encaixe em uma …

14 r  distributions  p-value 

Estou tentando entender como as máquinas Boltzmann funcionam, mas não sei bem como os pesos são aprendidos e não consegui encontrar uma descrição clara. O seguinte está correto? (Além disso, seria bom apontar para qualquer boa explicação da máquina de Boltzmann.) Temos um conjunto de unidades visíveis (por exemplo, correspondendo …

14 neural-networks 

Suponha que eu queira criar um classificador binário. Eu tenho vários milhares de recursos e apenas alguns 10s de amostras. Pelo conhecimento do domínio, tenho um bom motivo para acreditar que o rótulo da classe pode ser previsto com precisão usando apenas alguns recursos, mas não faço ideia de quais …

14 regression  logistic  multiple-comparisons  stepwise-regression 

Gostaria de aprender um pouco mais sobre a visualização interativa de dados (zoom, apontar, escovar, mapear pontos e assim por diante). Gostaria de receber qualquer: Tutorial / guia / livro (?) / Vídeo sobre como usar esses métodos para exploração estatística. Ponteiros para pacotes de visualização de dados interativos bons …

14 data-visualization  interactive-visualization