Estatísticas e Big Data

Nas estatísticas circulares, o valor esperado de uma variável aleatória ZZZ com valores no círculo é definido como (consulte a Wikipedia ). Essa é uma definição muito natural, assim como a definição da variação Portanto, não precisamos de um segundo momento para definir a variação!SSSm1( Z) = ∫SzPZ( θ ) …

13 mathematical-statistics  moments  intuition  circular-statistics 

Ouvi dizer que os modelos LME são mais sólidos na análise de dados de precisão (ou seja, em experimentos de psicologia), na medida em que podem trabalhar com distribuições binomiais e outras não-normais que as abordagens tradicionais (por exemplo, ANOVA) não podem. Qual é a base matemática dos modelos LME …

13 mixed-model 

Estou usando a Decomposição de Valor Singular como uma técnica de redução de dimensionalidade. Dados os Nvetores de dimensão D, a idéia é representar os recursos em um espaço transformado de dimensões não correlacionadas, que condensa a maioria das informações dos dados nos vetores próprios desse espaço em uma ordem …

13 time-series  machine-learning  pca  data-transformation  multivariate-analysis 

Bloqueado . Esta pergunta e suas respostas estão bloqueadas porque a questão está fora de tópico, mas tem um significado histórico. No momento, não está aceitando novas respostas ou interações. Alguém está ciente de um bom software de anonimização de dados? Ou talvez um pacote para R que faça o …

13 software 

Estou tentando separar dois grupos de valores de um único conjunto de dados. Eu posso assumir que uma das populações está normalmente distribuída e tem pelo menos metade do tamanho da amostra. Os valores do segundo são mais baixos ou mais altos que os valores do primeiro (a distribuição é …

13 dataset  outliers  expectation-maximization 

Esta é uma pergunta um tanto irreverente, mas tenho um interesse sério na resposta. Eu trabalho em um hospital psiquiátrico e tenho três anos de dados, coletados todos os dias em cada ala em relação ao nível de violência nessa ala. Claramente, o modelo que se encaixa nesses dados é …

13 time-series  forecasting 

Esta é uma pergunta bastante geral: Eu normalmente descobri que o uso de vários modelos diferentes supera um modelo ao tentar prever uma série temporal fora da amostra. Existem bons documentos que demonstrem que a combinação de modelos superará um único modelo? Existem práticas recomendadas para combinar vários modelos? Algumas …

13 time-series  modeling  model-comparison 

Eu tenho uma tabela com quatro grupos (4 grupos de IMC) como a variável independente (fator). Eu tenho uma variável dependente que é "porcentagem de mães fumando na gravidez". É permitido usar ANOVA para isso ou tenho que usar qui-quadrado ou algum outro teste?

13 anova 

Estou ajustando uma regressão logística passo a passo em um conjunto de dados no SPSS. No procedimento, estou ajustando meu modelo a um subconjunto aleatório que é de aprox. 60% da amostra total, ou seja, cerca de 330 casos. O que eu acho interessante é que, toda vez que faço …

13 logistic  spss  stepwise-regression 

A entropia de uma distribuição contínua com função de densidade fff é definida como negativa da expectativa de log(f),log⁡(f),\log(f), e , portanto, é igual a Hf=−∫∞−∞log(f(x))f(x)dx.Hf=−∫−∞∞log⁡(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x. Também dizemos que qualquer variável aleatória XXX cuja distribuição tem densidade fff tem entropia Hf.Hf.H_f. (Essa integral é bem definida …

13 distributions  data-transformation  entropy 

Estive discutindo com vários membros do laboratório sobre esse assunto e fomos a várias fontes, mas ainda não temos a resposta: Quando dizemos que um GLM tem uma família de poisson , digamos que estamos falando sobre a distribuição dos resíduos ou a variável de resposta? Pontos de discórdia Ao …

13 generalized-linear-model  residuals  assumptions 

Eu tenho um conjunto de dados que contém, digamos, algumas medidas de posição, velocidade e aceleração. Todos vêm da mesma "corrida". Eu poderia construir um sistema linear e ajustar um polinômio a todas essas medidas. Mas posso fazer o mesmo com splines? O que é uma maneira 'R' de fazer …

13 r  model  fitting  splines  derivative 

Recentemente, aprendi sobre regras de pontuação adequadas para classificadores probabilísticos. Vários tópicos neste site fizeram questão de enfatizar que a precisão é uma regra de pontuação inadequada e não deve ser usada para avaliar a qualidade das previsões geradas por um modelo probabilístico, como a regressão logística. No entanto, muitos …

13 probability  accuracy  scoring-rules 

Digamos que eu estou calculando alturas (em cm) e os números devem ser maiores que zero. Aqui está a lista de exemplo: 0.77132064 0.02075195 0.63364823 0.74880388 0.49850701 0.22479665 0.19806286 0.76053071 0.16911084 0.08833981 Mean: 0.41138725956196015 Std: 0.2860541519582141 Neste exemplo, de acordo com a distribuição normal, 99,7% dos valores devem estar entre …

13 probability  mathematical-statistics  normal-distribution  standard-deviation 

Eu tenho um conhecimento básico de como as RNNs (e, em particular, com as unidades LSTMs) funcionam. Tenho uma idéia pictórica da arquitetura de uma unidade LSTM, que é uma célula e alguns portões, que regulam o fluxo de valores. No entanto, aparentemente, eu não entendi completamente como o LSTM …

13 neural-networks  lstm  rnn  backpropagation