Estatísticas e Big Data

Na análise das pontuações dos testes (por exemplo, em Educação ou Psicologia), técnicas comuns de análise geralmente assumem que os dados são normalmente distribuídos. No entanto, talvez mais frequentemente do que não, as pontuações tendem a se desviar, às vezes, muito do normal. Estou familiarizado com algumas transformações normalizadoras básicas, …

10 data-transformation  normality-assumption  variance-stabilizing 

Alguém tem um bom exemplo de um processo estocástico estacionário de segunda ordem, mas não estritamente estacionário?

10 time-series  stochastic-processes  stationarity 

Eu tenho um conjunto de dados que contém ~ 7.500 exames de sangue de ~ 2.500 indivíduos. Estou tentando descobrir se a variabilidade nos exames de sangue aumenta ou diminui com o tempo entre dois testes. Por exemplo - colho seu sangue para o teste de linha de base e, …

10 repeated-measures  variability 

Estou interessado em obter um intervalo de confiança de inicialização na quantidade X, quando essa quantidade é medida 10 vezes em cada um dos 10 indivíduos. Uma abordagem é obter a média por indivíduo e depois inicializar os meios (por exemplo, reamostrar os meios com substituição). Outra abordagem é fazer …

10 confidence-interval  bootstrap 

Existem muitas referências na literatura estatística a " dados funcionais " (isto é, dados que são curvas) e, paralelamente, a " dados de alta dimensão " (isto é, quando os dados são vetores de alta dimensão). Minha pergunta é sobre a diferença entre os dois tipos de dados. Ao falar …

10 data-mining  signal-processing  curve-fitting  wavelet 

Outra pergunta sobre séries temporais minha. Eu tenho um conjunto de dados que fornece registros diários de incidentes violentos em um hospital psiquiátrico por três anos. Com a ajuda da minha pergunta anterior, estou brincando com isso e estou um pouco mais feliz com isso agora. O que tenho agora …

10 time-series  forecasting 

Os testes de Wald, Razão de Verossimilhança e Multiplicador de Lagrange no contexto da estimativa de máxima verossimilhança são assintoticamente equivalentes. No entanto, para amostras pequenas, elas tendem a divergir bastante e, em alguns casos, resultam em conclusões diferentes. Como eles podem ser classificados de acordo com a probabilidade de …

10 hypothesis-testing  maximum-likelihood 

Estou propondo tentar encontrar uma tendência em alguns dados de longo prazo muito barulhentos. Os dados são basicamente medições semanais de algo que se moveu cerca de 5 mm durante um período de cerca de 8 meses. Os dados são de 1mm de precisão e são muito barulhentos mudando regularmente …

10 time-series  data-mining  signal-processing  trend 

Quais são algumas boas bibliotecas de visualização para uso online? Eles são fáceis de usar e existe uma boa documentação?

10 data-visualization  protovis 

Suponha que XXX e YYY sejam bivariados normais com média μ=(μ1,μ2)μ=(μ1,μ2)\mu=(\mu_1,\mu_2) e covariância Σ=[σ11σ12σ12σ22]Σ=[σ11σ12σ12σ22]\Sigma = \begin{bmatrix} \sigma_{11} & \sigma_{12} \\ \sigma_{12} & \sigma_{22} \\ \end{bmatrix} . Qual é a probabilidade Pr(X&lt;Y|min(X,Y))Pr(X&lt;Y|min(X,Y))\Pr\left(X<Y|\min\left(X,Y\right)\right) ?

10 probability  normal-distribution  conditional-probability 

No aprendizado computacional, o teorema da NFL afirma que não existe um aprendiz universal. Para todo algoritmo de aprendizado, existe uma distribuição que causa ao aluno uma hipotese com um grande erro, com alta probabilidade (embora exista um baixo índice de erro). A conclusão é que, para aprender, a classe …

10 k-nearest-neighbour  consistency 

Um paciente é internado no hospital. A duração da estadia depende de duas coisas: a gravidade da lesão e quanto o seguro está disposto a pagar para mantê-la no hospital. Alguns pacientes sairão prematuramente se o seguro decidir parar de pagar pela estadia. Suponha o seguinte: 1) A duração da …

10 maximum-likelihood  modeling 

Fechado . Esta questão é baseada em opiniões . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando esta postagem . Fechado no ano passado . Navegando pela área de pesquisa dos 100 principais programas …

10 bayesian  frequentist 

Atualmente, estou investigando a visualização de dados de alta dimensão usando t-SNE. Eu tenho alguns dados com variáveis ​​binárias e contínuas mistas e os dados parecem agrupar os dados binários com muita facilidade. Obviamente, isso é esperado para dados em escala (entre 0 e 1): a distância euclidiana sempre será …

10 python  dimensionality-reduction  unsupervised-learning  tsne  mixed-type-data 

O processo de Dirichlet e o processo gaussiano são frequentemente referidos como "distribuições sobre funções" ou "distribuições sobre distribuições". Nesse caso, posso falar significativamente sobre a densidade de uma função em um GP? Ou seja, o Processo Gaussiano ou o Dirichlet têm alguma noção de densidade de probabilidade? Se não, …

10 machine-learning  probability  bayesian  nonparametric  nonparametric-bayes