Estatísticas e Big Data

Dados dois conjuntos de dados de números reais positivos X e Y, ambos do mesmo tamanho e 0 <= Y <= X para cada linha; o CDF empírico de X pode cruzar o CDF empírico de Y?

8 distributions  cdf 

Estou tentando estimar a diferença salarial entre homens e mulheres em uma grande empresa sueca para verificar se há discriminação de gênero. O teste de Hausman rejeita o nulo de que os efeitos fixos individuais são aleatórios e, portanto, não posso confiar no OLS agrupado ou nos efeitos aleatórios. O …

8 econometrics  panel-data  random-effects-model  fixed-effects-model  hausman 

Costuma-se dizer que os priores nas estatísticas bayesianas podem ser considerados fatores de regularização, pois penalizam soluções onde os anteriores colocam baixa densidade de probabilidade. Então, dado esse modelo simples cujos parâmetros do MLE são: a r gm a xμ N( y; μ , σ)argmaxμ N(y;μ,σ) argmax_{\mu} \text{ } \mathcal{N}(y; …

8 bayesian  regularization  frequentist  philosophical 

Sob quais condições a análise de componentes principais (PCA) e a análise fatorial (FA) podem produzir resultados semelhantes?

8 pca  factor-analysis 

Gostaria de especificar um modelo de regressão logística em que possuo o seguinte relacionamento: E[ YEu| XEu] = f( βxeu 1+ β2xeu 2)E[YEu|XEu]=f(βxEu1+β2xEu2)E[Y_i|X_i] = f(\beta x_{i1} + \beta^2x_{i2}) que é a função inversa de logit.fff Existe uma maneira "rápida" de fazer isso com funções R preexistentes ou existe um nome …

8 r  logistic  generalized-linear-model  nonlinear-regression 

Eu tenho várias descrições de trabalho inseridas pelos usuários. Há todo tipo de erro de ortografia e dados incorretos. ou seja: ... tulane univ hospital tulip tullett prebon ... weik investment weill cornell university medical center weis weiss waldee hohimer dds welded constrction l.p. welder welder welder ... Quais etapas …

8 classification  categorical-data  text-mining 

Foi difícil interpretar clusters resultantes de uma matriz de adjacência. Eu tenho 200 matrizes relativamente grandes que representam assuntos que contêm correlações parciais (escores z) de séries temporais (dados neurais). O objetivo é agrupar essas 210 matrizes e detectar possíveis comunidades não descobertas. Fiz outros cálculos de correlação parcial, resultando …

8 clustering  neuroimaging 

Em seu livro "Análise multinível: uma introdução à modelagem multinível básica e avançada" (1999), Snijders & Bosker (cap. 8, seção 8.2, página 119) disseram que a correlação interceptar-inclinação, calculada como covariância interceptada-dividida dividia pela raiz quadrada do produto da variação de interceptação e variação de inclinação, não é delimitada entre …

8 mixed-model  stata  multilevel-analysis 

Atualmente, estou modelando alguns dados usando uma regressão logística binária. A variável dependente possui um bom número de casos positivos e negativos - não é escassa. Eu também tenho um grande conjunto de treinamento (> 100.000) e o número de efeitos principais nos quais estou interessado é de cerca de …

8 regression  logistic  predictor  sparse 

Estou tentando fazer um gráfico de dispersão para ver a relação entre alfabetização e mortalidade de bebês. Como sei se a alfabetização é meu eixo X e a mortalidade de bebês é meu eixo Y, ou o contrário? Como determino o que se passa no eixo X e no eixo …

8 data-visualization  scatterplot 

Eu sou relativamente novo nas estatísticas bayesianas, por isso seja gentil. Acabei de realizar a Computação Bayesiana Aproximada (ABC) para a inferência de um modelo multiparâmetros. Agora, estou procurando executar uma verificação preditiva posterior dos parâmetros que foram inferidos. O que eu quero saber é que, quando amostrar a partir …

8 bayesian  posterior  abc 

Estou procurando uma medida apropriada da "variação explicada" de um Poisson GLM (usando uma função de log-link). Encontrei vários recursos diferentes (neste site e em outros lugares) que discutem várias medidas pseudo- , mas quase todos os sites mencionam as medidas em relação a uma função de logit-link, e eles …

8 generalized-linear-model  poisson-distribution  r-squared 

A relação entre as distribuições normal normal e as qui-quadrado é bem conhecida. Eu estava pensando, existe uma transformação que pode levar de um volta para uma distribuição normal padrão?χ2( 1 )χ2(1)\chi^2 (1) Pode-se ver facilmente que a transformação da raiz quadrada não funciona, pois seu intervalo é apenas números …

8 probability  normal-distribution  mathematical-statistics  chi-squared  data-transformation 

Uma pessoa recebe três itens, digamos fotos de rostos, e é solicitada a escolher quais dos dois rostos são os mais semelhantes. Isso é repetido várias vezes com diferentes combinações de faces, onde cada face pode ocorrer em várias combinações. Dado esse tipo de dado, eu gostaria de modelar / …

8 modeling  dimensionality-reduction  psychometrics  similarities 

Usei o auto.arima para ajustar um modelo de série temporal (uma regressão linear com erros ARIMA, conforme descrito no site de Rob Hyndman ). e reporta valores de critérios de informação como AIC: 2989.2 AICC: 2989.3 BIC: 3261.2 Quando eu uso o Arima para ajustar um modelo com uma estrutura …

8 r  arima  aic