Estatísticas e Big Data

Estou tentando criar um modelo de previsão usando regressão. Este é o gráfico de diagnóstico para o modelo que recebo usando lm () no R: O que li do gráfico QQ é que os resíduos têm uma distribuição de cauda pesada, e o gráfico Residuais vs Ajustados parece sugerir que …

8 regression  residuals  heteroscedasticity  robust  rlm 

Suponha que eu esteja construindo um classificador de regressão logística que preveja se alguém é casado ou solteiro. (1 = casado, 0 = solteiro) Quero escolher um ponto na curva de precisão-recall que me dê pelo menos 75% de precisão, portanto, desejo escolher os limites e , para que:t 2t1t1t_1t2t2t_2 …

8 r  precision-recall 

Recentemente, uma pergunta foi postada em uma lista que eu subscrevo a perguntar (talvez cinicamente?) Quando uma abordagem bayesiana foi crucial para "fazer o trabalho" ao abordar questões no campo da ecologia. Eu estou pensando, em geral, sobre quando uma abordagem bayesiana foi essencial para o progresso em um campo …

8 bayesian  multilevel-analysis 

Digamos, por exemplo, que temos um modelo de regressão logística que gera a probabilidade de um paciente desenvolver uma doença específica com base em muitas covariáveis. Podemos ter uma idéia da magnitude e direção do efeito de cada covariável em geral, examinando os coeficientes do modelo e considerando a mudança …

8 logistic  regression-coefficients  model 

Estou procurando algum tipo de distribuição sobre o simplex no qual os componentes são correlacionados de maneira ordinal. Ou seja, se p = ( p1, . . . , pJ)p=(p1,...,pJ)p = (p_1, ..., p_J) é extraída de nossa distribuição no simplex, gostaria pEupip_i a ser positivamente correlacionada com a sua …

8 correlation  dirichlet-distribution 

Estou tentando padronizar colunas de conjunto de dados para regressão linear. Uma das colunas possui desvio padrão = 0. def standardize(X): return (X - mean(X)) / std(X) Portanto, esse código não funciona. Existem truques para resolver este problema? Eu tentei duas coisas Jogue sempre a coluna com desvio padrão 0 …

8 regression  standardization 

Seja uma função não negativa. Eu estou interessada em encontrar , tal que A ressalva : tudo o que posso fazer é provar em pontos em . Posso, no entanto, escolher os locais onde eu amostra aleatoriamente, se eu assim o desejarem. z ∈ [ 0 , 1 ] ∫ …

8 sampling  monte-carlo  quantiles  quasi-monte-carlo 

Alguém sabe de uma implementação (que não seja a macro SAS) do método de estimativa duplamente robusto encontrado em: Funk, MJ, Westreich, D. et al (2011). Estimativa duplamente robusta de efeitos causais. American Journal of Epidemiology, 173 (7): 761-767. [DOI] ?

8 regression 

Para quais distribuições x, exceto beta, a distribuição x-binomial é boa? As distribuições beta e binomial são famosamente conjugadas, mas estou curioso para saber se outras distribuições não conjugadas fornecerão pmfs compostos comparativamente simples. Por legal, quero dizer que é agradável calcular o pmf sem recorrer à integração numérica; Não …

8 beta-binomial 

Suponha que um investigador suspeite que um aluno copie respostas do trabalho de outro aluno durante um exame de múltipla escolha. Mais tarde, ela verifica as respostas e encontra algumas semelhanças - mas, por outro lado, é provável que haja semelhanças, dada a natureza do exame. Como ela deveria determinar …

8 correlation  terminology 

Estou tentando implementar a regularização múltipla em máquinas de vetores de suporte (SVMs) no Matlab. Estou seguindo as instruções no artigo de Belkin et al. (2006), há a equação: f∗=argminf∈Hk∑li=1V(xi,yi,f)+γA∥f∥2A+γI∥f∥2If∗=argminf∈Hk∑i=1lV(xi,yi,f)+γA‖f‖A2+γI‖f‖I2f^{*} = \text{argmin}_{f \in H_k}\sum_{i=1}^{l}V\left(x_i,y_i,f\right)+\gamma_{A}\left\| f \right\|_{A}^{2}+\gamma_{I}\left\| f \right\|_{I}^{2} onde V é alguma função de perda e γAγA\gamma_A é o peso …

8 machine-learning  svm  regularization 

Esta seção de este artigo diz: Ronald Fisher, em 1935, introduziu inferência fiducial para aplicá-la a esse problema. Ele se referiu a um artigo anterior de WV Behrens de 1929. Behrens e Fisher propuseram encontrar a distribuição de probabilidade de onde e são as duas médias de amostra e e …

8 inference  fiducial 

Estou computando algumas probabilidades condicionais e intervalos de confiança associados a 95%. Para muitos de meus casos, tenho contagens diretas de xsucessos fora dos ntestes (de uma tabela de contingência), para que eu possa usar um intervalo de confiança binomial, como é fornecido por binom.confint(x, n, method='exact')in R. Em outros …

8 r  bayesian  confidence-interval  conditional-probability  hidden-markov-model  segmentation  hypothesis-testing  statistical-significance  multiple-comparisons  multiple-regression  r  regression  survey  sample  finite-population  pca  model-selection  dataset  partitioning  clustering  time-series  least-squares  regression  standard-error  causality  r  time-series  outliers  missing-data  machine-learning  svm  hypothesis-testing  discrete-data  r  data-visualization  survey  likert  finance  regression  pca  feature-selection  stepwise-regression  underdetermined  svm  natural-language 

Os valores de p entre vários testes em pares podem ser considerados como uma medida de similaridade / distância e o dimensionamento multidimensional pode ser aplicado sobre uma matriz em pares de valores de p para reduzir a dimensionalidade? Essa é uma pergunta fácil, mas qual seria o maior problema …

8 multivariate-analysis  p-value  dimensionality-reduction 

Parece que quando olho aqui os algoritmos da aprendizagem da moda, coisas como redes neurais, árvores potencializadas, máquinas de vetores de suporte, florestas aleatórias e amigos são promovidas por problemas de aprendizagem supervisionados. Os processos de Dirichlet e seus tipos parecem ser mencionados principalmente em problemas de aprendizado não supervisionado, …

8 dirichlet-process