Estatísticas e Big Data

Eu tenho um conjunto de dados com cerca de 5.000 recursos / covariáveis ​​frequentemente correlacionados e uma resposta binária. Os dados foram dados para mim, eu não os coletei. Uso Lasso e aumento de gradiente para construir modelos. Eu uso a validação cruzada iterada e aninhada. Relato os maiores coeficientes …

9 machine-learning  multiple-comparisons  regression-coefficients  lasso  high-dimensional 

Eu gostaria de classificar os pontos de dados como necessitando de um modelo mais complexo ou não precisando de um modelo mais complexo. Meu pensamento atual é ajustar todos os dados a um modelo linear simples e observar o tamanho dos resíduos para fazer essa classificação. Fiz algumas leituras sobre …

9 regression  multiple-regression  residuals  bias-variance-tradeoff 

Eu tenho algumas perguntas sobre especificação e interpretação de GLMMs. Definitivamente, três perguntas são estatísticas e duas são mais específicas sobre R. Estou publicando aqui porque, em última análise, acho que a questão é a interpretação dos resultados do GLMM. Atualmente, estou tentando ajustar um GLMM. Estou usando os dados …

9 r  lme4-nlme  poisson-distribution  negative-binomial  glmm 

Preciso garantir que meu sitemap XML tenha menos de lixo (links quebrados). A lista de URLs está na casa dos centenas de milhares e, mesmo que fosse possível testá-los todos 1 por 1, prefiro não, por vários motivos:1 %1%1\% 1 - Saved bandwidth 2 - Faster traffic for real clients …

9 probability  confidence-interval  sample-size 

Considere o gráfico abaixo no qual simulei os dados da seguinte maneira. Observamos um resultado binário para o qual a verdadeira probabilidade de ser 1 é indicada pela linha preta. A relação funcional entre uma covariável e é 3 polinomial ordem com ligação logístico (por isso é não linear num …

9 regression  logistic  bayesian  confidence-interval  credible-interval 

O livro de Simon Wood sobre GAMs e seu pacote R associado mgcv são altamente detalhados e informativos quando se trata da teoria do GAM e do ajuste de modelos a dados reais e simulados. Para suavizações 1D, não há realmente muito com o que se preocupar, exceto decidir se …

9 r  mgcv 

É possível ajustar um GAMM (Modelo Misto de Aditivo Generalizado) para dados inflados com zero em R? Caso contrário, é possível ajustar um GAM (Modelo Aditivo Generalizado) para dados inflados com zero com uma distribuição binomial negativa ou quase Poisson em R? (Encontrei funções COZIGAM :: zigam e mgcv: ziP …

9 poisson-distribution  negative-binomial  gam  zero-inflation 

Fechado . Esta questão é baseada em opiniões . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando esta postagem . Fechado há 2 anos . Apesar dos esforços importantes, mas cheios de "pegadinha", de …

9 correlation  methodology  publication-bias 

Bem, não podemos, por exemplo, https://en.wikipedia.org/wiki/Subindependence para um contra-exemplo interessante. Mas a verdadeira questão é: existe alguma maneira de fortalecer a condição para que a independência se siga? Por exemplo, existe algum conjunto de funções modo que se para todos os , segue a independência? E quão grande deve ser …

9 probability  mathematical-statistics  references  random-variable  independence 

Digamos que temos uma amostra de duas populações: Ae B. Vamos supor que essas populações sejam feitas de indivíduos e optamos por descrevê-los em termos de recursos. Alguns desses recursos são categóricos (por exemplo, eles dirigem para o trabalho?) E outros são numéricos (por exemplo, sua altura). Vamos chamar esses …

9 anova  random-forest  cart  group-differences 

Nas notas da terceira semana de aula da aula Coursera Machine Learning de Andrew Ng , um termo é adicionado à função de custo para implementar a regularização: J+( θ ) = J( θ ) + λ2 m∑j = 1nθ2jJ+(θ)=J(θ)+λ2m∑j=1nθj2J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2 As notas da palestra …

9 regularization 

Eu acreditava que os boxplots abaixo poderiam ser interpretados como "a maioria dos homens é mais rápida que a maioria das mulheres" (neste conjunto de dados), principalmente porque o tempo médio dos homens era menor que o tempo médio das mulheres. Mas o curso EdX sobre R e teste de …

9 quantiles  histogram  boxplot  eda 

Estou ciente de que é prática comum padronizar os recursos para regressão de cordões e laços, no entanto, seria mais prático normalizar os recursos em uma escala (0,1) como alternativa à padronização do escore z para esses métodos de regressão?

9 normalization  lasso  standardization  ridge-regression 

Eu sempre ouvi "ortogonal" na área de geometria (também observe que eu não sou um falante nativo de inglês). Não compreendo o seguinte para quadrados latinos (uma citação de um livro de texto): Todo tratamento (ABCD) aparece uma vez em cada linha. Portanto, os tratamentos e as linhas são ortogonais. …

9 experiment-design  combinatorics  latin-square 

Esta pergunta surgiu na aula: se usarmos valores-p para avaliar hipóteses em um experimento, que parte do Princípio da Probabilidade não estamos obedecendo: Suficiência ou Condicionalidade ? Minha intuição seria dizer Suficiência , uma vez que calcular um valor-p baseia-se em resultados não observados de um experimento, e Suficiência parece …

9 likelihood  philosophical  likelihood-principle