Estatísticas e Big Data

Winsorizing data significa substituir os valores extremos de um conjunto de dados por um determinado valor percentual de cada extremidade, enquanto Recortar ou Truncar envolve remover esses valores extremos. Eu sempre vejo os dois métodos discutidos como uma opção viável para diminuir o efeito de valores discrepantes ao calcular estatísticas …

31 standard-deviation  mean  truncation  trimmed-mean  winsorizing 

Eu tive uma discussão com um estatístico em 2009, onde ele afirmou que o valor exato de um valor-p é irrelevante: a única coisa importante é se é significativo ou não. Ou seja, um resultado não pode ser mais significativo que outro; suas amostras, por exemplo, são da mesma população …

31 statistical-significance  p-value  bonferroni 

Morey et al (2015) argumentam que os intervalos de confiança são enganosos e existem vários vieses relacionados à compreensão deles. Entre outros, eles descrevem a falácia da precisão da seguinte maneira: A falácia da precisão A largura de um intervalo de confiança indica a precisão do nosso conhecimento sobre o …

31 bayesian  confidence-interval  frequentist  precision 

Estou lendo um artigo muito interessante de Sellers e Shmueli sobre modelos de regressão para dados de contagem. Perto do início (p. 944), citam McCullaugh e Nelder (1989) dizendo que a regressão binomial negativa é impopular e tem um vínculo canônico problemático. Encontrei a passagem referida e ela diz (p. …

31 regression  modeling  negative-binomial 

Dado que hoje é um dia bissexto, alguém sabe a probabilidade de nascer em um dia bissexto?

31 probability 

Johansson (2011) em " Salve o impossível: valores-p, evidência e probabilidade " (aqui também está link para o periódico ) afirma que valores- mais pppbaixos são frequentemente considerados como evidência mais forte contra o nulo. Johansson implica que as pessoas considerariam mais forte a evidência contra o nulo se o …

31 hypothesis-testing  statistical-significance  p-value  philosophical 

"Aprendizado profundo" é apenas outro termo para modelagem multinível / hierárquica? Estou muito mais familiarizado com o último que com o primeiro, mas, pelo que posso dizer, a principal diferença não está na definição deles, mas como eles são usados ​​e avaliados dentro do domínio do aplicativo. Parece que o …

31 machine-learning  multilevel-analysis  hierarchical-bayesian  deep-learning 

Muito foi escrito sobre as opções de cores compatíveis com daltônicos para mapas, polígonos e regiões sombreadas em geral (veja, por exemplo, http://colorbrewer2.org ). Não consegui encontrar recomendações para cores de linha e espessura de linha variável para gráficos de linha. Os objetivos são: distinguir facilmente linhas, mesmo quando elas …

31 r  data-visualization 

Em um conjunto de dados de duas populações não sobrepostas (pacientes e saudáveis, total ), gostaria de encontrar (de variáveis ​​independentes) preditores significativos para uma variável dependente contínua. Correlação entre preditores está presente. Estou interessado em descobrir se algum dos preditores está relacionado à variável dependente "na realidade" (em vez …

31 regression  pca  feature-selection  stepwise-regression  underdetermined 

No presente trabalho , o pesquisador talentoso Cosma Shalizi argumenta que aceitar plenamente uma visão subjetiva Bayesian, é preciso também aceitar um resultado não físico que a flecha do tempo (dado pelo fluxo de entropia) deve realmente ir para trás . Isto é principalmente uma tentativa de argumentar contra a …

31 bayesian  entropy  maximum-entropy  philosophical 

Quais são algumas diretrizes úteis para testar parâmetros (por exemplo, profundidade de interação, filho pequeno, taxa de amostragem etc.) usando o GBM? Digamos que tenho 70-100 recursos, uma população de 200.000 e pretendo testar a profundidade de interação de 3 e 4. Claramente, preciso fazer alguns testes para ver qual …

31 r  hypothesis-testing  cart  boosting 

Digamos, por exemplo, que você esteja criando um modelo linear, mas os dados são complexos.yyy y= x β+ ϵy=xβ+ϵ y = x \beta + \epsilon Meu conjunto de dados é complexo, pois todos os números em têm a forma ( a + b i ) . Existe algo processualmente diferente …

31 regression  anova  data-transformation  complex-numbers 

Esta pergunta foi feita pelo meu amigo que não é conhecedor da Internet. Não tenho antecedentes estatísticos e tenho pesquisado na Internet esta questão. A questão é: é possível substituir os valores discrepantes pelo valor médio? se for possível, existe alguma referência / periódicos para apoiar esta declaração?

31 mean  outliers  robust  winsorizing 

/ editar: Acompanhamento adicional agora você pode usar o irlba :: prcomp_irlba / edit: acompanhando meu próprio post. irlbaagora possui argumentos de "centro" e "escala", que permitem usá-lo para calcular componentes principais, por exemplo: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v Eu tenho um grande número Matrixde recursos …

31 r  pca  dimensionality-reduction  svd  matrix-decomposition 

A Wikipedia explica: Para um conjunto de dados, a média é a soma dos valores divididos pelo número de valores. Essa definição, no entanto, corresponde ao que chamo de "média" (pelo menos é o que me lembro de aprender). No entanto, a Wikipedia mais uma vez cita: Existem outras medidas …

31 mean  interpretation  average