Estatísticas e Big Data

EDIT: Como esta pergunta foi inflada, um resumo: encontrando diferentes conjuntos de dados significativos e interpretáveis ​​com as mesmas estatísticas mistas (média, mediana, faixa intermediária e suas dispersões associadas e regressão). O quarteto de Anscombe (consulte Objetivo da visualização de dados de alta dimensão? ) É um exemplo famoso de …

21 regression  descriptive-statistics  curve-fitting  estimators 

Suponha que eu esteja tentando estimar um grande número de parâmetros a partir de alguns dados de alta dimensão, usando algum tipo de estimativa regularizada. O regularizador introduz algum viés nas estimativas, mas ainda pode ser um bom compromisso, porque a redução na variação deve mais do que compensar isso. …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

Em muitas aplicações de aprendizado de máquina, os chamados métodos de aumento de dados permitiram construir modelos melhores. Por exemplo, assuma um conjunto de treinamento de imagens de cães e gatos. Girando, espelhando, ajustando o contraste, etc., é possível gerar imagens adicionais a partir das originais.100100100 No caso de imagens, …

21 machine-learning  predictive-models  dataset  independence  data-augmentation 

Estou tentando fazer um layout para mim mesmo quando é apropriado usar qual tipo de regressão (geométrico, Poisson, binomial negativo) com dados de contagem, dentro da estrutura GLM (apenas 3 das 8 distribuições GLM são usadas para dados de contagem, embora a maioria do que Eu li centros em torno …

21 generalized-linear-model  negative-binomial  count-data  poisson-regression  zero-inflation 

Gelman e Hill (2006) escrevem na p46 que: A suposição de regressão que geralmente é menos importante é que os erros são normalmente distribuídos. De fato, com o objetivo de estimar a linha de regressão (em comparação com a previsão de pontos de dados individuais), a suposição de normalidade é …

21 regression  residuals  assumptions 

Preâmbulo Este é um longo post. Se você estiver relendo isso, observe que revi a parte da pergunta, embora o material de segundo plano permaneça o mesmo. Além disso, acredito que desenvolvi uma solução para o problema. Essa solução aparece na parte inferior da postagem. Agradeço ao CliffAB por apontar …

21 machine-learning  bayesian  sampling  roc  auc 

Essa distribuição discreta tem um nome? Para i ∈ 1 ... NEu∈1 ...Ni \in 1...N f(i)=1N∑Nj=i1jf(i)=1N∑j=iN1jf(i) = \frac{1}{N} \sum_{j = i}^N \frac{1}{j} Eu me deparei com essa distribuição a partir do seguinte: Eu tenho uma lista de NNN itens classificados por alguma função de utilitário. Eu quero selecionar aleatoriamente um …

21 probability  terminology  discrete-data  distributions 

Recentemente, deparei-me com vários documentos e recursos on-line que mencionam a causalidade de Granger . Uma breve navegação pelo artigo correspondente da Wikipedia me deixou com a impressão de que esse termo se refere à causalidade no contexto de séries temporais (ou, de maneira mais geral, a processos estocásticos ). …

21 stochastic-processes  causality  granger-causality 

Alguém poderia me aconselhar sobre como interpretar as estimativas de uma regressão logística usando um link cloglog? Eu instalei o seguinte modelo em lme4: glm(cbind(dead, live) ~ time + factor(temp) * biomass, data=mussel, family=binomial(link=cloglog)) Por exemplo, a estimativa de tempo é 0,015. É correto dizer que as chances de mortalidade …

21 logistic  regression-coefficients 

Eu li o lema Neyman – Pearson do livro Introdução à teoria das estatísticas de Mood, Graybill e Boes. Mas eu não entendi o lema. Alguém pode me explicar o lema em palavras simples? O que afirma? Lema de Neyman-Pearson: Seja uma amostra aleatória de , em que é um …

21 hypothesis-testing  self-study  references  inference  likelihood-ratio 

Estou usando a regressão quantílica para encontrar preditores do percentil 90 dos meus dados. Estou fazendo isso no R usando o quantregpacote. Como posso determinar r2r2r^2 para a regressão quantílica, que indicará quanto da variabilidade está sendo explicado pelas variáveis ​​preditoras? O que eu realmente quero saber: "Qualquer método que …

21 r-squared  quantile-regression 

Essencialmente, minha pergunta é que, nos Perceptrons multicamadas, os perceptrons são usados ​​com uma função de ativação sigmóide. De modo que na regra de actualização y é calculado comoy^y^\hat{y} y^=11+exp(−wTxi)y^=11+exp⁡(−wTxi)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} Como esse Perceptron "sigmóide" difere de uma regressão logística então? Eu diria que um perceptron sigmóide de camada …

21 logistic  classification  neural-networks  gradient-descent  perceptron 

Que um pedaço de comprimento 1 seja quebrado em fragmentos uniformemente aleatoriamente. Qual é a distribuição do comprimento do fragmento mais longo?k+1k+1k+1 Mais formalmente, sejam IID e sejam as estatísticas de pedidos associadas, ou seja , simplesmente solicitamos a amostra de maneira que . Deixe .(U1,…Uk)(U1,…Uk)(U_1, \ldots U_k)U(0,1)U(0,1)U(0,1)(U(1),…,U(k))(U(1),…,U(k))(U_{(1)}, \ldots, U_{(k)})U(1)≤U(2)≤,…,≤U(k)U(1)≤U(2)≤,…,≤U(k)U_{(1)} …

21 distributions  uniform  order-statistics  dirichlet-distribution  maximum 

Me deparei com uma observação no The Chemical Statistician de que uma mediana da amostra geralmente pode ser uma escolha para uma estatística suficiente, mas, além do caso óbvio de uma ou duas observações em que é igual à média da amostra, não consigo pensar em outro item não trivial …

21 median  exponential-family  sufficient-statistics  chemistry 

Qual é a diferença entre regressão logística e logit? Entendo que eles são semelhantes (ou até a mesma coisa), mas alguém poderia explicar a (s) diferença (ões) entre esses dois? Um é sobre probabilidades?

21 regression  logistic  terminology  logit  odds