Estatísticas e Big Data

Alguém pode me explicar por que alguém escolheria um parâmetro paramétrico em vez de um método estatístico não paramétrico para teste de hipóteses ou análise de regressão? Na minha opinião, é como fazer rafting e escolher um relógio não resistente à água, porque você pode não o molhar. Por que …

60 regression  hypothesis-testing  mathematical-statistics  estimation  nonparametric 

Eu produzi modelos aditivos generalizados para o desmatamento. Para explicar a autocorrelação espacial, incluímos latitude e longitude como um termo de interação suavizado (ou seja, s (x, y)). Baseei isso na leitura de muitos artigos em que os autores dizem 'para explicar a autocorrelação espacial, as coordenadas de pontos foram …

60 r  modeling  spatial  autocorrelation  gam 

Eu queria saber exatamente por que a coleta de dados até que um resultado significativo (por exemplo, ) seja obtido (por exemplo, p-hacking) aumenta a taxa de erro do tipo I?p<.05p<.05p \lt .05 Eu também apreciaria muito uma Rdemonstração desse fenômeno.

60 r  hypothesis-testing  p-value  simulation  type-i-and-ii-errors 

Em outros contextos, ortogonal significa "em ângulo reto" ou "perpendicular". O que significa ortogonal em um contexto estatístico? Obrigado por qualquer esclarecimento.

60 descriptive-statistics 

Suponha que tenhamos alguém construindo um modelo preditivo, mas que alguém não seja necessariamente versado em princípios estatísticos ou de aprendizado de máquina adequados. Talvez estejamos ajudando essa pessoa enquanto ela está aprendendo, ou talvez essa pessoa esteja usando algum tipo de pacote de software que requer conhecimento mínimo para …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

Pelo que sei, o uso do laço para seleção de variáveis ​​lida com o problema de entradas correlacionadas. Além disso, como é equivalente à regressão de menor ângulo, não é lento computacionalmente. No entanto, muitas pessoas (por exemplo, pessoas que conheço fazendo bioestatística) ainda parecem favorecer a seleção de variáveis …

60 regression  feature-selection  lasso 

Que maneira (maneiras?) Existe para explicar visualmente o que é ANOVA? Qualquer referência, link (s) (pacotes R?) Será bem-vinda.

60 data-visualization  anova  teaching 

Vejo que uma vez dos vinte testes totais executados, , assumem erroneamente que durante um dos vinte testes o resultado é significativo ( ).0,05 = 1 / 20p &lt; 0,05p&lt;0.05p < 0.050,05 = 1 / 200.05=1/200.05 = 1/20 comic xkcd jelly bean - "Significativo" Título: Significativo Texto suspenso: "'Então, uh, …

60 hypothesis-testing  statistical-significance  confidence-interval  p-value  humor 

Estou confuso sobre o branqueamento ZCA e o branqueamento normal (que é obtido pela divisão dos componentes principais pelas raízes quadradas dos valores próprios de PCA). Até onde sei, xZCAwhite=UxPCAwhite,xZCAwhite=UxPCAwhite,\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf x_\mathrm{PCAwhite}, que são vetores próprios de PCA.UU\mathbf U Quais são os usos do clareamento ZCA? …

60 pca  dimensionality-reduction  image-processing 

A descida de gradiente e muitos outros métodos são úteis para encontrar mínimos locais em funções de custo. Eles podem ser eficientes quando a função de custo pode ser avaliada rapidamente em cada ponto, seja numericamente ou analiticamente. Eu tenho o que me parece ser uma situação incomum. Cada avaliação …

59 gradient-descent  optimization  bayesian-optimization 

Entendo que a estimativa de regressão de crista é o que minimiza a soma residual do quadrado e uma penalidade no tamanho deββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] No entanto, não entendo completamente o significado do fato de que βridgeβridge\beta_\text{ridge} difere de βOLSβOLS\beta_\text{OLS} …

59 regression  least-squares  ridge-regression  shrinkage 

Uma limitação básica do teste de significância de hipótese nula é que ele não permite que um pesquisador colete evidências a favor do nulo ( Fonte ) Vejo essa afirmação repetida em vários lugares, mas não consigo encontrar justificativa para isso. Se realizarmos um grande estudo e não encontrarmos evidências …

59 hypothesis-testing 

O mundo das estatísticas foi dividido entre frequentistas e bayesianos. Hoje em dia, parece que todo mundo faz um pouco de ambos. Como isso pode ser? Se as diferentes abordagens são adequadas para problemas diferentes, por que os pais fundadores da estatística não viram isso? Como alternativa, o debate foi …

59 bayesian  frequentist  history  philosophical 

Não me sinto confortável com as informações de Fisher, o que elas medem e como elas são úteis. Também o relacionamento com o limite de Cramer-Rao não é aparente para mim. Alguém pode, por favor, dar uma explicação intuitiva desses conceitos?

59 estimation  intuition  fisher-information 

O que se quer dizer quando dizemos que temos um modelo saturado?

59 modeling  regression