Perguntas com a marcação «shrinkage»

A regressão de Ridge estima parâmetros ββ\boldsymbol \beta em um modelo linear y=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \beta por β^λ=(X⊤X+λI)−1X⊤y,β^λ=(X⊤X+λI)−1X⊤y,\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y, que λλ\lambda é um parâmetro de regularização. É sabido que frequentemente apresenta um desempenho melhor …

16 regression  ridge-regression  shrinkage 

Se começarmos com um conjunto de dados , aplicar o Lasso a ele e obter uma solução , podemos aplicar o Lasso novamente ao conjunto de dados , onde é o conjunto de zero índices de , para obter uma solução, , chamada solução 'LASSO relaxada' (corrija-me se estiver errado!). …

16 regression  optimization  lasso  regularization  shrinkage 

Já existe um post neste site falando sobre o mesmo problema: Por que o encolhimento funciona? Mas, embora as respostas sejam populares, não acredito que a essência da questão seja realmente abordada. É bastante claro que a introdução de algum viés na estimativa reduz a variação e pode melhorar a …

15 regularization  ridge-regression  shrinkage 

Fico impressionado com a idéia do encolhimento de James-Stein (ou seja, que uma função não-linear de uma única observação de um vetor de normais possivelmente independentes pode ser um melhor estimador das médias das variáveis ​​aleatórias, onde 'melhor' é medido por erro ao quadrado ) No entanto, nunca o vi …

15 estimation  error  shrinkage  application  steins-phenomenon 

Existem resultados analíticos ou artigos experimentais sobre a escolha ideal do coeficiente do termo de penalidade . Por ótimo , quero dizer um parâmetro que maximiza a probabilidade de selecionar o melhor modelo ou que minimiza a perda esperada. Estou perguntando porque muitas vezes é impraticável escolher o parâmetro por …

15 model-selection  lasso  shrinkage 

A palavra encolhimento é muito difundida em certos círculos. Mas o que é encolhimento, não parece haver uma definição clara. Se eu tenho uma série temporal (ou qualquer coleção de observações de algum processo), quais são as diferentes maneiras de medir algum tipo de retração empírica na série? Quais são …

13 estimation  predictive-models  shrinkage 

Zou et al. "Nos" graus de liberdade "do laço" (2007) mostram que o número de coeficientes diferentes de zero é uma estimativa imparcial e consistente para os graus de liberdade do laço. Parece um pouco contra-intuitivo para mim. Suponha que tenhamos um modelo de regressão (onde as variáveis ​​têm média …

12 regression  lasso  degrees-of-freedom  shrinkage 

Suponha que eu tenho dois estimadores e que são estimadores consistentes do mesmo parâmetro e que com no sentido psd. Portanto, assintoticamente é mais eficiente que . Esses dois estimadores são baseados em diferentes funções de perda. β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0 0β0\beta_0V1≤V2 β 1 β 2n--√( βˆ1- β0 0) →dN( 0 , …

11 regression  ridge-regression  shrinkage  penalized 

Enquanto isso, estou estudando o LASSO ( operador menos absoluto de encolhimento e seleção). Vejo que o valor ideal para o parâmetro de regularização pode ser escolhido por validação cruzada. Vejo também na regressão de cume e em muitos métodos que aplicam a regularização, podemos usar o CV para encontrar …

11 lasso  regularization  shrinkage 

Toda afirmação que encontro do estimador James-Stein assume que as variáveis ​​aleatórias estimadas têm a mesma variação (e unidade). Mas todos esses exemplos também mencionam que o estimador JS pode ser usado para estimar quantidades sem nada a ver um com o outro. O exemplo da Wikipedia é a velocidade …

11 estimation  shrinkage  steins-phenomenon 

Para um exemplo simples, assuma que existem dois modelos de regressão linear Modelo 1 tem três preditores, x1a, x2b, ex2c O modelo 2 possui três preditores do modelo 1 e dois preditores adicionais x2aex2b Existe uma equação de regressão populacional em que a variação populacional explicada é para o Modelo …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

Suponha que eu tenha dados longitudinais da forma (eu tenho várias observações, essa é apenas a forma de uma única). Estou interessado em restrições sobre Σ . Um irrestrita Σ é equivalente a Y j = α j + j - 1 Σ ℓ = 1 & Phi; ℓ j …

9 feature-selection  lasso  shrinkage 

Suponha que eu emparelhei observações desenhadas como para . Let e denotam por o ° maior valor observado de . Qual é a distribuição (condicional) de ? (ou equivalente, o de )Xi∼N(0,σ2x),Yi∼N(0,σ2y),Xi∼N(0,σx2),Yi∼N(0,σy2),X_i \sim \mathcal{N}\left(0,\sigma_x^2\right), Y_i \sim \mathcal{N}\left(0,\sigma_y^2\right),i=1,2,…,ni=1,2,…,ni=1,2,\ldots,nZi=Xi+Yi,Zi=Xi+Yi,Z_i = X_i + Y_i,ZijZijZ_{i_j}jjjZZZXijXijX_{i_j}YijYijY_{i_j} Ou seja, qual é a distribuição de condicional em …

9 distributions  order-statistics  shrinkage 

Estou confuso sobre a análise de permutação para seleção de características em um contexto de regressão logística. Você poderia fornecer uma explicação clara do teste de permutação aleatória e como ele se aplica à seleção de recursos? Possivelmente com algoritmo e exemplos exatos. Finalmente, como ele se compara a outros …

9 regression  logistic  feature-selection  permutation-test  shrinkage 

Pretendo estimar um GLM hierárquico, mas com a seleção de recursos para determinar quais covariáveis ​​são relevantes no nível da população a serem incluídas. Suponha que eu tenha grupos com observações e possíveis covariáveis ​​Ou seja, possuo uma matriz de design de covariáveis \ boldsymbol {x} _ {(N \ cdot …

8 machine-learning  bayesian  feature-selection  hierarchical-bayesian  shrinkage