Perguntas com a marcação «least-squares»

Eu sou novo no Machine Learning e estou tentando aprender sozinho. Recentemente, eu estava lendo algumas notas de aula e tinha uma pergunta básica. O slide 13 diz que "a estimativa de mínimos quadrados é igual à estimativa de máxima verossimilhança em um modelo gaussiano". Parece que é algo simples, …

26 regression  bayesian  least-squares 

Em um modelo de regressão simples, y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, os estimadores OLS pβ^OLS0β^0OLS\hat{\beta}_0^{OLS} e ββ^OLS1β^1OLS\hat{\beta}_1^{OLS} estão correlacionados. A fórmula para a correlação entre os dois estimadores é (se a derivou corretamente): Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. Questões: Qual é a explicação intuitiva para …

25 regression  least-squares  estimators 

ANOVA vs regressão linear múltipla? Entendo que ambos os métodos parecem usar o mesmo modelo estatístico. No entanto, em que circunstâncias devo usar qual método? Quais são as vantagens e desvantagens desses métodos quando comparados? Por que a ANOVA é tão comumente usada em estudos experimentais e quase nunca encontro …

24 anova  multiple-regression  least-squares 

Se a melhor aproximação linear (usando mínimos quadrados) dos meus pontos de dados é a linha y=mx+by=mx+by=mx+b , como posso calcular o erro de aproximação? Se o cálculo do desvio padrão da diferença entre as observações e previsões ei=real(xi)−(mxi+b)ei=real(xi)−(mxi+b)e_i=real(x_i)-(mx_i+b) , que pode depois dizer que uma verdadeira (mas não observado) …

24 regression  normal-distribution  least-squares  prediction-interval 

Qual é a notação algébrica para calcular o intervalo de previsão para regressão múltipla? Parece bobagem, mas estou tendo problemas para encontrar uma notação algébrica clara disso.

24 multiple-regression  least-squares  prediction-interval 

A questão é muito simples: por que, quando tentamos ajustar um modelo aos nossos dados, lineares ou não lineares, geralmente tentamos minimizar a soma dos quadrados dos erros para obter nosso estimador para o parâmetro do modelo? Por que não escolher outra função objetiva para minimizar? Entendo que, por razões …

23 econometrics  least-squares 

Quando fazemos várias regressões e dizemos que estamos olhando para a mudança média na variável para uma mudança na variável , mantendo todas as outras variáveis ​​constantes, em quais valores estamos mantendo as outras variáveis ​​constantes? A média deles? Zero? Qualquer valor?xyyyxxx Estou inclinado a pensar que tem algum valor; …

22 multiple-regression  interpretation  least-squares  regression-coefficients  controlling-for-a-variable 

Além de algumas circunstâncias únicas em que devemos absolutamente entender a relação média condicional, quais são as situações em que um pesquisador deve escolher o OLS em vez da regressão quantílica? Não quero que a resposta seja "se não houver utilidade para entender os relacionamentos da cauda", pois poderíamos usar …

22 least-squares  econometrics  regression-strategies  quantile-regression  semiparametric 

Há uma imagem na página 204, capítulo 4 de "reconhecimento de padrões e aprendizado de máquina", de Bishop, onde não entendo por que a solução Menos Quadrada fornece resultados ruins aqui: O parágrafo anterior era sobre o fato de que as soluções de mínimos quadrados carecem de robustez para os …

21 classification  least-squares 

À luz desta pergunta: Prova de que os coeficientes em um modelo OLS seguem uma distribuição t com (nk) graus de liberdade Eu adoraria entender por que F=(TSS−RSS)/(p−1)RSS/(n−p),F=(TSS−RSS)/(p−1)RSS/(n−p), F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}, onde é o número de parâmetros de modelo e o número de observações e da variância total, a variância …

20 regression  hypothesis-testing  least-squares  f-distribution  f-statistic 

Sei como calcular matematicamente PCA e SVD e sei que ambos podem ser aplicados à regressão de mínimos quadrados lineares. A principal vantagem do SVD matematicamente parece ser que ele pode ser aplicado a matrizes não quadradas. Ambos focam na decomposição da matrizAlém da vantagem do SVD mencionada, existem vantagens …

20 pca  least-squares  svd 

Recentemente, descobri que na literatura econométrica aplicada, ao lidar com problemas de seleção de características, não é incomum executar o LASSO seguido de uma regressão OLS usando as variáveis ​​selecionadas. Fiquei me perguntando como podemos qualificar a validade de tal procedimento. Causará problemas como variáveis ​​omitidas? Alguma prova mostrando que …

20 regression  feature-selection  econometrics  least-squares  lasso 

Começo com minha regressão OLS: y=β0+β1x1+β2D+εy=β0 0+β1x1+β2D+ε y = \beta _0 + \beta_1x_1+\beta_2 D + \varepsilon onde D é uma variável dummy, as estimativas tornam-se diferentes de zero com um baixo valor de p. Em seguida, pré-formao um teste de Ramsey RESET e descobri que tenho alguma classificação equivocada da …

20 regression  multiple-regression  interpretation  least-squares  polynomial 

Li esta afirmação em um antigo exame verdadeiro / falso: Podemos obter várias soluções ótimas locais se resolvermos um problema de regressão linear, minimizando a soma dos erros ao quadrado usando a descida do gradiente. Solução: Falso Minha pergunta é: qual parte dessa pergunta está errada? Por que essa afirmação …

19 least-squares  gradient-descent  convex 

Se é a classificação completa, o inverso de existe e obtemos a estimativa de mínimos quadrados: eX t X β = ( X T X ) - 1 X Y Var ( β ) = σ 2 ( X T X )XXXXTXXTXX^TXβ^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XYVar(β^)=σ2(XTX)−1Var⁡(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} Como podemos explicar intuitivamente …

18 regression  variance  least-squares